{"id":487195,"date":"2026-07-14T07:55:21","date_gmt":"2026-07-14T07:55:21","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=487195"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=487195","title":{"rendered":"\u0413\u0435\u043d\u0435\u0430\u043b\u043e\u0433\u0438\u044f AI safety: \u043a\u0430\u043a \u0440\u043e\u0436\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u0443\u043c\u0438\u0440\u0430\u044e\u0442 (2005-2026)"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h3>\u0427\u0442\u043e \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u044c<\/h3>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u044e AI safety \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u043a\u043b\u0430\u0434\u043d\u043e \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u043e\u0432 \u0437\u0430\u0431\u0435\u0441\u043f\u043e\u043a\u043e\u0438\u043b\u0438\u0441\u044c \u0438\u0437-\u0437\u0430 \u0441\u0443\u043f\u0435\u0440\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430. \u041f\u043e\u0442\u043e\u043c \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430 alignment. \u0417\u0432\u0443\u0447\u0438\u0442 \u043b\u043e\u0433\u0438\u0447\u043d\u043e &#8212; \u043d\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0437 \u0442\u0430\u043a\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u044b\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435. \u0421\u0442\u043e\u0438\u0442 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u0430\u0442\u044b, \u043b\u044e\u0434\u0435\u0439, \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438, \u0438 \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f. \u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u0440\u0430\u0437\u043d\u043e\u0431\u043e\u0439: \u043e\u0434\u043d\u0438 \u0443\u0441\u043f\u0435\u0432\u0430\u044e\u0442 \u0432\u043e\u0439\u0442\u0438 \u0432 \u043c\u0435\u0439\u043d\u0441\u0442\u0440\u0438\u043c, \u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u0438\u0445\u043e \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0442, \u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e &#8212; \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u044b. \u041c\u043d\u0435 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0440\u0430\u0437\u043d\u043e\u0431\u043e\u0439 \u043d\u0430 \u0441\u043b\u043e\u0432\u0430\u0445, \u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0430\u0437\u0443 \u044f \u0441\u043e\u0431\u0440\u0430\u043b\u0430 \u0441\u0430\u043c\u0430, \u0441 \u043d\u0443\u043b\u044f.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u0441\u0435 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443: 323 \u0441\u043e\u0431\u044b\u0442\u0438\u044f, 129 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432, 18 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u041e\u043d\u0430 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0438\u043e\u0434 \u0441 2005 \u043f\u043e \u0438\u044e\u043d\u044c 2026 \u0433\u043e\u0434\u0430, \u043f\u0440\u0438\u0447\u0435\u043c \u043d\u0430 2026-\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0433\u043e\u0434\u0430, \u0442\u0430\u043a \u0447\u0442\u043e \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u044b\u0439 \u0433\u043e\u0434 \u0435\u0433\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442. \u0420\u044f\u0434\u043e\u043c \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 &#8212; \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e arXiv (\u043a\u043e\u0441\u0432\u0435\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0432 \u0433\u043e\u0434); \u043e\u043d \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 23 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u0412 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b &#8212; \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0439 \u0444\u0430\u043a\u0442 \u0441\u043e \u0441\u0441\u044b\u043b\u043a\u043e\u0439 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u0430 \u0440\u044f\u0434\u043e\u043c \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u044b \u0433\u043e\u0434, \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0442\u0438\u043f, \u0441\u0443\u043c\u043c\u0430 \u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a. \u041d\u0430 \u044d\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u0441\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043d\u0438\u0436\u0435. \u0418 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0433\u0434\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u044f\u043c\u0443\u044e \u043b\u0438\u043d\u0438\u044e: \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u043e \u0433\u043e\u0434\u0430\u043c, \u043f\u043e \u0434\u0435\u043d\u044c\u0433\u0430\u043c, \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e, \u0438 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0434\u043e\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u0434\u043e \u043c\u0435\u0439\u043d\u0441\u0442\u0440\u0438\u043c\u0430, \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u0442\u0438\u0445\u0430\u0435\u0442, \u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0443\u043f\u043e\u0440\u043d\u043e \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<hr\/>\n<h3>\u0413\u043b\u0430\u0432\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u0418\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 \u0432\u044b\u0432\u043e\u0434\u043e\u0432. \u041e\u0434\u043d\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442 \u0446\u0438\u0444\u0440\u0430\u043c\u0438 \u0442\u043e, \u0447\u0442\u043e \u0432 \u043f\u043e\u043b\u0435 \u0438 \u0442\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0437\u043d\u0430\u043b\u0438. \u0414\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u043d\u044f \u0443\u0434\u0438\u0432\u0438\u043b\u0438 &#8212; \u0441 \u043d\u0438\u0445 \u0438 \u043d\u0430\u0447\u043d\u0443.<\/p>\n<p><strong>\u0427\u0442\u043e \u0443\u0434\u0438\u0432\u0438\u043b\u043e:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0414\u0435\u043d\u044c\u0433\u0438 \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f.<\/strong> \u041a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 37 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u043f\u0440\u0438 \u0435\u0433\u043e \u0441\u043a\u0440\u043e\u043c\u043d\u043e\u043c \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u043a\u043e\u043b\u043e $1 \u043c\u043b\u043d. \u0421 governance \u0432\u0441\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442: \u0442\u0430\u043c \u0434\u0435\u043d\u044c\u0433\u0438 \u0448\u043b\u0438 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0439. \u0422\u043e \u0435\u0441\u0442\u044c \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a 2023 \u0433\u043e\u0434\u0443 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043e\u0431\u043e\u0448\u043b\u0438 \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044e.<\/strong> \u0420\u0430\u043d\u044c\u0448\u0435 \u043f\u043e\u043b\u0435 \u0434\u0435\u0440\u0436\u0430\u043b\u043e\u0441\u044c \u043f\u043e \u0441\u0443\u0442\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0434\u043e\u043d\u043e\u0440\u0435, \u0430 \u043f\u043e\u043b\u0434\u044e\u0436\u0438\u043d\u044b \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u043e\u0432 &#8212; UK AISI, ARIA, \u041a\u0430\u043d\u0430\u0434\u0430, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f, NSF, \u0415\u0421 &#8212; \u0437\u0430 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0435\u0433\u043e \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u043c \u0438 \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c. \u0410 \u0440\u044f\u0434\u043e\u043c \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u043e\u0434\u0430: \u043e\u043a\u043e\u043b\u043e $268 \u043c\u043b\u043d \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0445 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0439 \u0432 safety-\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430, \u0430 \u043d\u0435 \u0433\u0440\u0430\u043d\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u043e, \u0447\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u0435\u0439, \u043d\u0430 \u0434\u0435\u043b\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u0435.<\/strong> \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0438\u043c\u0435\u043d\u0430\u043c, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c 2024 \u0433\u043e\u0434 \u0441\u0442\u0430\u043b \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u044b\u043c \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u043d\u043e\u0432\u044b\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439: \u0438\u0445 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c 24, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443-\u043f\u044f\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a &#8212; \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, AI security, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 chain-of-thought.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043b\u043e\u0432\u043e \u201cSafety\u201d \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u0445\u043e\u0434\u0438\u0442 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439.<\/strong> \u0422\u043e\u043b\u044c\u043a\u043e \u0437\u0430 2025 \u0433\u043e\u0434 UK AI Safety Institute \u0441\u0442\u0430\u043b AI Security Institute, US AI Safety Institute &#8212; CAISI, \u0430 Open Philanthropy, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0441\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u043e\u0441\u044c, \u0441\u043c\u0435\u043d\u0438\u043b\u0430 \u0438\u043c\u044f \u043d\u0430 Coefficient Giving.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u0442\u0438\u0445\u043d\u0443\u0442\u044c &#8212; \u043d\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0443\u043c\u0435\u0440\u0435\u0442\u044c.<\/strong> \u0423 reward modeling \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a 2017 \u0433\u043e\u0434\u0443, \u043d\u043e \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c RLHF \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u0436\u0438\u043b\u043e \u0434\u043e 2025-\u0433\u043e. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0435 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442, \u0430 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0447\u0435\u043c-\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u043c \u0438\u043b\u0438 \u0443\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043b\u0430\u043d.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0427\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u043e\u0441\u044c &#8212; \u0442\u0435\u043f\u0435\u0440\u044c \u0441 \u0446\u0438\u0444\u0440\u0430\u043c\u0438:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0426\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0441\u044f \u043e\u0442 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u0438 \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/strong> \u0414\u043e\u043b\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u0437 \u0433\u0440\u0443\u043f\u043f\u044b foundations-and-strategy \u0443\u043f\u0430\u043b\u0430 \u0441 67% \u0432 2005-2013 \u0433\u043e\u0434\u0430\u0445 \u0434\u043e 6% \u043a 2024-2026, \u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 60% \u0438 \u0441\u0442\u044f\u043d\u0443\u043b\u0430\u0441\u044c \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0438\u0433\u0440\u043e\u043a\u0430\u043c; \u0441\u0430\u043c\u044b\u0439 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0443\u0437\u0435\u043b &#8212; Anthropic.<\/p>\n<\/li>\n<li>\n<p><strong>RLHF \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430 \u0438 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043b\u0430\u0441\u044c \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c ML.<\/strong> \u0415\u0435 arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 \u0432\u044b\u0440\u043e\u0441 \u0441 25 \u0441\u0442\u0430\u0442\u0435\u0439 \u0432 2021 \u0433\u043e\u0434\u0443 \u0434\u043e 1777 \u0432 2025-\u043c &#8212; \u043a\u0430\u043a \u0440\u0430\u0437 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0430 \u0431\u044b\u0442\u044c \u0442\u0435\u043c\u043e\u0439 safety \u0438 \u0441\u0442\u0430\u043b\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0441\u043b\u0435 ChatGPT \u0440\u0435\u0437\u043a\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u0430 governance.<\/strong> \u0414\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u044d\u0442\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u0441 $0.4 \u043c\u043b\u043d \u0432 2018 \u0433\u043e\u0434\u0443 \u0434\u043e $18.4 \u043c\u043b\u043d \u0432 2023-\u043c &#8212; \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 46 \u0440\u0430\u0437 \u0437\u0430 \u043f\u044f\u0442\u044c \u043b\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e41\/896\/4f2\/e418964f2b2b04b763243f95e381b9cb.png\" alt=\"\u0421\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f\u043c \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0441 2005 \u043f\u043e 2026\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e41\/896\/4f2\/e418964f2b2b04b763243f95e381b9cb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e41\/896\/4f2\/e418964f2b2b04b763243f95e381b9cb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f\u043c \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0441 2005 \u043f\u043e 2026<\/figcaption><\/div>\n<\/figure>\n<p><em>\u041a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 &#8212; \u044d\u0442\u043e \u043e\u0434\u043d\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0435. \u041e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 \u0440\u0430\u0441\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u043e \u0433\u043e\u0434\u0443 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u043e\u0447\u043a\u0438 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c &#8212; \u0438\u0437 \u043b\u0435\u0432\u043e\u0433\u043e \u043d\u0438\u0436\u043d\u0435\u0433\u043e \u0443\u0433\u043b\u0430 \u0432 \u043f\u0440\u0430\u0432\u044b\u0439 \u0432\u0435\u0440\u0445\u043d\u0438\u0439. <\/em><strong><em>\u0426\u0432\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u043d \u043f\u043e \u0433\u043e\u0434\u0443 \u0435\u0433\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f<\/em><\/strong><em>, \u0442\u0430\u043a \u0447\u0442\u043e \u043e\u0431\u0449\u0438\u0439 \u0442\u043e\u043d \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043f\u043b\u0430\u0432\u043d\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u0438 \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u0440\u0430\u0437\u0443. \u041d\u0438\u0436\u043d\u044f\u044f \u043f\u0430\u043d\u0435\u043b\u044c &#8212; \u0442\u0435 \u0436\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u0433\u043e\u0434\u0430\u043c, \u0432 \u0442\u0435\u0445 \u0436\u0435 \u0446\u0432\u0435\u0442\u0430\u0445; \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0440\u0430\u043d\u043d\u0435\u0439 \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0438 agent foundations \u043a \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0437\u0434\u043d\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438, evaluations \u0438 AI control. \u042d\u043f\u043e\u0445\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0448\u0442\u0440\u0438\u0445\u043e\u0432\u043a\u043e\u0439, \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u0438 \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/timeline.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0422\u0430\u0439\u043c\u043b\u0430\u0439\u043d \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e \u043d\u0430\u0447\u0430\u043b\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u043e \u043f\u043e \u043d\u0435\u043c\u0443 \u043d\u0435 \u0432\u0438\u0434\u043d\u043e, \u043a\u0442\u043e \u0434\u043e\u0436\u0438\u043b \u0434\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a &#8212; \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0436\u0438\u0437\u043d\u0438: \u043b\u0438\u043d\u0438\u044f \u043e\u0442 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043e \u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u044b \u043f\u043e \u0433\u043e\u0434\u0443 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f. \u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c: \u0435\u0441\u043b\u0438 \u043f\u043e\u0437\u0434\u043d\u0435\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043d\u0435\u0442, \u044d\u0442\u043e \u0435\u0449\u0435 \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0435\u0440\u0442\u0432\u043e (\u0441\u043d\u043e\u0432\u0430 \u0442\u0430 \u0436\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0431\u043e\u0440\u0430). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0435\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b &#8212; \u0440\u043e\u043c\u0431 \u043d\u0430 \u0442\u043e\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0433\u043e\u0434\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0435\u0449\u0435 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 arXiv (\u0434\u043b\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0442\u0430\u043a\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0435\u0441\u0442\u044c). \u0422\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043c\u043e\u043b\u0447\u0430\u0442\u044c \u0432 \u043c\u043e\u0435\u0439 \u0431\u0430\u0437\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0436\u0438\u0432\u044b\u043c.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c72\/1a4\/7fe\/c721a47fe3c90e72a2fedc85d84060c8.png\" alt=\"\u041a\u0430\u043a \u043a\u0430\u0436\u0434\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043a \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c\u0443, \u0441 \u0440\u043e\u043c\u0431\u043e\u043c \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0433\u043e\u0434\u0435 \u043d\u0430 arXiv\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c72\/1a4\/7fe\/c721a47fe3c90e72a2fedc85d84060c8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c72\/1a4\/7fe\/c721a47fe3c90e72a2fedc85d84060c8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a \u043a\u0430\u0436\u0434\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043a \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c\u0443, \u0441 \u0440\u043e\u043c\u0431\u043e\u043c \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0433\u043e\u0434\u0435 \u043d\u0430 arXiv<\/figcaption><\/div>\n<\/figure>\n<p><em>\u041b\u0438\u043d\u0438\u044f \u0438\u0434\u0435\u0442 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e, \u0430 \u0440\u043e\u043c\u0431 \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0433\u043e\u0434, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e \u043d\u0435\u043c\u0443 \u0435\u0449\u0435 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 arXiv &#8212; \u044d\u0442\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u043e 23 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u042d\u0442\u0438 \u0434\u0432\u0435 \u0442\u043e\u0447\u043a\u0438 \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442. \u0423 reward modeling \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 &#8212; 2017 \u0433\u043e\u0434, \u043d\u043e \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0435\u043f\u0435\u0440\u044c \u0443\u0436\u0435 \u043f\u043e\u0434 \u043c\u0430\u0440\u043a\u043e\u0439 RLHF, \u0438\u0434\u0443\u0442 \u0434\u043e 2025-\u0433\u043e. Value learning \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0437\u0430\u0442\u0438\u0445\u043b\u043e \u043a 2021 \u0433\u043e\u0434\u0443, \u0430 agent foundations \u043a 2024-\u043c\u0443 \u0441\u0436\u0430\u043b\u043e\u0441\u044c \u0434\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0442\u043c\u0435\u0442\u043a\u0438 &#8212; \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u0430 MIRI. \u041d\u043e \u0438 \u0442\u043e, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u0436\u0438\u0432\u043e \u043d\u0430 arXiv. \u0422\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0434\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u0438\u0440\u0430\u0435\u0442: \u0447\u0430\u0449\u0435 \u043e\u043d \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u0444\u043e\u043d. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 \u044d\u0442\u043e\u043c &#8212; \u0432 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043f\u043e\u0441\u043b\u0435 \u044d\u043f\u043e\u0445. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/track_lifespan.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0412\u043e\u0442 \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 &#8212; \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0431\u0430\u0437\u0435 \u043f\u043e \u0433\u043e\u0434\u0430\u043c:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4f0\/59c\/9ca\/4f059c9ca054c88de1f95811fd066b0e.png\" alt=\"\u041f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0437\u0430 \u0433\u043e\u0434\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4f0\/59c\/9ca\/4f059c9ca054c88de1f95811fd066b0e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4f0\/59c\/9ca\/4f059c9ca054c88de1f95811fd066b0e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0437\u0430 \u0433\u043e\u0434<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0417\u0430\u043a\u0440\u0430\u0448\u0435\u043d\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043f\u043e\u043f\u0430\u043b\u043e \u0432 \u0431\u0430\u0437\u0443 \u0437\u0430 \u0433\u043e\u0434. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b (\u0432 2026-\u043c \u043f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0433\u043e\u0434\u0430) \u0437\u0430\u0448\u0442\u0440\u0438\u0445\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0430 \u0444\u043e\u0440\u043c\u0443 \u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f, \u0430 \u043d\u0435 \u043d\u0430 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430. \u0414\u043e 2012-2013 \u0433\u043e\u0434\u043e\u0432 \u043f\u043e\u043b\u0435 \u043f\u043e\u0447\u0442\u0438 \u043f\u0443\u0441\u0442\u043e\u0435. \u041f\u043e\u0442\u043e\u043c, \u0432 2015-2017, \u043e\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u043c\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438. \u0410 \u0441 2021 \u043f\u043e 2024 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0440\u0430\u0441\u0442\u0438: \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0442\u0430\u0440\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 &#8212; evaluations, AI control, model organisms. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/track_emergence.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u043e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0441\u0432\u043e\u0434\u0438\u0442 \u0432\u0435\u0441\u044c \u043c\u0430\u0440\u0448\u0440\u0443\u0442 \u0432\u043c\u0435\u0441\u0442\u0435 \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a \u043f\u043e\u0442\u043e\u043a\u0438 \u0438\u0434\u0443\u0442 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b78\/471\/e23\/b78471e231841d6bfa2e4c56e5ef5c50.jpg\" alt=\"\u0410\u043b\u043b\u044e\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b78\/471\/e23\/b78471e231841d6bfa2e4c56e5ef5c50.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b78\/471\/e23\/b78471e231841d6bfa2e4c56e5ef5c50.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0410\u043b\u043b\u044e\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e<\/figcaption><\/div>\n<\/figure>\n<p><em>(<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/alluvial_org.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0435\u0448\u0430\u043d\u0438\u043d\u0430. \u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u0442\u043d\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 &#8212; \u043e\u043a\u043e\u043b\u043e 115, &#8212; \u043b\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f, \u0438 \u043e\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e. \u0414\u0430 \u044d\u0442\u043e\u0433\u043e \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f: \u044d\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0442\u0443\u0442 \u0441\u043a\u043e\u0440\u0435\u0435 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u043c\u0430\u0441\u0448\u0442\u0430\u0431. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0432\u0435\u0440\u043d\u0435\u043c \u0435\u0435 \u0432 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438: \u0442\u0435 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 115 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 &#8212; \u0432 <strong>\u0441\u0435\u043c\u044c \u0442\u0438\u043f\u043e\u0432 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432<\/strong> (\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0438\u0446\u044b \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438, \u0444\u043e\u043d\u0434\u044b, policy-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u043b\u0430\u043d\u0442\u043e\u0432, \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f, \u043c\u0435\u0442\u0430-\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e, \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0440\u0433\u0430\u043d\u044b), \u0430 17 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 &#8212; \u0432 <strong>\u0447\u0435\u0442\u044b\u0440\u0435 \u0433\u0440\u0443\u043f\u043f\u044b<\/strong>:<\/p>\n<ul>\n<li>\n<p><strong>Foundations \u0438 strategy<\/strong> &#8212; \u044d\u0442\u043e \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, agent foundations, value learning \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety<\/strong> &#8212; \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, evaluations, AI control, RLHF, scalable oversight, model organisms, robustness \u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>Governance \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430<\/strong> &#8212; governance, field-building \u0438 \u043d\u043e\u0440\u043c\u044b \u0440\u0430\u0441\u043a\u0440\u044b\u0442\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>Capabilities<\/strong> &#8212; \u0440\u043e\u0441\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u0430\u043c\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0442\u0430 \u0436\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0432 \u0434\u0432\u0443\u0445 \u0441\u0440\u0435\u0437\u0430\u0445, \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0441\u0432\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043e\u0434\u0438\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u043c\u0430\u0440\u0448\u0440\u0443\u0442 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0435\u0433\u043e \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c.<\/p>\n<p><strong>\u041f\u0435\u0440\u0432\u044b\u0439 \u0441\u0440\u0435\u0437 &#8212; \u043e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0430.<\/strong> \u0422\u0440\u0438 \u043e\u0441\u0438 \u0438\u0434\u0443\u0442 \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e: \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 (\u043a\u043e\u0433\u0434\u0430) \u043a \u0442\u0438\u043f\u0443 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 (\u043a\u0442\u043e) \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 (\u043d\u0430\u0434 \u0447\u0435\u043c). \u041f\u043e \u0446\u0432\u0435\u0442\u0443 \u043b\u0435\u043d\u0442\u044b \u0441\u0440\u0430\u0437\u0443 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u043b\u0430 \u0438 \u043a\u0430\u043a \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u0430.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c43\/b9d\/73d\/c43b9d73ded3ba06b0698ce2d6770779.png\" alt=\"\u041e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u0442\u0438\u043f\u0443 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u0438 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c43\/b9d\/73d\/c43b9d73ded3ba06b0698ce2d6770779.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c43\/b9d\/73d\/c43b9d73ded3ba06b0698ce2d6770779.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u0442\u0438\u043f\u0443 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u0438 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0426\u0432\u0435\u0442\u043e\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0430 \u0447\u0438\u0441\u043b\u0430 &#8212; \u044d\u0442\u043e \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f. \u0421\u0440\u0430\u0437\u0443 \u0431\u0440\u043e\u0441\u0430\u0435\u0442\u0441\u044f \u0432 \u0433\u043b\u0430\u0437\u0430 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c: \u0441\u0438\u043d\u0438\u0435 \u043b\u0435\u043d\u0442\u044b foundations \u0438 strategy \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0441\u043b\u0435\u0432\u0430, \u0432 \u0440\u0430\u043d\u043d\u0438\u0445 \u044d\u043f\u043e\u0445\u0430\u0445, \u0430 \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0435\u0441 \u0431\u043b\u0438\u0436\u0435 \u043a \u043f\u0440\u0430\u0432\u043e\u043c\u0443 \u043a\u0440\u0430\u044e. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/alluvial_grouped.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p><strong>\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u0440\u0435\u0437 &#8212; \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c.<\/strong> \u0422\u043e\u0442 \u0436\u0435 \u043f\u043e\u0442\u043e\u043a, \u043d\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043c\u0438\u043d\u0438-\u043f\u0430\u043d\u0435\u043b\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u044d\u043f\u043e\u0445\u0443. \u0426\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043f\u0430\u043d\u0435\u043b\u0438 \u043a \u043f\u0430\u043d\u0435\u043b\u0438, \u0438 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0435\u0440\u0438\u043e\u0434 \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043e\u0434\u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u0430.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6bc\/fa7\/b7c\/6bcfa7b7c373a13c96b4f66487867cd8.png\" alt=\"\u041f\u043e \u044d\u043f\u043e\u0445\u0430\u043c, \u043e\u0442 \u0442\u0438\u043f\u0430 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/6bc\/fa7\/b7c\/6bcfa7b7c373a13c96b4f66487867cd8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6bc\/fa7\/b7c\/6bcfa7b7c373a13c96b4f66487867cd8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e \u044d\u043f\u043e\u0445\u0430\u043c, \u043e\u0442 \u0442\u0438\u043f\u0430 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/figcaption><\/div>\n<\/figure>\n<p><em>\u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u043d\u0435\u043b\u044c &#8212; \u044d\u0442\u043e \u043e\u0434\u043d\u0430 \u044d\u043f\u043e\u0445\u0430, \u043f\u043e\u0442\u043e\u043a \u0438\u0434\u0435\u0442 \u043e\u0442 \u0442\u0438\u043f\u0430 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0430 \u0448\u0438\u0440\u0438\u043d\u0430 \u043b\u0435\u043d\u0442\u044b &#8212; \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u0421 2005 \u043f\u043e 2016 \u0433\u043e\u0434 \u043f\u0440\u0430\u0432\u044f\u0442 \u0441\u0438\u043d\u0438\u0435 foundations \u0438 strategy. \u0410 \u0441 2020-\u0445 \u043d\u0430 \u043f\u0430\u043d\u0435\u043b\u044f\u0445 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/alluvial_by_era.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0415\u0441\u0442\u044c \u0438 \u0442\u0440\u0435\u0442\u0438\u0439 \u0441\u0440\u0435\u0437 &#8212; \u0434\u0432\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u0430 \u0440\u044f\u0434\u043e\u043c, \u043e\u043d\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442 \u043a\u043e\u0433\u0434\u0430 \u0438 \u043a\u0442\u043e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/568\/8f1\/430\/5688f1430a5e18e78341d2b855decadc.png\" alt=\"\u0414\u0432\u0430 \u0441\u0440\u0435\u0437\u0430: \u044d\u043f\u043e\u0445\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u0438 \u0442\u0438\u043f \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/568\/8f1\/430\/5688f1430a5e18e78341d2b855decadc.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/568\/8f1\/430\/5688f1430a5e18e78341d2b855decadc.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0414\u0432\u0430 \u0441\u0440\u0435\u0437\u0430: \u044d\u043f\u043e\u0445\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u0438 \u0442\u0438\u043f \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0421\u043b\u0435\u0432\u0430 \u043f\u043e\u0442\u043e\u043a \u0438\u0434\u0435\u0442 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 &#8212; \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u0435\u043d\u044f\u043b\u0441\u044f \u0444\u043e\u043a\u0443\u0441 \u043f\u043e\u043b\u044f. \u0421\u043f\u0440\u0430\u0432\u0430 &#8212; \u043e\u0442 \u0442\u0438\u043f\u0430 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u0442\u043e \u0447\u0435\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f. \u0428\u0438\u0440\u0438\u043d\u0430 \u043b\u0435\u043d\u0442\u044b \u0441\u043d\u043e\u0432\u0430 \u0440\u0430\u0432\u043d\u0430 \u0447\u0438\u0441\u043b\u0443 \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u0421\u043b\u0435\u0432\u0430 \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0435\u0441 \u043a \u043f\u043e\u0437\u0434\u043d\u0438\u043c \u044d\u043f\u043e\u0445\u0430\u043c. \u0421\u043f\u0440\u0430\u0432\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f \u0442\u044f\u043d\u0443\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 safety, \u0430 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0440\u0433\u0430\u043d\u044b \u0438 policy-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b &#8212; \u043a governance \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/alluvial_pairs.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p><strong>\u0411\u043b\u043e\u043a\u0438-\u044d\u043f\u043e\u0445\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u043a\u0443\u0434\u0430 \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u043f\u043e\u043b\u044f.<\/strong> \u0427\u0438\u0441\u043b\u043e \u0440\u044f\u0434\u043e\u043c \u0441 \u043a\u0430\u0436\u0434\u043e\u0439 \u044d\u043f\u043e\u0445\u043e\u0439 &#8212; \u044d\u0442\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043d\u0430 \u043d\u0435\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f, 2005-2012.<\/strong> \u041f\u043e\u043b\u0435 \u043f\u043e\u0447\u0442\u0438 \u043f\u0443\u0441\u0442\u043e\u0435 &#8212; \u0432\u0441\u0435\u0433\u043e \u043f\u044f\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u0439: \u043f\u0435\u0440\u0432\u044b\u0435 \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b (FHI \u0432 2005-\u043c, GCRI \u0432 2011-\u043c), \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435 MIRI \u043f\u043e\u0434 agent foundations \u0432 2005-\u043c \u0438 \u0441\u0430\u043c\u044b\u0435 \u0440\u0430\u043d\u043d\u0438\u0435 \u0443\u0437\u043b\u044b \u0438\u0437 capabilities \u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 (DeepMind \u0432 2010-\u043c, CFAR \u0432 2012-\u043c). \u041f\u043e\u043a\u0430 \u044d\u0442\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0431\u0435\u0437 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u0437\u0430 \u0441\u043f\u0438\u043d\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0424\u0430\u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f, 2013-2016.<\/strong> \u041c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u0441\u0435 \u0435\u0449\u0435 \u0433\u043b\u0430\u0432\u043d\u0430\u044f &#8212; 10 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u0437 27, &#8212; \u043d\u043e \u0440\u044f\u0434\u043e\u043c \u0443\u0436\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0443\u0437\u043b\u044b \u0437\u0434\u0435\u0441\u044c &#8212; FLI, MIRI \u0438 \u043f\u0435\u0440\u0432\u0430\u044f Open Philanthropy.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u043d\u0441\u0442\u0438\u0442\u0443\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, 2017-2019.<\/strong> \u0420\u0435\u0437\u043a\u043e \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f field-building (10 \u0441\u043e\u0431\u044b\u0442\u0438\u0439) \u0438 governance (4), \u0430 \u0446\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442 \u043a OpenAI, Paul Christiano \u0438 GovAI &#8212; \u043f\u043e\u043b\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0437\u0430\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0432\u043e\u0440\u043e\u0442, 2020-2021.<\/strong> \u0418\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u043e\u043a\u0430 \u043b\u0438\u0434\u0438\u0440\u0443\u0435\u0442 (6 \u0441\u043e\u0431\u044b\u0442\u0438\u0439), \u043d\u043e \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043b\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0438 AI control. \u041d\u043e\u0432\u044b\u0435 \u0443\u0437\u043b\u044b &#8212; Anthropic \u0438 Redwood.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 ChatGPT, 2022-2023.<\/strong> \u041f\u043b\u043e\u0442\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0438\u0437 33 \u0441\u043e\u0431\u044b\u0442\u0438\u0439: field-building (12), governance (5), evaluations (4), \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c (3), AI control (2). \u0412 \u0446\u0435\u043d\u0442\u0440\u0435 &#8212; FTX Future Fund, Anthropic, CAIS \u0438 ARC Evals.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f, 2024-2026.<\/strong> \u042d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u043f\u043b\u043e\u0442\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0432\u043e \u0432\u0441\u0435\u0439 \u0431\u0430\u0437\u0435 &#8212; 82 \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441 2024 \u0433\u043e\u0434\u0430 \u043f\u043e \u043f\u0435\u0440\u0432\u0443\u044e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 2026-\u0433\u043e. \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0437\u0434\u0435\u0441\u044c governance (26 \u0441\u043e\u0431\u044b\u0442\u0438\u0439) &#8212; \u0447\u0435\u0440\u0435\u0434\u0430 \u0441\u0430\u043c\u043c\u0438\u0442\u043e\u0432, \u0437\u0430\u043a\u043e\u043d\u043e\u0432 \u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432. \u0417\u0430 \u043d\u0435\u0439 \u0438\u0434\u0443\u0442 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0440\u0443\u043f\u043f\u044b: \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c (12) \u0438 evaluations (12), \u0437\u0430\u0442\u0435\u043c robustness (9) \u0438 model organisms (6). \u041f\u043e \u0447\u0438\u0441\u043b\u0443 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u043e\u0434\u0438\u043d \u0443\u0437\u0435\u043b &#8212; Anthropic (9). \u0418 \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0441\u0436\u0430\u0442\u044c\u0441\u044f, \u043f\u043e\u043b\u0435 \u0440\u0430\u0437\u0440\u043e\u0441\u043b\u043e\u0441\u044c: 2024 \u0433\u043e\u0434 \u0441\u0442\u0430\u043b \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u044b\u043c \u043f\u043e \u043d\u043e\u0432\u044b\u043c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f\u043c &#8212; 24 \u043f\u0440\u043e\u0442\u0438\u0432 7 \u0432 2025-\u043c, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0443\u0437\u043a\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b. \u041f\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0438\u0441\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0432\u0440\u043e\u0434\u0435 Goodfire, Transluce, Guide Labs, Tilde, Simplex \u0438 Decode; \u043f\u043e AI security \u0438 evaluations &#8212; Palisade, Gray Swan, Virtue AI; \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u043e\u043c chain-of-thought \u0437\u0430\u043d\u044f\u043b\u0430\u0441\u044c Geodesic, \u0430 Bengio \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b LawZero \u0432\u043e\u043a\u0440\u0443\u0433 \u201cScientist AI\u201d.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0438 \u0432\u0435\u0441\u044c \u0441\u044e\u0436\u0435\u0442 \u043f\u043e\u0441\u0442\u0430: \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 \u043b\u0435\u0432\u043e\u0433\u043e \u043d\u0438\u0436\u043d\u0435\u0433\u043e \u0443\u0433\u043b\u0430 (\u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f, \u043e\u0434\u0438\u043d\u043e\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b) \u0432 \u043f\u0440\u0430\u0432\u044b\u0439 \u0432\u0435\u0440\u0445\u043d\u0438\u0439 (\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430, \u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u0441\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a Anthropic \u0438 safety-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u0430\u043c). \u041d\u043e \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f &#8212; \u044d\u0442\u043e \u0435\u0449\u0435 \u043d\u0435 \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439. \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e \u044d\u043f\u043e\u0445\u0443 \u043f\u043e\u043b\u0435, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0443\u0437\u043a\u0438\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 (2024-\u0439 &#8212; \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u044b\u0439 \u043f\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u0433\u043e\u0434 \u0432 \u0431\u0430\u0437\u0435). \u0414\u0430\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0443 \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c.<\/p>\n<p>\u0418\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c \u0438 \u0442\u043e, \u0438\u0437 \u0447\u0435\u0433\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u0442 \u044d\u043f\u043e\u0445\u0438. \u0412 \u043f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044e (2005-2012) \u044d\u0442\u043e \u043d\u0430 100% \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439: \u043d\u0438 \u0441\u0442\u0430\u0442\u0435\u0439, \u043d\u0438 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0435\u0449\u0435 \u043d\u0435\u0442. \u041f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438, \u0433\u0440\u0430\u043d\u0442\u044b \u0438 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043e \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441 2013 \u0433\u043e\u0434\u0430. \u0410 \u043a \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u044d\u043f\u043e\u0445\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0443\u0436\u0435 \u043b\u0438\u0448\u044c \u043e\u043a\u043e\u043b\u043e 28% &#8212; \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u044d\u0442\u043e \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0441\u043e\u0431\u044b\u0442\u0438\u0439.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6fb\/b8a\/baf\/6fbb8abaff8db6beb69b747ce5ebe555.png\" alt=\"\u0421\u043e\u0441\u0442\u0430\u0432 \u0442\u0438\u043f\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c (\u0434\u043e\u043b\u0438 \u0434\u043e 100%)\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/6fb\/b8a\/baf\/6fbb8abaff8db6beb69b747ce5ebe555.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6fb\/b8a\/baf\/6fbb8abaff8db6beb69b747ce5ebe555.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043e\u0441\u0442\u0430\u0432 \u0442\u0438\u043f\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c (\u0434\u043e\u043b\u0438 \u0434\u043e 100%)<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0413\u0440\u0430\u0444\u0438\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0443\u044e \u0434\u043e\u043b\u044e \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0441\u043e\u0431\u044b\u0442\u0438\u0439 &#8212; \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438, \u0433\u0440\u0430\u043d\u0442\u044b, \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044f. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/event_composition.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0418, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043a\u0430\u043a \u0432\u0441\u0435 \u044d\u0442\u043e \u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u044d\u043f\u043e\u0445\u0435, \u0432 \u043e\u0434\u043d\u043e\u043c \u043a\u0430\u0434\u0440\u0435: \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0435 \u043f\u0430\u043d\u0435\u043b\u0438, \u0433\u0434\u0435 \u043f\u044f\u0442\u044c \u044d\u043f\u043e\u0445 \u0438\u0434\u0443\u0442 \u043f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 (\u0442\u0435 \u0436\u0435 \u043f\u044f\u0442\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439, \u0447\u0442\u043e \u043d\u0438\u0436\u0435).<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d26\/e6d\/6f5\/d26e6d6f590181d3e80852141d9becbd.png\" alt=\"\u041a\u0430\u043a \u043f\u043e\u043b\u0435 \u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c: \u0433\u0440\u0443\u043f\u043f\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438, \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d26\/e6d\/6f5\/d26e6d6f590181d3e80852141d9becbd.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d26\/e6d\/6f5\/d26e6d6f590181d3e80852141d9becbd.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a \u043f\u043e\u043b\u0435 \u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c: \u0433\u0440\u0443\u043f\u043f\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438, \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439<\/figcaption><\/div>\n<\/figure>\n<p><em>\u041f\u0430\u043d\u0435\u043b\u0438 \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e \u0438 \u0441\u0432\u0435\u0440\u0445\u0443 \u0432\u043d\u0438\u0437. \u041f\u0435\u0440\u0432\u0430\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0433\u0440\u0443\u043f\u043f\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043a\u0430\u043a \u0434\u043e\u043b\u044e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043a\u0430\u0436\u0434\u043e\u0439 \u044d\u043f\u043e\u0445\u0438 (\u0438\u0437 100%): \u0441\u0438\u043d\u0438\u0435 foundations \u0438 strategy \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0441 67% \u0432 2005-2013 \u0433\u043e\u0434\u0430\u0445 \u0438 \u0441\u0436\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0434\u043e 6% \u043a 2024-2026, \u0430 \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u0432\u044b\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 60%. \u041d\u0430\u0434 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u043c\u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u0430\u043d\u043e \u043e\u0431\u0449\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u044d\u043f\u043e\u0445\u0438, \u0447\u0442\u043e\u0431\u044b \u0437\u0430 \u0434\u043e\u043b\u044f\u043c\u0438 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u0435\u0441\u044f\u0442\u0438\u043a\u0440\u0430\u0442\u043d\u044b\u0439 \u0440\u043e\u0441\u0442 \u043f\u043e\u043b\u044f. \u0412\u0442\u043e\u0440\u0430\u044f \u043f\u0430\u043d\u0435\u043b\u044c \u0442\u0430\u043a \u0436\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u0438\u043f\u044b \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 &#8212; \u0438\u0445 \u0441\u0435\u043c\u044c. \u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u044d\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0441\u043f\u043b\u043e\u0448\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 (56% \u0432 2005-2013). \u0424\u043e\u043d\u0434\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0438\u043b\u0443 \u0432 2014-2019 \u0433\u043e\u0434\u0430\u0445 (24%). \u0410 \u043a 2024-2026 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c: \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u043e \u0432\u044b\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u0441 \u043d\u0443\u043b\u044f \u0434\u043e 24%, \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f &#8212; \u0434\u043e 26%, \u0438 \u043e\u043d\u0438 \u0443\u0436\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b \u0441 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 (29%). \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e \u044d\u043f\u043e\u0445\u0443 \u0434\u0432\u0438\u0433\u0430\u044e\u0442 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u043e \u0438 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044f. \u0422\u0440\u0435\u0442\u044c\u044f \u043f\u0430\u043d\u0435\u043b\u044c &#8212; \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e \u0444\u043e\u043d\u0434\u0430\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0443\u043c\u043c\u0430 \u0432\u0441\u0435\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0437\u0430 \u044d\u043f\u043e\u0445\u0443, \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e $764 \u043c\u043b\u043d. \u0428\u0435\u0441\u0442\u044c \u0434\u0430\u0432\u043d\u0438\u0445 \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u043e\u043d\u0434\u043e\u0432 (OpenPhil, SFF, FTX, FLI, LTFF \u0438 Tallinn) \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442 \u0441\u0432\u043e\u0438 \u0446\u0432\u0435\u0442\u0430, \u0430 \u0431\u043e\u043b\u0435\u0435 \u043d\u043e\u0432\u044b\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438 \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 (UK AISI &#8212; $159 \u043c\u043b\u043d, ARIA &#8212; $74 \u043c\u043b\u043d, \u041a\u0430\u043d\u0430\u0434\u0430 &#8212; $36.5 \u043c\u043b\u043d, NSF &#8212; $20 \u043c\u043b\u043d, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f &#8212; $19.7 \u043c\u043b\u043d \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435) \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0432 \u043e\u0434\u043d\u0443 \u0441\u0435\u0440\u0443\u044e \u043f\u043e\u043b\u043e\u0441\u0443. \u0420\u043e\u0441\u0442 \u0442\u0443\u0442 \u0432\u0438\u0434\u0435\u043d \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e \u043a\u043e\u043d\u0446\u0430: \u043e\u043a\u043e\u043b\u043e $0 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e $128 \u043c\u043b\u043d \u0432 2014-2019 \u0433\u043e\u0434\u0430\u0445 (\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044f), \u043e\u043a\u043e\u043b\u043e $242 \u043c\u043b\u043d \u0432 2022-2023 \u0438 \u043e\u043a\u043e\u043b\u043e $335 \u043c\u043b\u043d \u0432 2024-2026, \u0433\u0434\u0435 \u0443\u0436\u0435 \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0441\u0435\u0440\u0430\u044f \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u043b\u043e\u0441\u0430. \u0427\u0435\u0442\u0432\u0435\u0440\u0442\u0430\u044f \u043f\u0430\u043d\u0435\u043b\u044c &#8212; \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439: \u043d\u043e\u0432\u044b\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435, \u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0439 \u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u043e\u0432 \u043c\u0435\u043d\u044c\u0448\u0435. \u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u043f\u0440\u043e \u0434\u0435\u043d\u044c\u0433\u0438: \u043d\u0430 \u044d\u0442\u043e\u0439 \u043f\u0430\u043d\u0435\u043b\u0438 \u0443\u0447\u0442\u0435\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b &#8212; \u0431\u0435\u0437 \u0433\u043e\u0434\u043e\u0432\u044b\u0445 \u0438\u0442\u043e\u0433\u043e\u0432 \u0434\u043e\u043d\u043e\u0440\u043e\u0432 \u0438 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0439. \u0422\u0430\u043a \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430\u0436\u0434\u044b. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/era_shift.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0420\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0443\u0436\u0435 \u0432\u0438\u0434\u043d\u043e \u0432\u044b\u0448\u0435, \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0436\u0438\u0437\u043d\u0438, \u0430 \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0434\u0435\u043d\u0435\u0433 \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0437\u0430 \u0432\u0441\u0435 \u0433\u043e\u0434\u044b \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0432 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u044d\u043f\u043e\u0445. \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0439\u0434\u0435\u043c \u0442\u0435 \u0436\u0435 \u043f\u044f\u0442\u044c \u044d\u043f\u043e\u0445 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443 \u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438.<\/p>\n<hr\/>\n<h3>\u042d\u043f\u043e\u0445\u0430 1, \u043f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f \u0438 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 (2005-2013): \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u0435\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p><em>\u0412 \u044d\u0442\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 9 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0430 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u0435 \u0435\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0436\u0438\u0437\u043d\u0438 \u0432\u044b\u0448\u0435.<\/em><\/p>\n<p>\u0412\u0441\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0441 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u0430 \u0441 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430: <strong>\u043a\u0430\u043a \u043d\u0435 \u0440\u0430\u0437\u0440\u0443\u0448\u0438\u0442\u044c \u0434\u0430\u043b\u0435\u043a\u043e\u0435 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u0442\u0432\u0430?<\/strong> \u0412 2005 \u0433\u043e\u0434\u0443 \u0432 \u041e\u043a\u0441\u0444\u043e\u0440\u0434\u0435 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f Future of Humanity Institute (FHI, Nick Bostrom) &#8212; \u0441\u0430\u043c\u0430\u044f \u0440\u0430\u043d\u043d\u044f\u044f \u0442\u043e\u0447\u043a\u0430 \u0432 \u0431\u0430\u0437\u0435. \u0412\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e, \u0447\u0442\u043e \u044f \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439: \u0441\u0430\u043c\u043e\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u0435 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0438\u0441\u043a\u0430\u0445. \u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0434\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442\u0441\u044f GCRI (2011), CSER (\u041a\u0435\u043c\u0431\u0440\u0438\u0434\u0436, 2013), FRI (2013) \u0438 CFI (2015). \u041f\u043e \u0447\u0438\u0441\u043b\u0443 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043f\u0438\u043a \u043a \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 2010-\u0445.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u0440\u0435\u043d\u044c &#8212; \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439. \u0412 2013 \u0433\u043e\u0434\u0443 MIRI \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043f\u0440\u043e\u0441\u0432\u0435\u0442\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u043a friendly AI \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u0433\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 (\u0442\u0435\u043e\u0440\u0438\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0438\u043d\u0434\u0443\u043a\u0446\u0438\u044f). \u0422\u0430\u043a \u0440\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f agent foundations &#8212; \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043f\u043e\u043d\u044f\u0442\u044c \u0438\u0434\u0435\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 \u0435\u0449\u0435 \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0435\u0433\u043e \u043a\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442.<\/p>\n<p>\u0414\u0435\u043d\u0435\u0433 \u043d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0442. \u0415\u0441\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441 \u0438 \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u043d\u0435\u0442 \u043d\u0438 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438, \u043d\u0438 \u043f\u043e\u0442\u043e\u043a\u0430 \u0433\u0440\u0430\u043d\u0442\u043e\u0432. \u0420\u0430\u043d\u043d\u0438\u0435 \u0443\u0437\u043b\u044b (FHI, GCRI, FRI) \u043a \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u043c\u0435\u043d\u0442\u0443 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0443\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442, \u0438 \u043d\u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u043f\u043e\u043a\u0430 \u043d\u0435 \u0437\u0430\u043a\u0440\u044b\u043b\u0441\u044f. \u042d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0436\u0438\u0437\u043d\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 &#8212; \u043e\u043d\u0430 \u0432 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043f\u043e\u0441\u043b\u0435 \u044d\u043f\u043e\u0445.<\/p>\n<hr\/>\n<h3>\u042d\u043f\u043e\u0445\u0430 2, \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0444\u043e\u043d\u0434 (2014-2019): \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0435\u043d\u044c\u0433\u0438<\/h3>\n<p><em>\u0412 \u044d\u0442\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u0435\u043d\u0435\u0436\u043d\u0430\u044f \u043f\u0430\u043d\u0435\u043b\u044c, \u0438 OpenPhil \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0432\u043f\u0435\u0440\u0435\u0434.<\/em><\/p>\n<p>\u041f\u0435\u0440\u0435\u043b\u043e\u043c\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 &#8212; \u044f\u043d\u0432\u0430\u0440\u044c 2015 \u0433\u043e\u0434\u0430: \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f FLI \u0432 \u041f\u0443\u044d\u0440\u0442\u043e-\u0420\u0438\u043a\u043e (\u201cFuture of AI\u201d), \u043a\u043e\u0442\u043e\u0440\u0443\u044e Nate Soares \u043f\u043e\u0437\u0436\u0435 \u0442\u0430\u043a \u0438 \u043d\u0430\u0437\u043e\u0432\u0435\u0442. \u0418\u0437 \u043d\u0435\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0435 \u043f\u0438\u0441\u044c\u043c\u043e, \u0430 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043d\u0438\u043c &#8212; \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0434\u043e\u043d\u043e\u0440 \u043f\u043e\u043b\u044f, <strong>Open Philanthropy<\/strong>.<\/p>\n<p>\u041d\u0430 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0435\u043d\u044c\u0433\u0430\u0445 \u043f\u043e \u0444\u043e\u043d\u0434\u0430\u043c (\u0441\u0432\u043e\u0434\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 &#8212; \u0432 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b) \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u0430\u044f: <strong>\u0432 \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 OpenPhil<\/strong>. \u041f\u043e \u0433\u043e\u0434\u043e\u0432\u044b\u043c \u0438\u0442\u043e\u0433\u0430\u043c \u0435\u0435 \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e safety \u0440\u0430\u0441\u0442\u0443\u0442 \u0441 $1.19 \u043c\u043b\u043d \u0432 2015 \u0433\u043e\u0434\u0443 \u0434\u043e $6.56 \u043c\u043b\u043d \u0432 2016-\u043c, \u043f\u043e\u0442\u043e\u043c \u0434\u043e $43.2 \u043c\u043b\u043d \u0432 2017-\u043c \u0438 \u0434\u043e \u043f\u0438\u043a\u0430 \u0432 $81.7 \u043c\u043b\u043d \u0432 2021-\u043c. \u041f\u0440\u0430\u0432\u0434\u0430, \u0441\u043a\u0430\u0447\u043e\u043a 2017 \u0433\u043e\u0434\u0430 &#8212; \u044d\u0442\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043e\u0434\u0438\u043d \u0433\u0440\u0430\u043d\u0442: $30 \u043c\u043b\u043d \u043d\u0430 \u043e\u0431\u0449\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 OpenAI \u0432 \u043c\u0430\u0440\u0442\u0435. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u0438\u043a \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0434\u043d\u043e\u0439 \u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u0441\u0442\u0430\u0432\u043a\u043e\u0439, \u0430 \u043d\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439.<\/p>\n<p>\u0412 \u044d\u0442\u0438 \u0436\u0435 \u0433\u043e\u0434\u044b \u0440\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f governance: \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430, \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b, AI governance. \u0412 2019 \u0433\u043e\u0434\u0443 OpenPhil \u0432\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 $55 \u043c\u043b\u043d \u043d\u0430 \u043f\u044f\u0442\u044c \u043b\u0435\u0442 \u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 CSET (\u0414\u0436\u043e\u0440\u0434\u0436\u0442\u0430\u0443\u043d) &#8212; \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0439 governance-\u0433\u0440\u0430\u043d\u0442 \u044d\u043f\u043e\u0445\u0438. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0438\u0434\u0435\u0442 value learning: \u0446\u0435\u043d\u0442\u0440 Stuart Russell &#8212; CHAI (\u0411\u0435\u0440\u043a\u043b\u0438, 2016), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 OpenPhil \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0442\u043e\u043c $5.6 \u043c\u043b\u043d \u043d\u0430 \u0434\u0432\u0430 \u0433\u043e\u0434\u0430.<\/p>\n<p>\u041a\u0443\u0434\u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u0443\u0448\u043b\u0438 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u0433\u043e\u0434\u0430\u043c, \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0433\u0440\u0430\u043d\u0442\u0430\u043c &#8212; \u0431\u0435\u0437 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0445 \u0438\u0442\u043e\u0433\u043e\u0432 \u0434\u043e\u043d\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0434\u0432\u0430\u0438\u0432\u0430\u043b\u0438 \u0431\u044b \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u043e\u043b\u043b\u0430\u0440\u044b. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c &#8212; \u0432 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b. \u041e\u0434\u043d\u0430 \u0446\u0438\u0444\u0440\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u0430 \u0443\u0436\u0435 \u0441\u0435\u0439\u0447\u0430\u0441: \u043d\u0430 field-building (\u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 &#8212; \u0444\u043e\u043d\u0434\u044b, \u0441\u0442\u0438\u043f\u0435\u043d\u0434\u0438\u0438) \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f $326.1 \u043c\u043b\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u043e\u0432, \u044d\u0442\u043e \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0439 \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043f\u043e\u043b\u044f: \u0441\u044e\u0434\u0430 \u0432\u0445\u043e\u0434\u044f\u0442 \u0438 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b &#8212; \u0432\u0440\u043e\u0434\u0435 \u0442\u0430\u0441\u043a\u0444\u043e\u0440\u0441\u0430 UK AISI \u0438 \u043d\u043e\u0432\u044b\u0445 \u0440\u0435\u0433\u0440\u0430\u043d\u0442\u0435\u0440\u043e\u0432. \u041d\u0430 \u044d\u0442\u043e\u043c \u0444\u043e\u043d\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u0442\u0435\u0440\u044f\u044e\u0442\u0441\u044f.<\/p>\n<hr\/>\n<h3>\u042d\u043f\u043e\u0445\u0430 3, \u043f\u0440\u043e\u0437\u0430\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0432\u043e\u0440\u043e\u0442 (2020-2021): \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0435 \u043c\u0435\u043d\u044f\u044e\u0442<\/h3>\n<p><em>\u0412 \u044d\u0442\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 \u0446\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e safety.<\/em><\/p>\n<p>\u041a 2020 \u0433\u043e\u0434\u0443 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e: \u0435\u0441\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u044b\u0439 AI \u0438 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f, \u0442\u043e \u0438\u0437 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u0430 \u043d\u0435 \u0438\u0437 \u0447\u0438\u0441\u0442\u043e\u0439 \u0442\u0435\u043e\u0440\u0438\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u043b\u0435 \u043f\u043e\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a prosaic alignment &#8212; \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438. \u041f\u043e\u0447\u0442\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u0442\u0440\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u044b:<\/p>\n<ul>\n<li>\n<p><strong>\u0420\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f mechanistic interpretability.<\/strong> \u0412 \u043c\u0430\u0440\u0442\u0435 2020 \u0433\u043e\u0434\u0430 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u201cCircuits\u201d (Chris Olah, \u043d\u0430 distill), \u0432 2021-\u043c &#8212; Transformer Circuits. \u041f\u043e \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u043c\u0443 arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 (mechanistic interpretability, sparse autoencoders \u0438 probing &#8212; \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u044f \u0432\u044b\u0431\u0440\u043e\u0441\u0438\u043b\u0430 \u0433\u043e\u043b\u043e\u0435 \u0441\u043b\u043e\u0432\u043e <em>interpretability<\/em>, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043b \u043f\u043e\u0447\u0442\u0438 \u0432\u0435\u0441\u044c \u043e\u0431\u0449\u0438\u0439 ML) \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0443\u0436\u0435 \u0440\u0430\u0441\u0442\u0435\u0442: \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441 34 \u0441\u0442\u0430\u0442\u0435\u0439 \u0432 2020 \u0433\u043e\u0434\u0443 \u0434\u043e 69 \u0432 2021-\u043c, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u043a\u0440\u0443\u0447\u0435 &#8212; 125, 257 \u0438 657 \u043a 2025-\u043c\u0443. \u0418 \u044d\u0442\u043e\u0442 \u0440\u0430\u043d\u043d\u0438\u0439 \u0440\u043e\u0441\u0442 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0430\u043b\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>Reward modeling \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 RLHF<\/strong> \u043a\u0430\u043a \u0442\u0435\u0445\u043d\u0438\u043a\u0443 &#8212; \u0441 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u043b\u0438\u043d\u0438\u0435\u0439 \u043e\u0442 Concrete Problems (2016) \u043a Deep RL from Human Preferences (Christiano \u0438 Leike, 2017).<\/p>\n<\/li>\n<li>\n<p><strong>Agent foundations \u0437\u0430\u0442\u0443\u0445\u0430\u0435\u0442.<\/strong> \u0410\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u0431\u0435\u0437\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u0430\u044f \u043a deep learning, \u0432\u0441\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0434\u043e\u043d\u043e\u0440\u043e\u0432 \u0432 \u044d\u043f\u043e\u0445\u0443, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 LLM. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0440\u0435\u0434\u0435\u044e\u0442 \u043f\u043e\u0441\u043b\u0435 2021 \u0433\u043e\u0434\u0430 \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0443 \u043e\u0442\u043c\u0435\u0442\u043a\u0443 \u0432 2024-\u043c (\u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442 MIRI). \u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a\u0430\u043a \u0444\u043e\u043d, \u0430 \u043d\u0435 \u043a\u0430\u043a \u043d\u043e\u0432\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a \u0433\u043e\u0434 \u0437\u0430 \u0433\u043e\u0434\u043e\u043c \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0434\u043e\u043d\u043e\u0440 \u0438 \u043a\u0430\u043a \u0434\u043e\u043b\u0438 \u0441\u043c\u0435\u0449\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0440\u0430\u043d\u043d\u0438\u0445 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0442\u0430\u0432\u043e\u043a \u043a governance \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 &#8212; \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u0441\u043a\u0432\u043e\u0437\u043d\u043e\u043c \u0434\u0435\u043d\u0435\u0436\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 (\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c). \u041e\u043d \u043b\u0435\u0436\u0438\u0442 \u0432 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b &#8212; \u0442\u0430\u043a \u0435\u0433\u043e \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043f\u043e\u043b\u044e, \u0430 \u043d\u0435 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u044d\u043f\u043e\u0445\u0435. \u0422\u0430\u043c \u0436\u0435 \u043b\u0435\u0436\u0430\u0442 \u0438 \u043a\u0440\u0438\u0432\u044b\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c (arXiv-\u043f\u0440\u043e\u043a\u0441\u0438); \u043a\u0440\u0438\u0432\u0430\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u043d\u0430 \u043d\u0438\u0445 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0440\u0430\u0437 \u043e\u043a\u043e\u043b\u043e 2020-2021 \u0433\u043e\u0434\u043e\u0432.<\/p>\n<hr\/>\n<h3>\u042d\u043f\u043e\u0445\u0430 4, \u043c\u043e\u043c\u0435\u043d\u0442 ChatGPT \u0438 \u0448\u043e\u043a FTX (2022-2023): \u0434\u0435\u043d\u044c\u0433\u0438, \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b, \u0440\u0430\u0437\u0440\u044b\u0432<\/h3>\n<p><em>\u0412 \u044d\u0442\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438\u0434\u0443\u0442 \u0443\u0436\u0435 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0444\u043e\u043d\u0434\u043e\u0432 \u0441\u0440\u0430\u0437\u0443 (SFF, OpenPhil, FTX), \u0430 \u0441\u0440\u0435\u0434\u0438 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b \u0438 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f.<\/em><\/p>\n<p>\u0412 \u043a\u043e\u043d\u0446\u0435 2022 \u0433\u043e\u0434\u0430 ChatGPT \u0432\u044b\u0432\u0435\u043b AI \u0432 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u0438 \u0432 \u043c\u0430\u0441\u0441\u043e\u0432\u043e\u0435 \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u044d\u0442\u043e \u043e\u0442\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u043f\u043b\u0435\u0441\u043a\u043e\u043c \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445:<\/p>\n<ul>\n<li>\n<p><strong>Evaluations<\/strong> &#8212; \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u043f\u0430\u0441\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439: ARC Evals (Beth Barnes, 2022), \u0437\u0430\u0442\u0435\u043c Apollo Research (2023), \u043f\u0440\u0435\u0434\u0440\u0435\u043b\u0438\u0437\u043d\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 GPT-4 \u0438 Claude, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u0440\u0438\u0442\u0430\u043d\u0441\u043a\u0438\u0439 \u0438 \u0430\u043c\u0435\u0440\u0438\u043a\u0430\u043d\u0441\u043a\u0438\u0439 safety-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b \u0432 2023 \u0433\u043e\u0434\u0443, \u0432\u043e\u043a\u0440\u0443\u0433 \u0441\u0430\u043c\u043c\u0438\u0442\u0430 \u0432 Bletchley.<\/p>\n<\/li>\n<li>\n<p><strong>AI control<\/strong> &#8212; \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Redwood. \u041e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u0432 \u0438\u044e\u043d\u0435 2021 \u0433\u043e\u0434\u0430, \u0430 \u043a 2023-\u043c\u0443 \u0443 \u043d\u0435\u0435 \u0443\u0436\u0435 \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0432\u0435\u0441\u0442\u043a\u0430 control research. \u0414\u0435\u043d\u0435\u0433 \u043c\u043d\u043e\u0433\u043e: OpenPhil \u0434\u0430\u043b\u0430 Redwood $9.4 \u043c\u043b\u043d \u0432 2021 \u0433\u043e\u0434\u0443, $10.7 \u043c\u043b\u043d \u0432 2022-\u043c \u0438 $5.3 \u043c\u043b\u043d \u0432 2023-\u043c, \u043f\u043b\u044e\u0441 \u0435\u0449\u0435 $6.6 \u043c\u043b\u043d \u043e\u0442 FTX \u0432 \u0438\u044e\u043b\u0435 2022-\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0435\u0437\u043a\u0438\u0439 \u0440\u043e\u0441\u0442 governance.<\/strong> \u041d\u0430 \u044d\u0442\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u0441 $0.4 \u043c\u043b\u043d \u0432 2018 \u0433\u043e\u0434\u0443 \u0434\u043e $1.5 \u043c\u043b\u043d \u0432 2020-\u043c, \u0437\u0430\u0442\u0435\u043c $3.6 \u043c\u043b\u043d \u0432 2021-\u043c, $10.3 \u043c\u043b\u043d \u0432 2022-\u043c \u0438 $18.4 \u043c\u043b\u043d \u0432 2023-\u043c &#8212; \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 46 \u0440\u0430\u0437 \u0437\u0430 \u043f\u044f\u0442\u044c \u043b\u0435\u0442. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f: \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u0432 2023 \u0433\u043e\u0434\u0443 &#8212; \u044d\u0442\u043e $24.6 \u043c\u043b\u043d, \u0432\u0441\u0435 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0410 \u043f\u043e\u0442\u043e\u043c &#8212; \u0443\u0434\u0430\u0440. <strong>\u0412 \u043d\u043e\u044f\u0431\u0440\u0435 2022 \u0433\u043e\u0434\u0430 \u0440\u0443\u0448\u0438\u0442\u0441\u044f FTX.<\/strong> \u0417\u0430 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 (\u0441 \u0444\u0435\u0432\u0440\u0430\u043b\u044f \u043f\u043e \u0430\u0432\u0433\u0443\u0441\u0442 2022-\u0433\u043e) FTX Future Fund \u0440\u0430\u0437\u0434\u0430\u043b \u043d\u0430 AI safety $18.7 \u043c\u043b\u043d \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u0430 \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0430\u043c &#8212; \u043e\u043a\u043e\u043b\u043e $32 \u043c\u043b\u043d \u0432 \u0446\u0435\u043b\u043e\u043c. \u0422\u0435\u043f\u0435\u0440\u044c \u044d\u0442\u043e\u0442 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u043e\u0442\u0440\u0435\u0437\u0430\u043d, \u0430 \u0447\u0430\u0441\u0442\u044c \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0434\u0430\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c. \u041d\u0430 \u0441\u043a\u0432\u043e\u0437\u043d\u043e\u043c \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043b\u0438\u043d\u0438\u044f FTX \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 2022 \u0433\u043e\u0434\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0440\u0430\u0441\u0442\u0435\u0442. \u0420\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u043f\u043e \u0433\u043e\u0434\u0430\u043c &#8212; \u043d\u0430 \u0441\u0432\u043e\u0434\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u0442\u0430\u043c \u0436\u0435, \u0438 \u043d\u0430 \u043f\u0430\u043d\u0435\u043b\u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438 \u0432 \u043e\u0431\u0437\u043e\u0440\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c.<\/p>\n<hr\/>\n<h3>\u042d\u043f\u043e\u0445\u0430 5, \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0438 \u0444\u0438\u043d\u0430\u043b (2024-2026): Safety \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439<\/h3>\n<p><em>\u0412 \u044d\u0442\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0445\u043e\u0436\u0430 \u043d\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438: \u043f\u043e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0435 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u0442\u0443\u0442 \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u044b\u0435 31 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0442\u0438\u0432 8 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0439 \u0438\u043b\u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u043e\u0432.<\/em><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u044d\u043f\u043e\u0445\u0430 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; \u044d\u0442\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0438 \u0441\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435, \u0438 \u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435.<\/p>\n<ul>\n<li>\n<p>\u0412 \u0430\u043f\u0440\u0435\u043b\u0435 2024 \u0433\u043e\u0434\u0430 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f FHI &#8212; \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0441\u0435 \u0438 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043c\u0430\u0435 2024 \u0433\u043e\u0434\u0430 OpenAI \u0440\u0430\u0441\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 Superalignment (\u0435\u0435 \u043e\u0431\u044a\u044f\u0432\u0438\u043b\u0438 \u0432 \u0438\u044e\u043b\u0435 2023-\u0433\u043e \u0441 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435\u043c \u043e\u0442\u0434\u0430\u0442\u044c 20% \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u0447\u0435\u0442\u044b\u0440\u0435 \u0433\u043e\u0434\u0430) &#8212; \u043f\u043e\u0441\u043b\u0435 \u0443\u0445\u043e\u0434\u0430 Sutskever \u0438 Leike. Scalable oversight \u0442\u0435\u0440\u044f\u0435\u0442 \u0433\u043b\u0430\u0432\u043d\u0443\u044e \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u043f\u043e\u0440\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0412 2024 \u0433\u043e\u0434\u0443 MIRI, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u0433\u0434\u0430-\u0442\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u043e agent foundations, \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043a \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u044f\u043c \u0438 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0435. \u0421\u0442\u0430\u0440\u0435\u0439\u0448\u0435\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443\u0445\u043e\u0434\u0438\u0442 \u0441\u043e \u0441\u0446\u0435\u043d\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 &#8212; \u043d\u043e \u043d\u0435 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432\u043e\u043f\u0440\u043e\u0441 \u0440\u0435\u0448\u0435\u043d, \u0430 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f-\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043c\u0435\u043d\u0438\u043b\u0430 \u043c\u0438\u0441\u0441\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>\u0412 2025 \u0433\u043e\u0434\u0443 \u0441\u043b\u043e\u0432\u043e <em>Safety<\/em> \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 safety-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u043e\u0432. \u0412 \u0444\u0435\u0432\u0440\u0430\u043b\u0435 UK AI Safety Institute \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f <strong>AI Security Institute<\/strong>, \u0430 US AI Safety Institute \u043f\u0440\u0438 NIST &#8212; <strong>CAISI<\/strong> (Center for AI Standards and Innovation). <em>Safety<\/em> \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043c\u0435\u0441\u0442\u043e <em>standards<\/em> \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044e safety \u043a\u0430\u043a security.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043d\u043e\u044f\u0431\u0440\u0435 2025 \u0433\u043e\u0434\u0430 \u043c\u0435\u043d\u044f\u0435\u0442 \u0438\u043c\u044f \u0438 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0444\u043e\u043d\u0434. Open Philanthropy \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f <strong>Coefficient Giving<\/strong> (\u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u043e 18 \u043d\u043e\u044f\u0431\u0440\u044f 2025 \u0433\u043e\u0434\u0430) \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 13 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u0443\u043b\u044c\u0442\u0438\u0434\u043e\u043d\u043e\u0440\u0441\u043a\u0438\u0445 \u0444\u043e\u043d\u0434\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u044f\u043a\u043e\u0440\u043d\u043e\u0433\u043e \u0434\u043e\u043d\u043e\u0440\u0430 &#8212; Good Ventures. \u0422\u043e \u0435\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u0435\u043d\u0435\u0433, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430\u0441\u044c \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u043b\u044f, \u0442\u043e\u0436\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 &#8212; \u0432\u0441\u043b\u0435\u0434 \u0437\u0430 \u0442\u0435\u043c, \u043a\u0430\u043a <em>Safety<\/em> \u0443\u0445\u043e\u0434\u0438\u0442 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u043e \u043f\u043e \u0441\u0443\u0442\u0438 \u044d\u0442\u0430 \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0438 \u0435\u0441\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u0435\u043c. 2024 \u0433\u043e\u0434 \u0441\u0442\u0430\u043b \u0432 \u0431\u0430\u0437\u0435 \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u044b\u043c \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 &#8212; <strong>24 \u0441\u043e\u0431\u044b\u0442\u0438\u044f<\/strong>. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u0440\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438 \u0440\u0430\u0441\u043f\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b: <strong>Goodfire<\/strong>, <strong>Transluce<\/strong>, <strong>Guide Labs<\/strong>, <strong>Tilde<\/strong>, <strong>Simplex<\/strong>, <strong>Decode Research<\/strong>. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0432\u043e\u043a\u0440\u0443\u0433 AI security \u0438 evaluations &#8212; <strong>Palisade Research<\/strong>, <strong>Gray Swan AI<\/strong>, <strong>Virtue AI<\/strong>. \u041f\u043e\u0434 \u043a\u0430\u0436\u0434\u0443\u044e \u043d\u043e\u0432\u0443\u044e \u043f\u043e\u0434\u043f\u043e\u0432\u0435\u0441\u0442\u043a\u0443 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430: <strong>Geodesic<\/strong> \u0437\u0430\u043d\u044f\u043b\u0430\u0441\u044c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u043e\u043c chain-of-thought, <strong>Luthien<\/strong> &#8212; \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c AI control, <strong>Softmax<\/strong> &#8212; multi-agent alignment, <strong>Formation Research<\/strong> &#8212; \u0440\u0438\u0441\u043a\u043e\u043c lock-in, \u0430 Yoshua Bengio \u0432 \u0438\u044e\u043d\u0435 2025 \u0433\u043e\u0434\u0430 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b <strong>LawZero<\/strong> \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u201cScientist AI\u201d \u043a\u0430\u043a \u0441\u043b\u043e\u044f \u043d\u0430\u0434\u0437\u043e\u0440\u0430. \u0421\u0432\u043e\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0437\u0430\u0432\u043e\u0434\u044f\u0442 \u0438 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438: \u0432 2025 \u0433\u043e\u0434\u0443 <strong>Meta<\/strong> \u0441\u043e\u0431\u0440\u0430\u043b\u0430 \u0433\u0440\u0443\u043f\u043f\u0443 \u201csuperintelligence alignment and safety\u201d. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0438 <strong>\u043d\u0435\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430<\/strong>: \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043d\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 <strong>AI Futures Project<\/strong> (Kokotajlo, \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u201cAI 2027\u201d), \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u0435\u043b\u044c <strong>AI Lab Watch<\/strong>, \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u044b <strong>AI Standards Labs<\/strong>, \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0446\u0435\u043d\u0442\u0440\u044b (<strong>Beijing Institute of AI Safety and Governance<\/strong>, \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439 <strong>CeSIA<\/strong>), \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u0430\u044f \u0430\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u044f <strong>IASEAI<\/strong> \u0438 <strong>AI Whistleblower Initiative<\/strong>.<\/p>\n<p><strong>Governance \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0431\u044b\u0442\u044c \u0444\u043e\u043d\u043e\u043c \u0438 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u043b\u0430\u043d.<\/strong> \u041d\u0430 \u043d\u0435\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u0440\u0435\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0431\u043b\u043e\u043a\u0430 &#8212; 26 \u0438\u0437 82 \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445, &#8212; \u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0438\u0434\u0443\u0442 \u0432\u0441\u0435 \u043f\u043b\u043e\u0442\u043d\u0435\u0435, \u043e\u0442 \u0441\u0430\u043c\u043c\u0438\u0442\u0430 \u043a \u0441\u0430\u043c\u043c\u0438\u0442\u0443. \u041d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u0441\u0435 \u0441 Bletchley \u0432 \u043d\u043e\u044f\u0431\u0440\u0435 2023 \u0433\u043e\u0434\u0430. \u0427\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 &#8212; <strong>AI Seoul Summit<\/strong> (\u043c\u0430\u0439 2024): 16 \u0444\u0440\u043e\u043d\u0442\u0438\u0440-\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 <strong>Frontier AI Safety Commitments<\/strong> \u0438 \u043e\u0431\u0435\u0449\u0430\u044e\u0442 \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0440\u0430\u043c\u043a\u0443 safety \u0441 \u043f\u043e\u0440\u043e\u0433\u0430\u043c\u0438 \u0440\u0438\u0441\u043a\u0430, \u0430 27 \u0441\u0442\u0440\u0430\u043d \u0438 \u0415\u0421 \u043d\u0430 <strong>Seoul Ministerial<\/strong> \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u0434\u043b\u044f \u0442\u044f\u0436\u0435\u043b\u044b\u0445 \u0440\u0438\u0441\u043a\u043e\u0432. 1 \u0430\u0432\u0433\u0443\u0441\u0442\u0430 2024 \u0433\u043e\u0434\u0430 \u0432\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u0441\u0438\u043b\u0443 <strong>EU AI Act<\/strong> &#8212; \u043f\u0435\u0440\u0432\u044b\u0439 \u0432 \u043c\u0438\u0440\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043a\u043e\u043d \u043e\u0431 AI, \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u0434\u043b\u044f GPAI \u0441 \u0430\u0432\u0433\u0443\u0441\u0442\u0430 2025-\u0433\u043e \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c <strong>GPAI Code of Practice<\/strong>. \u0412 \u0421\u0428\u0410 \u0436\u0435\u0441\u0442\u043a\u0438\u0439 \u0437\u0430\u043a\u043e\u043d \u0431\u0443\u043a\u0441\u0443\u0435\u0442: \u043a\u0430\u043b\u0438\u0444\u043e\u0440\u043d\u0438\u0439\u0441\u043a\u0438\u0439 <strong>SB 1047<\/strong> (\u0442\u0435\u0441\u0442\u044b, kill switch, \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c) \u0433\u0443\u0431\u0435\u0440\u043d\u0430\u0442\u043e\u0440 Newsom \u0432\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u0432 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u0435 2024 \u0433\u043e\u0434\u0430. \u0410 \u0432 \u044f\u043d\u0432\u0430\u0440\u0435 2025-\u0433\u043e \u0444\u0435\u0434\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u0443\u0440\u0441 \u0438 \u0432\u043e\u0432\u0441\u0435 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442 safety \u043a \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e: Biden \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0432\u043e\u0439 \u0443\u043a\u0430\u0437 \u043e\u0431 AI \u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u201cRemoving Barriers to American Leadership in AI\u201d. \u0411\u043b\u0438\u0436\u0435 \u043a \u043a\u043e\u043d\u0446\u0443 2025 \u0433\u043e\u0434\u0430 \u041a\u0430\u043b\u0438\u0444\u043e\u0440\u043d\u0438\u044f \u0437\u0430\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u0440\u0443\u0433 &#8212; \u0441 \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u043c\u044f\u0433\u043a\u0438\u043c <strong>SB 53<\/strong> \u043f\u0440\u043e \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u043e\u0441\u0442\u044c. \u0421\u0432\u043e\u0435 \u0441\u0442\u0440\u043e\u0438\u0442 \u0438 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f: \u0432 2023 \u0433\u043e\u0434\u0443 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f <strong>Frontier Model Forum<\/strong>, \u0430 \u043f\u0440\u0438 \u043d\u0435\u043c <strong>AI Safety Fund<\/strong> \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u043d\u0430 $10 \u043c\u043b\u043d &#8212; \u0440\u0430\u0443\u043d\u0434\u044b \u043f\u043e $4 \u043c\u043b\u043d \u0432 \u043d\u043e\u044f\u0431\u0440\u0435 2024-\u0433\u043e \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 $5.2 \u043c\u043b\u043d \u0432 \u0434\u0435\u043a\u0430\u0431\u0440\u0435 2025-\u0433\u043e. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u0447\u0442\u043e-\u0442\u043e \u0432\u0440\u043e\u0434\u0435 IPCC \u0434\u043b\u044f AI: <strong>International AI Safety Report<\/strong> \u043f\u0440\u043e\u0448\u0435\u043b \u043f\u0443\u0442\u044c \u043e\u0442 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0432 \u043c\u0430\u0435 2024 \u0433\u043e\u0434\u0430 \u0434\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043e\u0442\u0447\u0435\u0442\u0430 \u043f\u043e\u0434 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e\u043c Bengio \u0432 \u044f\u043d\u0432\u0430\u0440\u0435 2025-\u0433\u043e &#8212; \u0438 \u0432\u044b\u0448\u0435\u043b \u043f\u0440\u044f\u043c\u043e \u043f\u0435\u0440\u0435\u0434 <strong>AI Action Summit<\/strong> \u0432 \u041f\u0430\u0440\u0438\u0436\u0435 \u0432 \u0444\u0435\u0432\u0440\u0430\u043b\u0435 2025 \u0433\u043e\u0434\u0430, \u0433\u0434\u0435 \u0442\u043e\u043d \u0443\u0436\u0435 \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0441\u044f \u0441 safety \u043a action \u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044e.<\/p>\n<p>\u041d\u0435 \u0441\u0442\u043e\u044f\u0442 \u043d\u0430 \u043c\u0435\u0441\u0442\u0435 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0439 \u0438\u043c\u043f\u0443\u043b\u044c\u0441: Scaling Monosemanticity (Anthropic, \u043c\u0430\u0439 2024, \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u201cGolden Gate Claude\u201d), \u0437\u0430\u0442\u0435\u043c <strong>Gemma Scope<\/strong> (DeepMind, \u0438\u044e\u043b\u044c 2024) &#8212; \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 SAE, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u043a\u0430\u043a \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u0443\u044e \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, &#8212; \u043f\u043e\u0442\u043e\u043c circuit tracing \u0438 \u201cOn the Biology of a Large Language Model\u201d (\u043c\u0430\u0440\u0442 2025). \u0422\u043e\u0433\u0434\u0430 \u0436\u0435, \u0432 \u043c\u0430\u0440\u0442\u0435 2025 \u0433\u043e\u0434\u0430, Anthropic \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0435\u0442 <strong>\u201cAuditing Language Models for Hidden Objectives\u201d<\/strong> &#8212; \u043f\u0435\u0440\u0432\u0443\u044e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0443\u044e audit game, \u0433\u0434\u0435 \u0446\u0435\u043b\u044c \u043f\u0440\u044f\u0447\u0443\u0442 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u043f\u043e\u0442\u043e\u043c \u0438\u0449\u0443\u0442 \u0432\u0441\u043b\u0435\u043f\u0443\u044e. \u0421\u0430\u043c\u043e\u0435 \u043c\u043e\u043b\u043e\u0434\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, <strong>model organisms<\/strong>, \u0440\u0430\u0441\u0442\u0435\u0442 \u0432\u043e\u043a\u0440\u0443\u0433 \u044d\u043c\u043f\u0438\u0440\u0438\u043a\u0438 \u043e\u0431\u043c\u0430\u043d\u0430: Sleeper Agents (\u044f\u043d\u0432\u0430\u0440\u044c 2024), <strong>Sabotage Evaluations<\/strong> (Anthropic, \u043e\u043a\u0442\u044f\u0431\u0440\u044c 2024), <strong>\u201cIn-Context Scheming\u201d<\/strong> \u043e\u0442 Apollo (\u0434\u0435\u043a\u0430\u0431\u0440\u044c 2024), \u0433\u0434\u0435 scheming \u043f\u0440\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0443 5 \u0438\u0437 6 \u0444\u0440\u043e\u043d\u0442\u0438\u0440-\u043c\u043e\u0434\u0435\u043b\u0435\u0439, Alignment Faking (\u0434\u0435\u043a\u0430\u0431\u0440\u044c 2024) \u0438 <strong>Agentic Misalignment<\/strong> (Anthropic, \u0438\u044e\u043d\u044c 2025), \u0433\u0434\u0435 16 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434 \u0441\u0442\u0440\u0435\u0441\u0441-\u0442\u0435\u0441\u0442\u043e\u043c \u0448\u043b\u0438 \u043d\u0430 \u0448\u0430\u043d\u0442\u0430\u0436 \u0438 \u0441\u043b\u0438\u0432 \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043b\u0438\u0448\u044c \u0431\u044b \u0438\u0445 \u043d\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0438. \u0412 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0436\u0430\u043d\u0440 \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u0438 \u0440\u0430\u043c\u043a\u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f: DeepMind \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442 Frontier Safety Framework \u0432 \u043c\u0430\u0435 2024 \u0433\u043e\u0434\u0430, \u0430 Anthropic \u0432 \u0442\u043e\u043c \u0436\u0435 \u043e\u043a\u0442\u044f\u0431\u0440\u0435 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u044e Responsible Scaling Policy. Scalable oversight \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f Superalignment \u043b\u0438\u0448\u0430\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0435\u0439 \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0438, \u043d\u043e \u043d\u0435 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442: \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442 \u0435\u0435 \u0446\u0435\u043b\u0438 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445. \u0412 \u0434\u0435\u043a\u0430\u0431\u0440\u0435 2024 \u0433\u043e\u0434\u0430 OpenAI \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 Deliberative Alignment, \u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043e\u0441\u0435\u043d\u044c\u044e \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 Apollo \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0435\u0442 anti-scheming training, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043d\u0438\u0437\u0438\u043b\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 30 \u0440\u0430\u0437, \u043d\u043e \u0442\u0430\u043a \u0438 \u043d\u0435 \u0443\u0431\u0440\u0430\u043b\u043e \u0438\u0445 \u0441\u043e\u0432\u0441\u0435\u043c. \u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u044b\u0440\u0430\u0441\u0442\u0430\u044e\u0442 agentic control evaluations, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 Ctrl-Z \u043e\u0442 Redwood (\u0430\u043f\u0440\u0435\u043b\u044c 2025). \u0410 \u0432 \u0438\u044e\u043b\u0435 2025 \u0433\u043e\u0434\u0430 \u0432\u0441\u0435 \u044d\u0442\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435: OpenAI, DeepMind, Anthropic \u0438 UK AISI \u0432\u043c\u0435\u0441\u0442\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u201cChain of Thought Monitorability\u201d &#8212; \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0431\u0435\u0440\u0435\u0447\u044c \u0443\u0437\u043a\u043e\u0435 \u043e\u043a\u043d\u043e, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u043a\u0430 \u0432\u0438\u0434\u043d\u043e \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u044d\u0442\u043e \u043e\u0431\u0449\u0430\u044f \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c. \u041f\u0435\u0440\u0432\u0443\u044e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 2026 \u0433\u043e\u0434\u0430 \u043f\u043e\u043b\u0435 \u0438\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u0438 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0435\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430 H1.<\/p>\n<ul>\n<li>\n<p><strong>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0438\u0434\u0435\u0442 \u0434\u0430\u043b\u044c\u0448\u0435.<\/strong> 7 \u043c\u0430\u044f 2026 \u0433\u043e\u0434\u0430 Anthropic \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0430 \u201cNatural Language Autoencoders\u201d &#8212; \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u041d\u0430 \u043f\u0440\u0435\u0434\u0440\u0435\u043b\u0438\u0437\u043d\u043e\u043c \u0430\u0443\u0434\u0438\u0442\u0435 Claude Opus 4.6 \u043e\u043d \u043f\u043e\u0439\u043c\u0430\u043b \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 evaluation awareness: \u0442\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043b\u0430, \u0447\u0442\u043e \u0435\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u044e\u0442, \u0432 16-26% \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a-\u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u0447\u0435\u043c \u0432 1% \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430. \u0422\u0430\u043a \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u043b\u0430 \u0447\u0430\u0441\u0442\u044c\u044e \u0440\u0435\u043b\u0438\u0437\u043d\u043e\u0433\u043e \u0446\u0438\u043a\u043b\u0430, \u0430 \u043d\u0435 \u043f\u043e\u0431\u043e\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>Evaluations \u043f\u043e\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a security.<\/strong> UK AI Security Institute \u043e\u0442\u0447\u0438\u0442\u0430\u043b\u0441\u044f, \u0447\u0442\u043e Claude Mythos Preview \u043f\u0435\u0440\u0432\u043e\u0439 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u043e\u0448\u043b\u0430 32-\u0448\u0430\u0433\u043e\u0432\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0430\u0442\u0430\u043a\u0438 \u201cThe Last Ones\u201d &#8212; 13 \u0430\u043f\u0440\u0435\u043b\u044f, \u0430 30 \u0430\u043f\u0440\u0435\u043b\u044f \u0442\u043e\u0442 \u0436\u0435 \u0440\u0443\u0431\u0435\u0436 \u0432\u0437\u044f\u043b\u0430 GPT-5.5. \u041f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u0435 2025 \u0433\u043e\u0434\u0430 \u0438\u0437 Safety \u0432 Security \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043c\u0435\u043d\u043e\u0439 \u0432\u044b\u0432\u0435\u0441\u043a\u0438: \u043f\u043e\u0432\u0435\u0441\u0442\u043a\u0430 \u0438 \u043f\u0440\u0430\u0432\u0434\u0430 \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0430\u0441\u044c \u043a \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u043c\u0443 \u043a\u0438\u0431\u0435\u0440-\u0440\u0438\u0441\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430 \u043f\u043e\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0444\u0440\u043e\u043d\u0442\u0435<\/strong> \u0432 \u043c\u0430\u0435 2026 \u0433\u043e\u0434\u0430 \u0415\u0421 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043b <strong>\u201cDigital Omnibus\u201d<\/strong> &#8212; \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u0430\u043a\u0435\u0442 \u043f\u043e\u043f\u0440\u0430\u0432\u043e\u043a \u043a AI Act; \u043f\u0440\u0430\u0432\u0434\u0430, \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0434\u043b\u044f GPAI-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043d \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043a\u0430\u043a \u0435\u0441\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<h3>\u0421\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b: \u0434\u0435\u043d\u044c\u0433\u0438, \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0442\u0440\u0438 \u0441\u0443\u0434\u044c\u0431\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f<\/h3>\n<p>\u041f\u0440\u043e\u0439\u0434\u044f \u043f\u043e\u043b\u0435 \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c, \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043d\u0430 \u0448\u0430\u0433 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u0432\u0441\u0435 \u0433\u043e\u0434\u044b: \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0438\u0434\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a, \u0430 \u043f\u0440\u0438 \u043d\u0430\u0440\u0435\u0437\u043a\u0435 \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c \u043e\u043d\u0438 \u0442\u0435\u0440\u044f\u044e\u0442\u0441\u044f. \u0421\u0430\u043c\u043e\u0435 \u0437\u0430\u043f\u0443\u0442\u0430\u043d\u043d\u043e\u0435 \u0437\u0434\u0435\u0441\u044c &#8212; \u0434\u0435\u043d\u044c\u0433\u0438, \u0441 \u043d\u0438\u0445 \u0438 \u043d\u0430\u0447\u043d\u0443.<\/p>\n<blockquote>\n<p><strong>\u0427\u0435\u0442\u044b\u0440\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438 &#8212; \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u0444\u043e\u043d\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0443\u043c\u043c\u044b.<\/strong> \u0414\u0435\u043d\u044c\u0433\u0438 \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438 \u0438 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e \u0438\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439: \u0438\u043d\u0430\u0447\u0435 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0441\u0443\u043c\u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438\u0441\u044c \u0431\u044b \u0434\u0432\u0430\u0436\u0434\u044b. \u041f\u043e \u0441\u0443\u0442\u0438 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 &#8212; \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b, \u0432\u0441\u0435\u0433\u043e $763.6 \u043c\u043b\u043d. \u042d\u0442\u043e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0430\u0434\u0440\u0435\u0441\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b, \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043c\u0435\u0440\u0435 \u0432\u044b\u0434\u0430\u0447\u0438. \u0418\u0445 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0434\u0435\u043d\u0435\u0433 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c (\u0441\u0442\u043e\u043b\u0431\u0446\u044b &#8212; \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043f\u043b\u044e\u0441 \u0441\u0435\u0440\u0430\u044f \u043f\u043e\u043b\u043e\u0441\u0430 \u0434\u043b\u044f \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0431\u0435\u0437 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, $83.6 \u043c\u043b\u043d) \u0438 \u043d\u0430 \u043e\u0431\u0435\u0438\u0445 \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0430\u0445. \u041d\u0430 \u0440\u0430\u0434\u0430\u0440 \u0438 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a \u00ab\u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u00bb \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0430 \u0447\u0430\u0441\u0442\u044c, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e, &#8212; $680.0 \u043c\u043b\u043d. \u0423 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0435\u0442: \u044d\u0442\u043e \u0433\u0440\u0430\u043d\u0442\u044b, \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u043d\u044b\u0435 \u043a \u043e\u0431\u0449\u0435\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 (mixed-technical \u0438\u043b\u0438 technical-safety), \u043f\u043b\u044e\u0441 \u043e\u0434\u0438\u043d \u0433\u0440\u0430\u043d\u0442 \u043d\u0430 capabilities &#8212; \u0432\u043c\u0435\u0441\u0442\u0435 $83.6 \u043c\u043b\u043d.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 &#8212; \u0431\u0440\u0430\u0442\u044c \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438 \u0434\u043e\u043d\u043e\u0440\u043e\u0432. \u042d\u0442\u043e \u043f\u043e\u043b\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u0434\u043e\u043d\u043e\u0440\u0430 \u0437\u0430 \u0433\u043e\u0434, \u043e\u0434\u043d\u0430 \u043e\u0431\u0449\u0430\u044f \u0446\u0438\u0444\u0440\u0430, \u0430 \u043d\u0435 \u0441\u0443\u043c\u043c\u0430 \u0435\u0433\u043e \u043f\u043e\u0434\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439. \u0422\u0430\u043a \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0435\u043d\u0435\u0433 \u043f\u043e \u0444\u043e\u043d\u0434\u0430\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b OpenPhil (\u043e\u043a\u043e\u043b\u043e $304.5 \u043c\u043b\u043d) \u0438 LTFF (\u043e\u043a\u043e\u043b\u043e $3.64 \u043c\u043b\u043d), \u0430 \u0432\u0441\u0435 \u043f\u0440\u043e\u0447\u0438\u0435 \u0444\u043e\u043d\u0434\u044b &#8212; \u043f\u043e \u0441\u0432\u043e\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0433\u0440\u0430\u043d\u0442\u0430\u043c. \u042d\u0442\u0438 \u0434\u0432\u0430 \u0438\u0442\u043e\u0433\u0430 \u0434\u043e\u0445\u043e\u0434\u044f\u0442 \u0434\u043e 2024 \u0433\u043e\u0434\u0430 \u043d\u0430 \u043e\u0431\u0449\u0435\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u00ab\u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u00bb; \u0438\u0442\u043e\u0433\u0438 \u0437\u0430 2025-\u0439 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u043a\u0430 \u043d\u0435 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u044b, \u0430 \u0432\u043e\u0442 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0433\u0440\u0430\u043d\u0442\u0430\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0441\u0442\u044c \u0438 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e.<\/p>\n<p>\u0422\u0440\u0435\u0442\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 &#8212; \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 (VC \u0438 equity), $268.5 \u043c\u043b\u043d. \u041e\u043d\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043f\u044f\u0442\u044c\u044e \u0440\u0430\u0443\u043d\u0434\u0430\u043c\u0438, \u0436\u0434\u0443\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u043f\u0430\u043d\u0435\u043b\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0435\u043d\u0435\u0433; \u0441 \u043f\u0435\u0440\u0432\u044b\u043c\u0438 \u0434\u0432\u0443\u043c\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438 \u0438\u0445 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e.<\/p>\n<p>\u0427\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 &#8212; \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f, \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u0438 \u043e\u0446\u0435\u043d\u043a\u0438. \u041e\u043d\u0438 \u0438\u0434\u0443\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0430\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0442\u043e\u0436\u0435 \u043d\u0438 \u0441 \u0447\u0435\u043c \u043d\u0435 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0432\u044b\u0434\u0430\u043d\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b: \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0435 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 FTX \u043e\u043a\u043e\u043b\u043e $160 \u043c\u043b\u043d \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u0434\u0430\u043d\u043d\u044b\u0445 $18.7 \u043c\u043b\u043d, \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u0432\u0440\u043e\u0434\u0435 MIRI, CHAI \u0438 CSER, \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043f\u043e\u043b\u044e &#8212; \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043a\u043e\u043b\u043e $40 \u043c\u043b\u043d, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u0445 EA \u0432 2019 \u0433\u043e\u0434\u0443.<\/p>\n<\/blockquote>\n<p><strong>\u0414\u0435\u043d\u044c\u0433\u0438 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043f\u043e\u043b\u044e.<\/strong> \u0418\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0444\u043e\u043d\u0434\u043e\u043c \u0431\u044b\u043b\u0430 OpenPhil &#8212; $176.77 \u043c\u043b\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u043e\u0432. \u041d\u043e \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0435\u0435 \u0434\u043e\u0433\u043d\u0430\u043b\u0438 \u0438 \u043e\u0431\u043e\u0448\u043b\u0438 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u043b\u0443\u0434\u044e\u0436\u0438\u043d\u044b \u0441\u0442\u0440\u0430\u043d. UK AISI \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u0442\u0430\u0441\u043a\u0444\u043e\u0440\u0441\u043e\u043c \u0434\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e $159 \u043c\u043b\u043d (\u00a3100 \u043c\u043b\u043d \u043f\u043b\u044e\u0441 Alignment Project), \u0441\u0440\u0430\u0437\u0443 \u0437\u0430 \u043d\u0438\u043c ARIA Safeguarded AI &#8212; $74 \u043c\u043b\u043d. \u0414\u0430\u043b\u044c\u0448\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0445\u0432\u043e\u0441\u0442: \u041a\u0430\u043d\u0430\u0434\u0430 CAISI &#8212; $36.5 \u043c\u043b\u043d, NSF Safe Learning-Enabled Systems &#8212; $20 \u043c\u043b\u043d, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI &#8212; $19.7 \u043c\u043b\u043d, US AISI \u043f\u0440\u0438 NIST &#8212; $10 \u043c\u043b\u043d, DARPA GARD &#8212; $10 \u043c\u043b\u043d, EU AI Office &#8212; $9.8 \u043c\u043b\u043d. \u0420\u044f\u0434\u043e\u043c \u0441\u0442\u043e\u0438\u0442 SFF &#8212; $144 \u043c\u043b\u043d. \u0410 FTX \u043e\u0431\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0446\u0435 2022 \u0433\u043e\u0434\u0430. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u0441\u043c\u0435\u043d\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u0435 2020-2022 \u0433\u043e\u0434\u043e\u0432, \u0433\u0434\u0435 \u0431\u044b\u043b \u043e\u0434\u0438\u043d \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0444\u043e\u043d\u0434, \u0432 2023-2025 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0430\u044f &#8212; \u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f, \u0442\u0435\u043f\u0435\u0440\u044c \u0443\u0436\u0435 \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u0430\u044f. \u041d\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 (\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 5). \u0420\u044f\u0434\u043e\u043c \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0438 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0442\u0438\u043f &#8212; \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0439 \u043a\u0430\u043f\u0438\u0442\u0430\u043b \u0432 safety-\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b, \u043e\u043a\u043e\u043b\u043e $268 \u043c\u043b\u043d. \u0415\u0433\u043e \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e: \u0443 \u043d\u0435\u0433\u043e \u0441\u0432\u043e\u0439 \u0446\u0432\u0435\u0442 \u0438 \u0441\u0432\u043e\u044f \u043b\u0438\u043d\u0438\u044f \u043d\u0430 \u0432\u0441\u0435\u0445 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445 \u043d\u0438\u0436\u0435, \u0438 \u0432 \u0438\u0442\u043e\u0433\u0438 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u043e\u043d \u043d\u0435 \u043f\u043e\u0434\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u0413\u0440\u0430\u043d\u0442\u043e\u0432\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u0442\u0440\u0435\u043c\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438 &#8212; \u043f\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435, \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u043f\u043e\u043b\u043e\u0441\u043e\u0439 \u0442\u043e\u0447\u0435\u043a: \u043d\u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u0438 \u043a\u0442\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b, \u0438 \u043a\u043e\u0433\u0434\u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u0438\u0448\u043b\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/995\/061\/189\/99506118928202bb3d83aa2915842b07.png\" alt=\"\u0414\u0435\u043d\u044c\u0433\u0438 \u043f\u043e \u0444\u043e\u043d\u0434\u0430\u043c, \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435: \u0433\u0440\u0430\u043d\u0442\u044b \u043f\u043e \u0442\u0438\u043f\u0443 \u0441 VC \u0438 equity \u043a\u0430\u043a \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u043e\u0439\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/995\/061\/189\/99506118928202bb3d83aa2915842b07.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/995\/061\/189\/99506118928202bb3d83aa2915842b07.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0414\u0435\u043d\u044c\u0433\u0438 \u043f\u043e \u0444\u043e\u043d\u0434\u0430\u043c, \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435: \u0433\u0440\u0430\u043d\u0442\u044b \u043f\u043e \u0442\u0438\u043f\u0443 \u0441 VC \u0438 equity \u043a\u0430\u043a \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u043e\u0439<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0417\u0434\u0435\u0441\u044c \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u0443 \u043d\u0430 \u0444\u043e\u043d\u0434, \u0432\u0441\u0435 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043e, \u043e\u0441\u044c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f, \u0446\u0432\u0435\u0442 &#8212; \u043f\u043e \u0442\u0438\u043f\u0443. \u0421\u0438\u043d\u0438\u0435 &#8212; \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044f: Open Philanthropy \u043d\u0430 \u0441\u0432\u043e\u0435\u043c \u0433\u043e\u0434\u043e\u0432\u043e\u043c \u0438\u0442\u043e\u0433\u0435 $304.5 \u043c\u043b\u043d (\u0442\u0430 \u0436\u0435 OpenPhil, \u0447\u0442\u043e \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0433\u0440\u0430\u043d\u0442\u0430\u043c \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a $176.77 \u043c\u043b\u043d; \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 5), \u0434\u0430\u043b\u044c\u0448\u0435 SFF &#8212; $144 \u043c\u043b\u043d, FLI &#8212; $39 \u043c\u043b\u043d, FTX &#8212; $18.7 \u043c\u043b\u043d \u0432\u044b\u0434\u0430\u043d\u043d\u044b\u0445, \u0437\u0430\u0442\u0435\u043c Schmidt, Longview, Manifund, Tallinn, LTFF, Founders Pledge \u0438 Effektiv Spenden. \u041e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u0435 &#8212; \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u043e: UK AISI \u043e\u043a\u043e\u043b\u043e $159 \u043c\u043b\u043d, ARIA &#8212; $74 \u043c\u043b\u043d, \u041a\u0430\u043d\u0430\u0434\u0430 CAISI &#8212; $36.5 \u043c\u043b\u043d, NSF &#8212; $20 \u043c\u043b\u043d, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI &#8212; $19.7 \u043c\u043b\u043d, US AISI \u043f\u0440\u0438 NIST &#8212; $10 \u043c\u043b\u043d, DARPA &#8212; $10 \u043c\u043b\u043d, EU AI Office &#8212; $9.8 \u043c\u043b\u043d. \u041a\u0440\u0430\u0441\u043d\u044b\u0439 &#8212; \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438: AI Safety Fund \u043f\u0440\u0438 Frontier Model Forum, $9.2 \u043c\u043b\u043d. \u0418 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f, \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 &#8212; \u0437\u0435\u043b\u0435\u043d\u044b\u0435 VC \u0438 equity: Protect AI &#8212; $108.5 \u043c\u043b\u043d, HiddenLayer &#8212; $50 \u043c\u043b\u043d, Goodfire &#8212; $50 \u043c\u043b\u043d, Gray Swan &#8212; $40 \u043c\u043b\u043d, Lakera &#8212; $20 \u043c\u043b\u043d, \u0432\u0441\u0435\u0433\u043e \u043e\u043a\u043e\u043b\u043e $268 \u043c\u043b\u043d. Equity \u0436\u0434\u0435\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0435\u0435 \u0441 \u0433\u0440\u0430\u043d\u0442\u043e\u0432\u044b\u043c\u0438 $763.6 \u043c\u043b\u043d \u043d\u0435\u043b\u044c\u0437\u044f &#8212; \u0443 \u043d\u0438\u0445 \u043e\u0431\u0449\u0430\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u044c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a safety \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u044b\u043d\u043e\u043a. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/funding_ranked.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0422\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438, \u043d\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0444\u043e\u043d\u0434\u043e\u0432 &#8212; \u0432\u0438\u0434\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0442\u043e \u0434\u0430\u043b, \u043d\u043e \u0438 \u043a\u043e\u0433\u0434\u0430.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/50d\/5a8\/627\/50d5a86274cfcf0c04f050b1ad23e5f9.png\" alt=\"\u041d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043f\u043e \u0442\u0438\u043f\u0443 \u0444\u043e\u043d\u0434\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/50d\/5a8\/627\/50d5a86274cfcf0c04f050b1ad23e5f9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/50d\/5a8\/627\/50d5a86274cfcf0c04f050b1ad23e5f9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043f\u043e \u0442\u0438\u043f\u0443 \u0444\u043e\u043d\u0434\u0430<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0417\u0434\u0435\u0441\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c, \u0430 \u0446\u0432\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0442\u0438\u043f: \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u0438\u043d\u0438\u043c, \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u043e \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u043c, \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043a\u0440\u0430\u0441\u043d\u044b\u043c. OpenPhil \u0438 LTFF \u0432\u0437\u044f\u0442\u044b \u043f\u043e \u0433\u043e\u0434\u043e\u0432\u044b\u043c \u0438\u0442\u043e\u0433\u0430\u043c, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 &#8212; \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0433\u0440\u0430\u043d\u0442\u0430\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0449\u0430\u044f \u0432\u044b\u0441\u043e\u0442\u0430 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0445 \u0441\u0443\u043c\u043c\u044b \u0432 $763.6 \u043c\u043b\u043d. \u041d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u0443\u0442 \u0441\u0442\u043e\u0438\u0442 \u043d\u0430 \u0444\u043e\u0440\u043c\u0443. \u0414\u043e 2020 \u0433\u043e\u0434\u0430 \u044d\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0441\u043f\u043b\u043e\u0448\u044c \u043e\u0434\u0438\u043d \u0441\u0438\u043d\u0438\u0439 \u043f\u043e\u0442\u043e\u043a \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u0438. \u0410 \u0441 2023-\u0433\u043e \u0440\u0435\u0437\u043a\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u043b\u043e\u0441\u0430: \u043f\u043e\u043b\u0434\u044e\u0436\u0438\u043d\u044b \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 safety-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u043e\u0432 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u0440\u0430\u0437\u043e\u043c \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0443\u0437\u043a\u0438\u0439 \u0440\u0443\u0447\u0435\u0435\u043a \u0432 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043f\u043e\u0442\u043e\u043a &#8212; \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438 \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0439. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0438\u0434\u0435\u0442 \u043f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u0430\u044f \u0437\u0435\u043b\u0435\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f &#8212; VC \u0438 equity, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e $268 \u043c\u043b\u043d: \u043e\u043d\u0430 \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0442\u043e\u0439 \u0436\u0435 \u043e\u0441\u0438, \u043d\u043e \u043a \u0433\u0440\u0430\u043d\u0442\u0430\u043c \u043d\u0435 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/cumulative_funding.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0422\u0440\u0435\u0442\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 &#8212; \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0442\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e\u043b\u043e\u0441\u043e\u0439 \u0442\u043e\u0447\u0435\u043a: \u0441\u043f\u043b\u043e\u0448\u043d\u044b\u0435 \u043b\u0438\u043d\u0438\u0438 \u0432\u044b\u0448\u0435 \u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0440\u0438\u0442\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0430 \u043e\u043d \u0442\u0443\u0442 \u0432\u0430\u0436\u0435\u043d.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c01\/b0e\/9b6\/c01b0e9b642bcb8928857097cf116f5a.png\" alt=\"\u041a\u043e\u0433\u0434\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0444\u043e\u043d\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u0431\u044b\u043b \u043a\u0430\u0436\u0434\u044b\u0439 \u0433\u0440\u0430\u043d\u0442\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c01\/b0e\/9b6\/c01b0e9b642bcb8928857097cf116f5a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c01\/b0e\/9b6\/c01b0e9b642bcb8928857097cf116f5a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u043e\u0433\u0434\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0444\u043e\u043d\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u0431\u044b\u043b \u043a\u0430\u0436\u0434\u044b\u0439 \u0433\u0440\u0430\u043d\u0442<\/figcaption><\/div>\n<\/figure>\n<p><em>\u041f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 &#8212; \u0433\u043e\u0434, \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 &#8212; \u0444\u043e\u043d\u0434 (\u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043f\u043e \u0438\u0442\u043e\u0433\u0443), \u043f\u043b\u043e\u0449\u0430\u0434\u044c \u0442\u043e\u0447\u043a\u0438 \u0440\u0430\u0432\u043d\u0430 \u0434\u0435\u043d\u044c\u0433\u0430\u043c \u0437\u0430 \u044d\u0442\u043e\u0442 \u0433\u043e\u0434, \u0446\u0432\u0435\u0442 &#8212; \u0442\u0438\u043f. \u041f\u043e\u0447\u0442\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0433\u043e\u0434 \u0430\u043a\u0442\u0438\u0432\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e OpenPhil, \u0438 \u0435\u0435 \u0442\u043e\u0447\u043a\u0438 \u0437\u0430 2021-2023 \u0433\u043e\u0434\u044b \u0441\u0430\u043c\u044b\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435. \u0413\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 2023-2025 \u0433\u043e\u0434\u043e\u0432 \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u0435\u043d &#8212; \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 UK AISI, ARIA, \u041a\u0430\u043d\u0430\u0434\u044b CAISI, NSF \u0438 \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438 AISI. \u0412\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0435 \u0440\u0430\u0443\u043d\u0434\u044b \u0438\u0434\u0443\u0442 \u0437\u0435\u043b\u0435\u043d\u044b\u043c\u0438 \u0440\u043e\u043c\u0431\u0430\u043c\u0438 \u0441 2023 \u0433\u043e\u0434\u0430, \u0441\u0430\u043c\u044b\u0439 \u043a\u0440\u0443\u043f\u043d\u044b\u0439 &#8212; Protect AI \u0432 2024-\u043c. \u041f\u043e \u0434\u0430\u0442\u0430\u043c \u0441\u043c\u0435\u043d\u0430 \u0440\u0435\u0436\u0438\u043c\u0430 \u0432\u0438\u0434\u043d\u0430 \u0441\u0440\u0430\u0437\u0443: \u0434\u043e 2023 \u0433\u043e\u0434\u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e\u043b\u044f \u0434\u0430\u0432\u0430\u043b\u0430 \u043e\u0434\u043d\u0430 \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044f, \u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u0440\u0438 \u0433\u043e\u0434\u0430 \u043a \u043d\u0435\u0439 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438\u0441\u044c \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u043e \u0438 \u0440\u044b\u043d\u043e\u043a. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/funding_dotstrip.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0427\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043d\u0443\u0436\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0441\u044f \u043d\u0438 \u043e\u0434\u0438\u043d \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0434\u043e\u043b\u043b\u0430\u0440: \u044d\u0442\u043e \u0434\u0435\u043d\u044c\u0433\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u043a\u0430\u043a \u0433\u0440\u0430\u043d\u0442.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/389\/d9d\/2f9\/389d9d2f96bacb6e113744d166db8357.png\" alt=\"\u041e\u0431\u0435\u0449\u0430\u043d\u0438\u044f, \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u0438 \u043f\u043e\u043b\u0435\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438: \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431, \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439, \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c\u044b\u0439\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/389\/d9d\/2f9\/389d9d2f96bacb6e113744d166db8357.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/389\/d9d\/2f9\/389d9d2f96bacb6e113744d166db8357.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u0431\u0435\u0449\u0430\u043d\u0438\u044f, \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u0438 \u043f\u043e\u043b\u0435\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438: \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431, \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439, \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c\u044b\u0439<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0417\u0434\u0435\u0441\u044c \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b, \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435; \u043f\u043e\u0434\u0442\u0438\u043f\u044b \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u044b, \u043e\u0441\u044c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f. \u0412\u0430\u0436\u043d\u0430 \u0442\u0443\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0435, \u043d\u0435\u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438; \u0446\u0432\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0434\u0442\u0438\u043f. \u0421\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0435 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f &#8212; \u044d\u0442\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 FTX Future Fund \u043e\u043a\u043e\u043b\u043e $160 \u043c\u043b\u043d \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435. \u0413\u043e\u0434\u043e\u0432\u044b\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 &#8212; \u044d\u0442\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b FTX ($50 \u043c\u043b\u043d \u0438 $32 \u043c\u043b\u043d), MIRI \u043e\u043a\u043e\u043b\u043e $7.5 \u043c\u043b\u043d \u0432 \u0433\u043e\u0434, \u0430 \u0442\u0430\u043a\u0436\u0435 CHAI, CSER, Ought \u0438 Lightcone. \u041e\u0431\u0449\u0435\u043f\u043e\u043b\u0435\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 &#8212; \u044d\u0442\u043e, \u0441\u043a\u0430\u0436\u0435\u043c, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e $40 \u043c\u043b\u043d, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 AI safety \u0432 2019 \u0433\u043e\u0434\u0443, \u043f\u043b\u044e\u0441 \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u0430 2014-2016 \u0433\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0441 \u0431\u044e\u0434\u0436\u0435\u0442\u0430\u043c\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439. \u0421\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 &#8212; \u044d\u0442\u043e SFF \u043e\u043a\u043e\u043b\u043e $2 \u043c\u043b\u043d \u0438 Timaeus \u043d\u0430 $0.14 \u043c\u043b\u043d. \u0412\u0441\u0435 \u044d\u0442\u0438 \u0441\u0443\u043c\u043c\u044b \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0437\u043d\u044b\u0435, \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0438\u0445 \u043d\u0435\u043b\u044c\u0437\u044f: \u043f\u043e\u043b\u0435\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0443\u0436\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u0430 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u0435\u0449\u0435 \u043d\u0435 \u0432\u044b\u0434\u0430\u0447\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0445 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0438 \u043d\u0435 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 \u043d\u0438 \u0441 \u0433\u0440\u0430\u043d\u0442\u0430\u043c\u0438 ($763.6 \u043c\u043b\u043d), \u043d\u0438 \u0441 \u0438\u0442\u043e\u0433\u0430\u043c\u0438 \u0434\u043e\u043d\u043e\u0440\u043e\u0432, \u043d\u0438 \u0441 VC-\u0434\u0435\u043d\u044c\u0433\u0430\u043c\u0438 ($268.5 \u043c\u043b\u043d). \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u0437\u0430\u0447\u0435\u043c \u043e\u043d\u0438 \u0442\u0443\u0442, &#8212; \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0435\u0441\u0442\u044c. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/pledges_budgets.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u042f\u0440\u0447\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e\u0442 \u0440\u0430\u0437\u0440\u044b\u0432 \u0432\u0438\u0434\u0435\u043d \u0432 \u043e\u0434\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043e\u0442\u0434\u0430\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3c0\/238\/1af\/3c02381af7cf022dddcb54ebf3bafae1.png\" alt=\"FTX \u043e\u0431\u0435\u0449\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e $160 \u043c\u043b\u043d \u043f\u0440\u043e\u0442\u0438\u0432 $18.7 \u043c\u043b\u043d \u0432\u044b\u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 \u043d\u0435 \u0432\u044b\u0434\u0430\u0447\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3c0\/238\/1af\/3c02381af7cf022dddcb54ebf3bafae1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3c0\/238\/1af\/3c02381af7cf022dddcb54ebf3bafae1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>FTX \u043e\u0431\u0435\u0449\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e $160 \u043c\u043b\u043d \u043f\u0440\u043e\u0442\u0438\u0432 $18.7 \u043c\u043b\u043d \u0432\u044b\u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 \u043d\u0435 \u0432\u044b\u0434\u0430\u0447\u0430<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0412\u043e\u0442 \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u0446\u0438\u0444\u0440\u0430: FTX Future Fund \u043e\u0431\u0435\u0449\u0430\u043b \u043e\u043a\u043e\u043b\u043e $160 \u043c\u043b\u043d \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435, \u043d\u043e \u0434\u043e \u0441\u0432\u043e\u0435\u0433\u043e \u043a\u0440\u0430\u0445\u0430 \u0432 \u043d\u043e\u044f\u0431\u0440\u0435 2022 \u0433\u043e\u0434\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u0434\u0430\u043b \u043b\u0438\u0448\u044c $18.7 \u043c\u043b\u043d. \u042d\u0442\u043e\u0442 \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u0435\u0449\u0430\u043d\u043d\u044b\u043c \u0438 \u0432\u044b\u0434\u0430\u043d\u043d\u044b\u043c &#8212; \u0441\u0430\u043c\u043e\u0435 \u044f\u0441\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u044d\u043f\u043e\u0445\u0438. \u041d\u0438\u0436\u0435, \u043d\u0430 \u0442\u043e\u0439 \u0436\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0441\u0438, \u0434\u043b\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0432\u044b\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0435\u0433\u0440\u0430\u043d\u0442\u043e\u0432\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 &#8212; \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043f\u043e\u043b\u0435\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438. \u042d\u0442\u043e \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441 \u0433\u0440\u0430\u043d\u0442\u0430\u043c\u0438, \u0438\u0442\u043e\u0433\u0430\u043c\u0438 \u0434\u043e\u043d\u043e\u0440\u043e\u0432 \u0438 VC \u043e\u043d \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/pledges_ftx.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043e \u0442\u043e\u043c, \u043a\u0443\u0434\u0430 \u044d\u0442\u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0442\u0435\u043a\u0443\u0442 &#8212; \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b \u0438\u0434\u0443\u0442 \u043e\u0442 \u0444\u043e\u043d\u0434\u0430 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9c6\/3df\/e79\/9c63dfe79c34c787dfcd0698ce45001f.png\" alt=\"\u041c\u0430\u0440\u0448\u0440\u0443\u0442 \u0433\u0440\u0430\u043d\u0442\u0430 \u043e\u0442 \u0444\u043e\u043d\u0434\u0430 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9c6\/3df\/e79\/9c63dfe79c34c787dfcd0698ce45001f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9c6\/3df\/e79\/9c63dfe79c34c787dfcd0698ce45001f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041c\u0430\u0440\u0448\u0440\u0443\u0442 \u0433\u0440\u0430\u043d\u0442\u0430 \u043e\u0442 \u0444\u043e\u043d\u0434\u0430 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e<\/figcaption><\/div>\n<\/figure>\n<p><em>\u042d\u0442\u043e \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0430 \u043f\u043e\u0442\u043e\u043a\u043e\u0432: \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b, \u0444\u043e\u043d\u0434\u044b \u0441\u043b\u0435\u0432\u0430, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043f\u0440\u0430\u0432\u0430, \u0430 \u0448\u0438\u0440\u0438\u043d\u0430 \u043b\u0435\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u0430 \u0441\u0443\u043c\u043c\u0435 \u0433\u0440\u0430\u043d\u0442\u0430. OpenPhil \u0438 SFF \u0434\u0430\u044e\u0442 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e \u043c\u043d\u043e\u0433\u0438\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c, \u0430 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b (UK AISI, \u041a\u0430\u043d\u0430\u0434\u0430 CAISI, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI, US AISI \u043f\u0440\u0438 NIST, EU AI Office, DARPA \u0438 NSF) \u0437\u0430\u0445\u043e\u0434\u044f\u0442 \u0442\u043e\u0447\u0435\u0447\u043d\u043e &#8212; \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0432 field-building, evaluations \u0438 robustness. \u0427\u0435\u0440\u0435\u0437 \u044d\u0442\u0443 \u0441\u0445\u0435\u043c\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432\u0441\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b, \u0432\u0441\u0435\u0433\u043e \u043e\u043a\u043e\u043b\u043e $764 \u043c\u043b\u043d: \u0434\u0430\u0436\u0435 \u0442\u0435, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u043e\u0431\u0449\u0430\u044f \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f (\u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e-\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435, technical-safety) \u0438\u043b\u0438 capabilities, \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0441\u0432\u043e\u0438 \u0443\u0437\u043b\u044b \u0441\u043f\u0440\u0430\u0432\u0430, \u0430 \u043d\u0435 \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f. \u0417\u0430 \u043a\u0430\u0434\u0440\u043e\u043c \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u043e\u0433\u0438 \u0434\u043e\u043d\u043e\u0440\u043e\u0432 \u0438 \u0434\u0435\u043d\u044c\u0433\u0438 VC \u0438 equity. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/funding_sankey.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0422\u043e\u0442 \u0436\u0435 \u043f\u043e\u0442\u043e\u043a \u0433\u0440\u0430\u043d\u0442\u043e\u0432, \u043d\u043e \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0441\u043b\u0435\u0432\u0430 \u0442\u0440\u0435\u0442\u044c\u0438\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c &#8212; \u044d\u043f\u043e\u0445\u043e\u0439. \u0422\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u043a\u0442\u043e, \u043a\u0443\u0434\u0430 \u0438 \u043a\u043e\u0433\u0434\u0430.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e67\/93d\/b8e\/e6793db8e2d26921e017bcabca4a4c2a.png\" alt=\"\u041c\u0430\u0440\u0448\u0440\u0443\u0442 \u0433\u0440\u0430\u043d\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u0444\u043e\u043d\u0434\u0443 \u0438 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e67\/93d\/b8e\/e6793db8e2d26921e017bcabca4a4c2a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e67\/93d\/b8e\/e6793db8e2d26921e017bcabca4a4c2a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041c\u0430\u0440\u0448\u0440\u0443\u0442 \u0433\u0440\u0430\u043d\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u0444\u043e\u043d\u0434\u0443 \u0438 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0417\u0434\u0435\u0441\u044c \u0442\u0440\u0438 \u0443\u0440\u043e\u0432\u043d\u044f &#8212; \u044d\u043f\u043e\u0445\u0430, \u0444\u043e\u043d\u0434, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u0425\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0430\u0441\u0441\u0430 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0430\u0441\u044c \u0432 \u044d\u043f\u043e\u0445\u0443 \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u0438 2024-2026 \u0433\u043e\u0434\u043e\u0432 \u0438 \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u044b\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 evaluations, field-building \u0438 robustness. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/funding_sankey_era.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p><strong>\u0414\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0436\u0438\u0437\u043d\u044c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439.<\/strong> \u0414\u0435\u043d\u044c\u0433\u0438 (\u043f\u043e \u0433\u043e\u0434\u043e\u0432\u044b\u043c \u0438\u0442\u043e\u0433\u0430\u043c \u0434\u043e\u043d\u043e\u0440\u043e\u0432) \u0438 \u043d\u0430\u0443\u0447\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 (\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430 arXiv) \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u0441\u0435 \u0441\u0438\u043b\u044c\u043d\u0435\u0435. \u0410 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u0434\u0430\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043a\u0440\u0438\u0432\u0443\u044e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043f\u043e\u043b\u044e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1b3\/df2\/c19\/1b3df2c197648a10d652c7b3191e76ee.png\" alt=\"\u0414\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u043b\u044e \u0432 \u0446\u0435\u043b\u043e\u043c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/1b3\/df2\/c19\/1b3df2c197648a10d652c7b3191e76ee.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1b3\/df2\/c19\/1b3df2c197648a10d652c7b3191e76ee.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0414\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u043b\u044e \u0432 \u0446\u0435\u043b\u043e\u043c<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0417\u0434\u0435\u0441\u044c \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u043d\u043e \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u0435\u0449\u0438, \u0438 \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0445 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/em><\/p>\n<ul>\n<li>\n<p>\u0421\u0438\u043d\u0438\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b (\u043b\u0435\u0432\u0430\u044f \u043e\u0441\u044c, \u0434\u043e\u043b\u043b\u0430\u0440\u044b \u0437\u0430 \u0433\u043e\u0434) &#8212; \u044d\u0442\u043e \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438 \u0434\u0432\u0443\u0445 \u0444\u043e\u043d\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u044e\u0442 \u0447\u0438\u0441\u0442\u0443\u044e \u0446\u0438\u0444\u0440\u0443 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043f\u043e\u043b\u044e: Open Philanthropy \u0438 LTFF. \u0422\u0443\u0442 \u044f \u0443\u0431\u0440\u0430\u043b\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044b: \u0435\u0441\u043b\u0438 \u0443 \u0444\u043e\u043d\u0434\u0430 \u0435\u0441\u0442\u044c \u043e\u0431\u0449\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 mixed-technical, \u0431\u0435\u0440\u0443 \u0435\u0435, \u0430 \u0438\u043d\u0430\u0447\u0435 &#8212; \u043f\u043e\u043b\u043d\u044b\u0439 \u0438\u0442\u043e\u0433 \u0437\u0430 \u0433\u043e\u0434, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0434\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043d\u0435 \u043f\u0440\u0438\u043f\u043b\u044e\u0441\u043e\u0432\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0441\u0432\u0435\u0440\u0445\u0443. \u042d\u0442\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0433\u043e\u0434\u043e\u0432\u043e\u0439 \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0439 \u0440\u044f\u0434, \u0433\u0434\u0435 \u043d\u0438 \u043e\u0434\u0438\u043d \u0434\u043e\u043b\u043b\u0430\u0440 \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0430\u0436\u0434\u044b, &#8212; \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u0442\u0443\u0442 \u0438 \u0441\u0442\u043e\u0438\u0442.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u043e\u0431\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 2024 \u0433\u043e\u0434\u0435, \u0430 \u0437\u0430 2025-2026 \u043f\u0443\u0441\u0442\u043e: \u044d\u0442\u043e\u0442 \u0440\u044f\u0434 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438, \u0430 Open Philanthropy \u0438 LTFF \u0441\u0432\u043e\u0438 \u0438\u0442\u043e\u0433\u0438 \u0437\u0430 2025-2026 \u0435\u0449\u0435 \u043d\u0435 \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0438 &#8212; \u0433\u043e\u0434\u043e\u0432\u043e\u0439 \u043e\u0442\u0447\u0435\u0442 \u0437\u0430\u043f\u0430\u0437\u0434\u044b\u0432\u0430\u0435\u0442. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446, \u0437\u0430 2024 \u0433\u043e\u0434, &#8212; \u044d\u0442\u043e technical-safety \u0438\u0442\u043e\u0433 OpenPhil, \u043e\u043a\u043e\u043b\u043e $28 \u043c\u043b\u043d. \u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0432\u044b\u0448\u0435 (\u0441\u0434\u0432\u0438\u0433 \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c \u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c) \u0434\u043e\u0445\u043e\u0434\u044f\u0442 \u0434\u043e 2025 \u0433\u043e\u0434\u0430, \u043d\u043e \u044d\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 &#8212; \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b, &#8212; \u0438 \u0441 \u0438\u0442\u043e\u0433\u0430\u043c\u0438 \u0434\u043e\u043d\u043e\u0440\u043e\u0432 \u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f, \u0438\u043d\u0430\u0447\u0435 \u0442\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430\u0436\u0434\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043f\u043b\u043e\u0448\u043d\u0430\u044f \u043a\u0440\u0430\u0441\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f (\u043f\u0440\u0430\u0432\u0430\u044f \u043e\u0441\u044c, \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f) &#8212; \u044d\u0442\u043e safety-\u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432: \u043e\u0434\u0438\u043d \u043e\u0431\u0449\u0438\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a arXiv, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f safety-\u0441\u0442\u0430\u0442\u044c\u044f \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0437\u0430 \u0433\u043e\u0434.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u0430\u044f \u043a\u0440\u0430\u0441\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f &#8212; \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430. \u042f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0430 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043b\u043e\u0436\u0438\u043b\u0430 \u0432\u0441\u0435 \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430. \u041f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u044d\u0442\u043e \u043d\u0430\u0440\u043e\u0447\u043d\u043e: \u0442\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 &#8212; \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c (\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 1).<\/p>\n<\/li>\n<\/ul>\n<p><em>\u0421\u0435\u0440\u0430\u044f \u043f\u043e\u043b\u043e\u0441\u0430 \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0433\u043e\u0434 (\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430), \u043f\u0440\u0430\u0432\u0430\u044f \u043e\u0441\u044c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f. \u0418 \u0434\u0435\u043d\u044c\u0433\u0438, \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u0443\u0442 &#8212; \u043f\u0440\u043e\u043a\u0441\u0438, \u043d\u043e \u043b\u0438\u043d\u0438\u044f \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u043e\u043b\u044f \u043d\u0430\u0434\u0435\u0436\u043d\u0430. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/money_vs_attention.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8df\/0d6\/9f8\/8df0d69f81314b251f9575632d5adaa7.png\" alt=\"\u0420\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u0438\u0432 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0439 \u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u043e\u0432 \u043f\u043e \u0433\u043e\u0434\u0430\u043c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/8df\/0d6\/9f8\/8df0d69f81314b251f9575632d5adaa7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8df\/0d6\/9f8\/8df0d69f81314b251f9575632d5adaa7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u0438\u0432 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0439 \u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u043e\u0432 \u043f\u043e \u0433\u043e\u0434\u0430\u043c<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0412\u0432\u0435\u0440\u0445 &#8212; \u043d\u043e\u0432\u044b\u0435 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438, \u0432\u043d\u0438\u0437 &#8212; \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u0438 \u0441\u043c\u0435\u043d\u044b \u0444\u043e\u043a\u0443\u0441\u0430. \u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c: \u0433\u0440\u0430\u0444\u0438\u043a \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0437\u0430 \u0433\u043e\u0434, \u0430 \u043d\u0435 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438. \u0412\u0441\u0435\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u0438\u043b\u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u0430 14 (3 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u0438 11 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u043e\u0432), \u0438 \u043e\u0434\u043d\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c \u0444\u043e\u043a\u0443\u0441 \u043d\u0435 \u0440\u0430\u0437. MIRI \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u043b\u0430\u0441\u044c \u0432 2013, 2018 \u0438 2024 \u0433\u043e\u0434\u0430\u0445; OpenAI &#8212; \u0432 2019-\u043c, \u0430 \u0432 2024-\u043c \u0437\u0430\u043a\u0440\u044b\u043b\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 Superalignment; Open Philanthropy &#8212; \u0432 2024 \u0438 2025 \u0433\u043e\u0434\u0430\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u043a\u0440\u0430\u0441\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0430\u043c\u0438\u0445 \u0438\u0441\u0447\u0435\u0437\u043d\u0443\u0432\u0448\u0438\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, &#8212; \u0438 \u043a\u0440\u0430\u0441\u043d\u043e\u0433\u043e \u0442\u0443\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u043e\u0432 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043d\u0438\u0436\u0435. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/births_deaths.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/678\/49a\/a03\/67849aa032c92887869ee36b3a245f86.png\" alt=\"\u0416\u0438\u0437\u043d\u044c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u043e\u0442 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u0438\u043b\u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/678\/49a\/a03\/67849aa032c92887869ee36b3a245f86.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/678\/49a\/a03\/67849aa032c92887869ee36b3a245f86.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0416\u0438\u0437\u043d\u044c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u043e\u0442 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u0438\u043b\u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0417\u0434\u0435\u0441\u044c \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u043b\u043e\u0441\u0430 &#8212; \u044d\u0442\u043e \u043e\u0434\u043d\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f (\u0430 \u043d\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u043a\u0430\u043a \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0432\u044b\u0448\u0435): \u043e\u043d\u0430 \u0438\u0434\u0435\u0442 \u043e\u0442 \u0433\u043e\u0434\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u0438\u043b\u0438 \u0441\u043c\u0435\u043d\u044b \u0444\u043e\u043a\u0443\u0441\u0430 &#8212; \u0438\u043b\u0438 \u0434\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0435\u0433\u043e \u0434\u043d\u044f, \u0435\u0441\u043b\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0435\u0449\u0435 \u0436\u0438\u0432\u0430, &#8212; \u0430 \u043a\u0440\u0435\u0441\u0442\u0438\u043a \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0442\u0430\u043a\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435. \u0414\u0430\u0442\u044b \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f MIRI (2005, \u043a\u043e\u0433\u0434\u0430 SIAI \u043f\u0435\u0440\u0435\u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u0440\u0438\u0441\u043a\u0438 AI), Open Philanthropy (2014), CFAR (2012), LTFF (2017), METR (2022, \u0442\u043e\u0433\u0434\u0430 ARC Evals) \u0438 FTX Future Fund (2022) \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b \u0438\u0437 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0438\u0434\u043d\u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0441 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435\u043c \u0438\u043b\u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u043e\u043c, \u0438 \u0433\u0440\u0430\u0444\u0438\u043a \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c: \u0442\u0435 14 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0441\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0437\u0434\u0435\u0441\u044c \u0432 10 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u043e\u0434\u0438\u043d \u043a\u0440\u0435\u0441\u0442\u0438\u043a \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0442\u0430\u043a\u043e\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e MIRI, OpenAI \u0438 Open Philanthropy \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u043b\u0438\u0441\u044c \u043d\u0435 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0440\u0430\u0437\u0443. \u0420\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u044b \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u0442\u0430\u0439\u043c\u043b\u0430\u0439\u043d\u0443 &#8212; \u0443 MIRI \u0443\u0436\u0435 \u0432 2013 \u0433\u043e\u0434\u0443, \u0443 CFAR \u0432 2016-\u043c. \u0410 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0439 \u0432\u0441\u0435\u0433\u043e 3 \u0438\u0437 14 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043e\u043d\u0438 \u043d\u0430 2024 \u0433\u043e\u0434 &#8212; FHI \u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 Superalignment \u0432 OpenAI; \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u043d\u043d\u0435\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 &#8212; \u043a\u0440\u0430\u0445 FTX Future Fund \u0432 2022-\u043c. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/org_lifespan.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p><strong>\u0422\u0440\u0438 \u0441\u0443\u0434\u044c\u0431\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f.<\/strong> \u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0443\u0440\u043e\u043a \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u0443\u0442 \u0442\u0440\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0441\u0443\u0434\u044c\u0431\u044b &#8212; \u0438 \u0438\u0441\u0447\u0435\u0437\u043d\u0443\u0442\u044c \u0438\u0437 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u044d\u0442\u043e \u043d\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0443\u043c\u0435\u0440\u0435\u0442\u044c.<\/p>\n<p><strong>\u0418\u0434\u0443\u0442 \u0432 \u0440\u043e\u0441\u0442: \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, evaluations \u0438 AI control<\/strong> &#8212; \u0432\u0441\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0438 \u0440\u0430\u0441\u0442\u0443\u0442. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c &#8212; \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. \u041f\u043e \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u043c\u0443 arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 (\u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u044f \u0443\u0431\u0440\u0430\u043b\u0430 \u0438\u0437 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0433\u043e\u043b\u043e\u0435 \u0441\u043b\u043e\u0432\u043e\u00a0<em>interpretability<\/em>, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043b \u0432\u0435\u0441\u044c \u043e\u0431\u0449\u0438\u0439 ML) \u043a\u0440\u0438\u0432\u0430\u044f \u043a\u0443\u0434\u0430 \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435: 69 \u0441\u0442\u0430\u0442\u0435\u0439 \u0432 2021 \u0433\u043e\u0434\u0443, \u0437\u0430\u0442\u0435\u043c 81, 125, 257 \u0438 657 \u043a 2025-\u043c\u0443. \u0424\u043e\u0440\u043c\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f &#8212; \u0440\u043e\u0432\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u043e\u0441\u0442, &#8212; \u0438 \u0441\u043c\u044b\u0441\u043b \u043d\u0435\u0441\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u043d\u0430, \u0430 \u043d\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430. \u0422\u043e\u0442 \u0436\u0435 \u043f\u043e\u0434\u044a\u0435\u043c \u0432\u0438\u0434\u0435\u043d \u0438 \u0432 \u043e\u0431\u0449\u0435\u043c safety-\u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432: 351 \u0441\u0442\u0430\u0442\u044c\u044f \u0432 2021 \u0433\u043e\u0434\u0443, \u043f\u043e\u0442\u043e\u043c 427, 890, 2191 \u0438 3813 \u043a 2025-\u043c\u0443 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 safety-\u0441\u0442\u0430\u0442\u0435\u0439 \u0437\u0430 \u0433\u043e\u0434: \u0437\u0430 \u0447\u0435\u0442\u044b\u0440\u0435 \u0433\u043e\u0434\u0430 \u0438\u0445 \u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u043e \u043f\u043e\u0447\u0442\u0438 \u0432 \u0434\u0435\u0441\u044f\u0442\u044c \u0440\u0430\u0437. \u0410 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u0441\u0442\u0430\u044e\u0442 \u043e\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f: \u0432\u0441\u0435\u0433\u043e $1.04 \u043c\u043b\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c &#8212; \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u0423 evaluations \u0440\u0430\u0437\u0440\u044b\u0432 \u0437\u0430\u043a\u0440\u044b\u043b\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e. \u0414\u043e 2024 \u0433\u043e\u0434\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0435\u043d\u0435\u0433 \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u043e\u0432\u0441\u0435, \u0430 \u043f\u043e\u0442\u043e\u043c \u043d\u0430\u0431\u0440\u0430\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e $96.7 \u043c\u043b\u043d &#8212; \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0432 2024-2025 \u0433\u043e\u0434\u0430\u0445, &#8212; \u0438 \u0437\u0430 \u043e\u0434\u0438\u043d \u0433\u043e\u0434 evaluations \u0441\u0442\u0430\u043b\u0438 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u043b\u044f. \u0427\u0430\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e &#8212; \u0446\u0435\u043b\u0435\u0432\u044b\u0435 \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438 \u0430\u043c\u0435\u0440\u0438\u043a\u0430\u043d\u0441\u043a\u0438\u0435 \u0434\u0435\u043d\u044c\u0433\u0438: AI Safety Fund \u043f\u0440\u0438 Frontier Model Forum \u0434\u0430\u043b $9.2 \u043c\u043b\u043d \u0434\u0432\u0443\u043c\u044f \u0440\u0430\u0443\u043d\u0434\u0430\u043c\u0438 ($4.0 \u043c\u043b\u043d \u0432 2024-\u043c \u0438 $5.2 \u043c\u043b\u043d \u0432 2025-\u043c) \u043d\u0430 \u0431\u0438\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435, \u043a\u0438\u0431\u0435\u0440- \u0438 agentic-evaluations; US AI Safety Institute \u043f\u0440\u0438 NIST \u0434\u0430\u043b $10 \u043c\u043b\u043d \u0432 2024-\u043c; Schmidt Sciences &#8212; $10 \u043c\u043b\u043d \u0432 2025-\u043c \u043d\u0430 \u043d\u0430\u0443\u043a\u0443 \u043e\u0431 evaluations. \u041d\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u0430\u0441\u0441\u0443 \u0434\u0435\u043d\u0435\u0433 \u043f\u0440\u0438\u043d\u0435\u0441\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b, \u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0432 \u0438\u0445 \u043f\u0440\u044f\u043c\u043e \u0432 evaluations: \u041a\u0430\u043d\u0430\u0434\u0430 CAISI &#8212; $36.5 \u043c\u043b\u043d, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI &#8212; $19.7 \u043c\u043b\u043d, EU AI Office &#8212; $9.8 \u043c\u043b\u043d, \u043f\u043b\u044e\u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u0440\u0430\u043d\u0442 OpenPhil \u043d\u0430 $1.5 \u043c\u043b\u043d. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0430\u043d\u0435\u043b\u044f\u0445 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u043d\u0438\u0436\u0435 \u0443 evaluations \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u0438 \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446, \u0438 arXiv-\u043b\u0438\u043d\u0438\u044f, \u0430 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0440\u0430\u0437\u0440\u044b\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u043e\u0438\u0442 \u0440\u044f\u0434\u043e\u043c \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u043f\u043e \u043f\u043e\u043b\u044e, \u0430 \u043d\u0435 \u0441 \u0442\u043e\u0433\u043e \u043a\u0440\u0430\u044f, \u0433\u0434\u0435 \u0434\u0435\u043d\u0435\u0433 \u043c\u0430\u043b\u043e.<\/p>\n<p><strong>\u0420\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043b\u0438\u0441\u044c: reward modeling (\u0442\u0435\u043f\u0435\u0440\u044c RLHF) \u0438 value learning.<\/strong> \u041f\u043e arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 (\u0442\u0443\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d \u0434\u043e RLHF, reward models, DPO \u0438 preference optimization) RLHF \u0438\u0434\u0435\u0442 \u0441 25 \u0441\u0442\u0430\u0442\u0435\u0439 \u0432 2021 \u0433\u043e\u0434\u0443 \u0434\u043e 43, \u043f\u043e\u0442\u043e\u043c 275, 1010 \u0432 2024-\u043c \u0438 1777 \u0432 2025-\u043c. \u0418\u0437 \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u043e\u0432 \u043f\u0440\u043e safety \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443\u0448\u043b\u043e \u043f\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435: \u0435\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0436\u0438\u043b\u0438\u0441\u044c, \u0447\u0442\u043e \u0441\u0442\u0430\u043b\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c. RLHF \u0438 DPO \u0442\u0435\u043f\u0435\u0440\u044c &#8212; \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043b\u044e\u0431\u0443\u044e \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0443\u044e LLM, \u0442\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043b\u043e\u0441\u044c \u0432 \u043e\u0431\u0449\u0435\u043c ML. \u0410 \u0441\u0442\u0430\u0442\u0435\u0439 \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0431\u0449\u0430\u044f \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u0430 \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0442\u0435\u043c\u0430 safety.<\/p>\n<p><strong>\u0417\u0430\u0442\u0443\u0445\u043b\u0438: agent foundations \u0438 \u0440\u0430\u043d\u043d\u044f\u044f \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f.<\/strong> \u041a\u043e\u0433\u0434\u0430-\u0442\u043e \u043e\u043d\u0438 \u0431\u044b\u043b\u0438 \u044f\u0434\u0440\u043e\u043c \u043f\u043e\u043b\u044f, \u0430 \u043f\u043e\u0442\u043e\u043c \u0441\u0436\u0430\u043b\u0438\u0441\u044c. Agent foundations \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u0438\u0434\u0435\u043d \u043d\u0430 arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 \u0434\u043e 2024 \u0433\u043e\u0434\u0430 &#8212; \u044d\u0442\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: \u0442\u0435\u0440\u043c\u0438\u043d \u043c\u043e\u043b\u043e\u0434\u043e\u0439, \u0430 \u0441\u0430\u043c\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0440\u043e\u0435. \u0410 \u0434\u043b\u044f \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0441\u0442\u0430\u043b\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435 FHI \u0432 2024 \u0433\u043e\u0434\u0443.<\/p>\n<p>\u0414\u0435\u043d\u044c\u0433\u0438 \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u044f \u0440\u0430\u0437\u0432\u0435\u043b\u0430 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u043f\u0430\u043d\u0435\u043b\u044f\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u043e\u0441\u044c:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4b9\/7e4\/71c\/4b97e471c0d808449e1c5051e2b86de7.png\" alt=\"\u0413\u0440\u0430\u043d\u0442\u043e\u0432\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c (\u043c\u0430\u043b\u044b\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430)\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4b9\/7e4\/71c\/4b97e471c0d808449e1c5051e2b86de7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4b9\/7e4\/71c\/4b97e471c0d808449e1c5051e2b86de7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0413\u0440\u0430\u043d\u0442\u043e\u0432\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c (\u043c\u0430\u043b\u044b\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430)<\/figcaption><\/div>\n<\/figure>\n<p><em>\u041d\u0430 \u0441\u0435\u0442\u043a\u0435 &#8212; \u043c\u0430\u043b\u044b\u0435 \u043f\u0430\u043d\u0435\u043b\u0438, \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043f\u043e \u043e\u0431\u0449\u0435\u043c\u0443 \u043e\u0431\u044a\u0435\u043c\u0443 \u0433\u0440\u0430\u043d\u0442\u043e\u0432. \u0412 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u043d\u0435\u043b\u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u044b (\u043b\u0435\u0432\u0430\u044f \u043e\u0441\u044c) &#8212; \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430 \u0433\u043e\u0434 \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u0430\u0445, \u0430 \u043f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f (\u043f\u0440\u0430\u0432\u0430\u044f \u043e\u0441\u044c, \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f) &#8212; \u0435\u0433\u043e \u043d\u0430\u0443\u0447\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 \u0437\u0430 \u0442\u0435 \u0436\u0435 \u0433\u043e\u0434\u044b. \u0422\u0430\u043a \u043a\u0430\u0436\u0434\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u043e \u043f\u043e \u0441\u0435\u0431\u0435, \u0438 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0434\u0435\u043d\u044c\u0433\u0430\u043c\u0438 \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u0432\u0438\u0434\u043d\u043e \u0441\u0440\u0430\u0437\u0443. \u0417\u0434\u0435\u0441\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u0441\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b, \u0432\u0441\u0435\u0433\u043e \u043e\u043a\u043e\u043b\u043e $764 \u043c\u043b\u043d. \u0413\u0440\u0430\u043d\u0442\u044b \u0431\u0435\u0437 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0432 \u043e\u0434\u043d\u0443 \u0441\u0435\u0440\u0443\u044e \u043f\u0430\u043d\u0435\u043b\u044c &#8212; \u043f\u0440\u043e\u0447\u0435\u0435, \u043e\u043a\u043e\u043b\u043e $83.6 \u043c\u043b\u043d: \u044d\u0442\u043e \u0433\u0440\u0430\u043d\u0442\u044b, \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u043d\u044b\u0435 \u043a \u043e\u0431\u0449\u0435\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 (mixed-technical, technical-safety), \u043f\u043b\u044e\u0441 \u043e\u0434\u0438\u043d \u043d\u0435-safety \u0433\u0440\u0430\u043d\u0442. \u0422\u0443\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u043d\u044c\u0433\u0438, \u0431\u0435\u0437 arXiv-\u043b\u0438\u043d\u0438\u0438, &#8212; \u0447\u0442\u043e\u0431\u044b \u043d\u0438 \u043e\u0434\u0438\u043d \u0434\u043e\u043b\u043b\u0430\u0440 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0441\u044f \u0438 \u0432 \u0441\u0435\u0442\u043a\u0435 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u043b\u043d\u044b\u0435 $763.6 \u043c\u043b\u043d. \u0413\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438 OpenPhil \u0438 LTFF, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0436\u0438\u0432\u0443\u0442 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0438 \u0437\u0434\u0435\u0441\u044c \u0438\u0445 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442. \u0423 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u043f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043a\u0440\u0443\u0442\u043e \u0438\u0434\u0435\u0442 \u0432\u0432\u0435\u0440\u0445 \u043d\u0430\u0434 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u044b\u043c\u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u043c\u0438: \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0435\u0440\u0435\u0436\u0430\u0435\u0442 \u0434\u0435\u043d\u044c\u0433\u0438, \u0434\u0430\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u043a\u0440\u0438\u0432\u043e\u0439 \u043e\u0442 \u0433\u043e\u043b\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 interpretability. \u0423 evaluations &#8212; \u0441\u0442\u0435\u043d\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0437\u0430 2024-2025 \u0433\u043e\u0434\u044b. \u0423 AI control \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0435\u0441\u0442\u044c \u0441 2021 \u0433\u043e\u0434\u0430, \u0435\u0449\u0435 \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u0410 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c arXiv-\u043f\u0440\u043e\u043a\u0441\u0438, \u043d\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 (reward modeling, red-teaming, unlearning, chain-of-thought faithfulness, honesty \u0438 ELK, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0437\u043e\u043d\u0442\u0438\u0447\u043d\u044b\u0435 \u0438 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043f\u043e \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0435 1), \u043f\u0430\u043d\u0435\u043b\u0438 \u0442\u0443\u0442 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 &#8212; \u0438\u0445 \u043d\u0435 \u043f\u043e \u0447\u0435\u043c\u0443 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0418\u0445 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u00ab\u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u00bb \u0443\u0440\u043e\u0432\u043d\u044f \u043f\u043e\u043b\u044f \u0438 \u043d\u0430 \u043a\u0440\u0438\u0432\u044b\u0445 \u043f\u0440\u043e\u043a\u0441\u0438 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u041e\u0431\u0430 \u0440\u044f\u0434\u0430 \u0442\u0443\u0442 &#8212; \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u043a\u0441\u0438, \u0430 safety-\u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 \u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0430 \u044d\u0442\u0443 \u0441\u0435\u0442\u043a\u0443 \u043d\u0435 \u043d\u0430\u043d\u043e\u0441\u0438\u043b\u0430: \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0443\u0440\u043e\u0432\u043d\u044f \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u043b\u044f. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/funding_absolute.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/496\/6d7\/dda\/4966d7dda2dc7da8555c487eaee35c06.png\" alt=\"\u041a\u0430\u043a\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043b\u0438\u0434\u0438\u0440\u0443\u044e\u0442 \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0442\u0438\u0432 \u0434\u0435\u043d\u0435\u0433, \u043a\u0430\u043a \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u043f\u043e\u043b\u044e\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/496\/6d7\/dda\/4966d7dda2dc7da8555c487eaee35c06.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/496\/6d7\/dda\/4966d7dda2dc7da8555c487eaee35c06.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043b\u0438\u0434\u0438\u0440\u0443\u044e\u0442 \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0442\u0438\u0432 \u0434\u0435\u043d\u0435\u0433, \u043a\u0430\u043a \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u043f\u043e\u043b\u044e<\/figcaption><\/div>\n<\/figure>\n<p><em>\u042d\u0442\u043e\u0442 \u0433\u0440\u0430\u0444\u0438\u043a \u0440\u0430\u0437\u0440\u044b\u0432\u0430 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u043f\u0440\u0435\u0436\u043d\u044e\u044e \u043f\u0443\u0442\u0430\u043d\u0438\u0446\u0443 \u0438\u0437 log-log \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0439. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u0438 \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0439 \u0440\u044f\u0434, \u0438 arXiv-\u043f\u0440\u043e\u043a\u0441\u0438, \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u043e\u0442\u0445\u043e\u0434\u0438\u0442 \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u043f\u043e\u043b\u044e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0434\u0435\u043d\u0435\u0433 \u043a \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e. \u0421\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u043a\u0430\u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043e\u0442 \u0442\u043e\u0433\u043e, \u0432\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e (\u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 &#8212; \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u043e \u043f\u043e\u043b\u044e \u0434\u043e\u043b\u044f \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430 \u0434\u043e\u043b\u043b\u0430\u0440, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f). \u0421\u0438\u043d\u0438\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u0432\u043f\u0440\u0430\u0432\u043e &#8212; \u043d\u0430\u0443\u0447\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0434\u0435\u043d\u0435\u0433. \u041a\u0440\u0430\u0441\u043d\u044b\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u0432\u043b\u0435\u0432\u043e &#8212; \u0434\u0435\u043d\u044c\u0433\u0438 \u0438\u0434\u0443\u0442 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041f\u043e\u0434\u043f\u0438\u0441\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c &#8212; \u043a\u0440\u0430\u0439\u043d\u0438\u0439 \u0441\u0438\u043d\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: \u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 36.9 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u043f\u0440\u0438 \u0435\u0435 \u0441\u043a\u0440\u043e\u043c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u0430\u0445 \u043e\u043a\u043e\u043b\u043e $1 \u043c\u043b\u043d, &#8212; \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0440\u044b\u0432, \u0433\u0434\u0435 \u043d\u0430\u0443\u043a\u0430 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0434\u0435\u043d\u0435\u0433. \u0421 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0441\u0442\u043e\u044f\u0442 scalable oversight, agent foundations \u0438 governance &#8212; \u0442\u0430\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043e\u0431\u043e\u0433\u043d\u0430\u043b\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 arXiv. \u041e\u0431\u0430 \u0441\u0438\u0433\u043d\u0430\u043b\u0430 &#8212; \u043f\u0440\u043e\u043a\u0441\u0438 (\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438 1 \u0438 2). (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/money_vs_attention_tracks.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ab3\/9da\/327\/ab39da327d4bc7b7126f59704771c50a.png\" alt=\"\u0420\u0430\u043d\u0433 \u043f\u043e \u0434\u0435\u043d\u044c\u0433\u0430\u043c \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0430\u043d\u0433\u0430 \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c (\u0433\u0430\u043d\u0442\u0435\u043b\u044c)\" title=\"\u0420\u0430\u043d\u0433 \u043f\u043e \u0434\u0435\u043d\u044c\u0433\u0430\u043c \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0430\u043d\u0433\u0430 \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ab3\/9da\/327\/ab39da327d4bc7b7126f59704771c50a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ab3\/9da\/327\/ab39da327d4bc7b7126f59704771c50a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0430\u043d\u0433 \u043f\u043e \u0434\u0435\u043d\u044c\u0433\u0430\u043c \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0430\u043d\u0433\u0430 \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0421\u043e\u0441\u0435\u0434\u043d\u0438\u0439 \u0433\u0440\u0430\u0444\u0438\u043a \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0442\u0435 \u0436\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0440\u0430\u0437\u0440\u044b\u0432\u0430, \u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a: \u0440\u0430\u043d\u0433 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e \u0433\u0440\u0430\u043d\u0442\u0430\u043c (\u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u043e\u0447\u043a\u0430) \u043f\u0440\u043e\u0442\u0438\u0432 \u0435\u0433\u043e \u0440\u0430\u043d\u0433\u0430 \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u043d\u0430 arXiv (\u0437\u0435\u043b\u0435\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430), \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u044b\u0445 \u043b\u0438\u043d\u0438\u0435\u0439; \u0440\u0430\u043d\u0433 1 &#8212; \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439, \u0441\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u043d\u0433 &#8212; \u0441\u0430\u043c\u044b\u0439 \u043a\u0440\u0443\u043f\u043d\u044b\u0439. \u0414\u043b\u0438\u043d\u043d\u0430\u044f \u0441\u0438\u043d\u044f\u044f \u043b\u0438\u043d\u0438\u044f &#8212; \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0434\u0435\u043d\u044c\u0433\u0438. \u0414\u043b\u0438\u043d\u043d\u0430\u044f \u043a\u0440\u0430\u0441\u043d\u0430\u044f &#8212; \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0434\u0435\u043d\u044c\u0433\u0438 \u0441\u0442\u0430\u0432\u044f\u0442 \u0435\u0433\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0421\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 \u0442\u043e\u0447\u043a\u0438 &#8212; \u043e\u0431\u0430 \u0440\u0430\u043d\u0433\u0430 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u044b. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0433\u043e \u0440\u044f\u0434\u043e\u043c \u0441 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u043c \u0440\u0430\u0437\u0440\u044b\u0432\u0430 \u0432\u044b\u0448\u0435 (\u0442\u043e\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443), \u0441\u0440\u0430\u0437\u0443 \u0432\u0438\u0434\u043d\u043e, \u043a\u0442\u043e \u0432\u043f\u0435\u0440\u0435\u0434\u0438: \u0443 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0442\u043e\u0447\u043a\u0438 \u0440\u0430\u0437\u044a\u0435\u0437\u0436\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043b\u0435\u043a\u043e, \u0430 \u0443 \u043b\u0443\u0447\u0448\u0435 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043a\u043e. \u041e\u0431\u0430 \u0440\u0430\u043d\u0433\u0430 \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u043e\u043a\u0441\u0438 (\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438 1 \u0438 2). (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/money_attention_dumbbell.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<p>\u0418, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0439 \u0441\u043b\u0435\u0434 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0434\u0435\u043d\u0435\u0436\u043d\u043e\u0439 \u043e\u0441\u0438 &#8212; \u0441 \u043e\u0434\u043d\u043e\u0439 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u043e\u0439.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/65e\/5ea\/43f\/65e5ea43f646ec10a27aaa3d6577d4cc.png\" alt=\"\u0420\u0430\u0434\u0430\u0440 \u0434\u0435\u043d\u0435\u0436\u043d\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/65e\/5ea\/43f\/65e5ea43f646ec10a27aaa3d6577d4cc.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/65e\/5ea\/43f\/65e5ea43f646ec10a27aaa3d6577d4cc.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0430\u0434\u0430\u0440 \u0434\u0435\u043d\u0435\u0436\u043d\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435: \u0437\u0434\u0435\u0441\u044c \u043e\u0434\u043d\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0434\u0435\u043d\u0435\u0433, \u0430 \u043d\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c. \u0420\u0430\u0434\u0430\u0440\u044b \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445 \u0432\u0432\u043e\u0434\u044f\u0442 \u0432 \u0437\u0430\u0431\u043b\u0443\u0436\u0434\u0435\u043d\u0438\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u044f \u0442\u0443\u0442 \u043d\u0435 \u0441\u0442\u0440\u043e\u0438\u043b\u0430. (<\/em><a href=\"https:\/\/mrswallbreakermaps.com\/genealogy\/track_radar.html\" rel=\"noopener noreferrer nofollow\"><em>\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432<\/em><\/a><em>).<\/em><\/p>\n<hr\/>\n<h3>\u0424\u0438\u043d\u0430\u043b: \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b<\/h3>\n<p>\u041c\u043e\u0440\u0430\u043b\u0438 \u0432 \u043a\u043e\u043d\u0446\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 &#8212; \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0435 \u043d\u0435 \u0434\u0430\u044e\u0442. \u0427\u0442\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u044d\u0442\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u043b\u0435 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441:<\/p>\n<ul>\n<li>\n<p><strong>\u0415\u0441\u043b\u0438 Safety \u0443\u0431\u0440\u0430\u043b\u0438 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u043e\u0432, \u044d\u0442\u043e \u0441\u043c\u0435\u043d\u0430 \u0437\u043d\u0430\u043a\u0430 \u0438\u043b\u0438 \u0441\u043c\u0435\u043d\u0430 \u0441\u0443\u0442\u0438?<\/strong> \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e \u044d\u043f\u043e\u0445\u0443 governance \u0441\u0442\u0430\u043b\u0430 \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u043f\u043e\u0442\u043e\u043a\u043e\u043c (26 \u0438\u0437 82 \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0437\u0430 2024 &#8212; \u043f\u0435\u0440\u0432\u0443\u044e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 2026, \u0442\u0440\u0435\u0442\u044c \u0431\u043b\u043e\u043a\u0430): \u0441\u0430\u043c\u043c\u0438\u0442\u044b, \u0437\u0430\u043a\u043e\u043d\u044b, \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430. \u041d\u043e \u0432\u0441\u0435 \u044d\u0442\u043e \u0438\u0434\u0435\u0442 \u0443\u0436\u0435 \u043f\u043e\u0434 \u0444\u043b\u0430\u0433\u043e\u043c security, standards \u0438 action. \u0412\u044b\u0440\u0430\u0441\u0442\u0443\u0442 \u043b\u0438 \u043f\u043e\u0434 \u044d\u0442\u0438\u043c \u0444\u043b\u0430\u0433\u043e\u043c \u0442\u0435 \u0436\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0447\u0442\u043e \u0438 \u043f\u043e\u0434 \u0444\u043b\u0430\u0433\u043e\u043c safety, \u0438\u043b\u0438 \u0443\u0436\u0435 \u0434\u0440\u0443\u0433\u0438\u0435?<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f &#8212; \u044d\u0442\u043e \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u0438\u043b\u0438 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0434\u0440\u043e\u0431\u043b\u0435\u043d\u0438\u0435?<\/strong> \u041f\u043e \u0434\u0435\u043d\u044c\u0433\u0430\u043c \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u043f\u043e\u043b\u0435 \u044f\u0432\u043d\u043e \u0441\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0438\u043c\u0435\u043d\u0430\u043c: Anthropic, safety-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b, \u043e\u0434\u0438\u043d \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0434\u043e\u043d\u043e\u0440. \u0410 \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u043b\u044e\u0434\u0435\u0439, \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f: 2024 \u0433\u043e\u0434 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0440\u0435\u043a\u043e\u0440\u0434 \u043f\u043e \u043d\u043e\u0432\u044b\u043c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f\u043c, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443-\u043f\u044f\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a &#8212; \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, AI security, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 chain-of-thought. \u041f\u043e\u043b\u0435 \u0432\u0437\u0440\u043e\u0441\u043b\u0435\u0435\u0442 \u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f &#8212; \u0438\u043b\u0438 \u0434\u0440\u043e\u0431\u0438\u0442\u0441\u044f, \u0438 \u0432\u044b\u0436\u0438\u0432\u0443\u0442 \u043b\u0438\u0448\u044c \u0435\u0434\u0438\u043d\u0438\u0446\u044b? \u0421\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u0438 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0435\u043d\u0438\u0435 \u0443\u0441\u043f\u0435\u0445\u043e\u043c, \u0438\u043b\u0438 \u043e\u043d\u043e \u0441\u0442\u0438\u0440\u0430\u0435\u0442 \u0442\u0435\u0445, \u043a\u0442\u043e \u0431\u044b\u043b \u0432 \u043d\u0430\u0447\u0430\u043b\u0435? RLHF \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430, \u0430 \u043f\u043e\u0442\u043e\u043c \u0435\u0435 \u0432\u0442\u044f\u043d\u0443\u043b\u043e \u0432 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u044e. \u0425\u043e\u0440\u043e\u0448\u043e \u043b\u0438 \u044d\u0442\u043e, \u043a\u043e\u0433\u0434\u0430 \u043c\u0435\u0442\u043e\u0434 safety \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u0442\u0435\u043c\u043e\u0439 safety? \u0418 \u043a\u0442\u043e \u0442\u043e\u0433\u0434\u0430 \u0441\u043b\u0435\u0434\u0438\u0442, \u0433\u0434\u0435 \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c?<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e-\u0434\u0432\u0443\u0445 \u0444\u043e\u043d\u0434\u043e\u0432?<\/strong> \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0440\u044f\u0434\u043e\u043c \u043a\u0430\u043d\u0430\u043b OpenPhil \u0438 \u043a\u0440\u0430\u0445 FTX, \u0432\u0438\u0434\u043d\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0435 \u0443\u044f\u0437\u0432\u0438\u043c\u043e. \u0423 evaluations \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u0441\u043f\u043e\u043d\u0441\u043e\u0440 (AI Safety Fund) \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0434\u0430\u0432\u043d\u043e, \u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0444\u043e\u043d\u0434\u0435. \u0427\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e\u0442 \u0444\u043e\u043d\u0434 \u0443\u0439\u0434\u0435\u0442 \u0438\u043b\u0438 \u0443\u0440\u0435\u0436\u0435\u0442 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443? \u0412 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u043d\u0430\u0443\u043a\u0430 \u043e\u0431\u043e\u0433\u043d\u0430\u043b\u0430 \u0434\u0435\u043d\u044c\u0433\u0438, \u0430 \u0432 governance, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0434\u0435\u043d\u044c\u0433\u0438 \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430\u0443\u043a\u0438. \u041a\u0430\u043a\u043e\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u0440\u044b\u0432\u043e\u0432 \u0437\u0434\u043e\u0440\u043e\u0432\u044b\u0439 &#8212; \u0438 \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0435\u043c \u043f\u043e\u043b\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0437\u0430\u043d\u044f\u0442\u043e?<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u043d\u0430\u0443\u043a\u0430 \u0438\u0434\u0435\u0442 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0434\u0435\u043d\u0435\u0433, \u0430 \u0432 governance \u0434\u0435\u043d\u044c\u0433\u0438 \u0448\u043b\u0438 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0439.<\/strong> \u041a\u0430\u043a\u043e\u0439 \u0438\u0437 \u0440\u0430\u0437\u0440\u044b\u0432\u043e\u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0438 \u0447\u0442\u043e \u043e\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0435\u043c \u043f\u043e\u043b\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0437\u0430\u043d\u044f\u0442\u043e?<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<h3>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435: \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f<\/h3>\n<p><strong>\u0414\u0430\u043d\u043d\u044b\u0435 \u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438.<\/strong> \u0412 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 323 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441 2005 \u0433\u043e\u0434\u0430 \u043f\u043e \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0443 2026-\u0433\u043e, \u043f\u043b\u044e\u0441 safety-\u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 \u0438 arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 \u043f\u043e 23 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u0423 \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u0430\u043a\u043e\u0439 \u0446\u0438\u0444\u0440\u044b \u0435\u0441\u0442\u044c \u0442\u043e\u0447\u043d\u044b\u0439 URL \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438. \u0411\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0441\u0432\u0435\u0436\u0438\u0445 \u0434\u0435\u0442\u0430\u043b\u0435\u0439 \u044f \u0434\u043e\u0431\u0438\u0440\u0430\u043b\u0430 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u0432 \u043f\u043e \u0436\u0438\u0432\u044b\u043c \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u043c, \u0430 \u043d\u0435 \u043f\u043e \u0440\u0435\u0442\u0440\u043e\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 2023 \u0433\u043e\u0434\u0435. \u041d\u043e\u0432\u044b\u0435 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u044f \u043d\u0430\u0445\u043e\u0434\u0438\u043b\u0430 \u043f\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0443 \u0440\u043e\u0441\u0442\u0430 \u043f\u043e\u043b\u044f \u043d\u0430 EA Forum. \u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0432\u0435\u0445\u0438 2024-2025 \u0433\u043e\u0434\u043e\u0432 \u0432\u0437\u044f\u0442\u044b \u0438\u0437 \u201cShallow Review of Technical AI Safety\u201d \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 arXiv \u0438 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438, \u0430 governance-\u0441\u043e\u0431\u044b\u0442\u0438\u044f &#8212; \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432: <a href=\"http:\/\/gov.uk\" rel=\"noopener noreferrer nofollow\">gov.uk<\/a>, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0415\u0421, \u0437\u0430\u043a\u043e\u043d\u044b \u041a\u0430\u043b\u0438\u0444\u043e\u0440\u043d\u0438\u0438 \u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0411\u0435\u043b\u043e\u0433\u043e \u0434\u043e\u043c\u0430.<\/p>\n<p>\u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f\u0445 \u0431\u0430\u0437\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u043e\u0432\u044b\u0435 \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0440\u0430\u043d\u0442\u043e\u0434\u0430\u0442\u0435\u043b\u0438 (Manifund, Longview, Founders Pledge, Schmidt Sciences, Effektiv Spenden, Macroscopic Ventures \u0438 Nonlinear) \u0438 \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b (UK AISI \u0438 ARIA, US AISI \u043f\u0440\u0438 NIST, NSF, \u041a\u0430\u043d\u0430\u0434\u0430 CAISI, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI, EU AI Office, DARPA GARD \u0438 AIxCC, TrojAI \u043e\u0442 IARPA, Singapore AISI, \u0433\u043e\u0434\u043e\u0432\u043e\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 UK AISI \u043e\u043a\u043e\u043b\u043e \u00a350 \u043c\u043b\u043d, \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439 DE-AISI \u0438 India AISI). \u0422\u043e\u0433\u0434\u0430 \u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438\u0441\u044c \u0438 \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0435 \u0440\u0430\u0443\u043d\u0434\u044b \u0432 safety-\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0430 \u043a\u0430\u043a \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0438: Goodfire &#8212; $50 \u043c\u043b\u043d, Gray Swan &#8212; $40 \u043c\u043b\u043d, Lakera &#8212; $20 \u043c\u043b\u043d, HiddenLayer &#8212; $50 \u043c\u043b\u043d \u0438 Protect AI &#8212; $108.5 \u043c\u043b\u043d \u0434\u043e \u0435\u0433\u043e \u043f\u043e\u043a\u0443\u043f\u043a\u0438 Palo Alto \u0437\u0430 $634.5 \u043c\u043b\u043d. \u041f\u043b\u044e\u0441 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f safety-\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 (EleutherAI, Apart Research, Lakera, Protect AI) \u0438 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u043d\u043e\u0440 Craig Newmark &#8212; \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0434\u0432\u0430 \u0432\u0445\u043e\u0434\u044f\u0442 \u043a\u0430\u043a \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u0433\u0440\u0430\u043d\u0442\u044b \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u0438\u0441\u044c \u0434\u0432\u0430\u0436\u0434\u044b.<\/p>\n<p>\u0412 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e arXiv \u044f \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043e\u0442 \u0448\u0438\u0440\u043e\u0442\u044b \u043a \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438. \u0414\u043e\u0431\u0430\u0432\u0438\u043b\u0430 safety-\u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 &#8212; \u043e\u0434\u0438\u043d \u043e\u0431\u0449\u0438\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437. \u0414\u0432\u0430 \u0445\u0443\u0434\u0448\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0447\u0438\u0441\u0442\u0438\u043b\u0430: \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0443\u0431\u0440\u0430\u043b\u0430 \u0433\u043e\u043b\u043e\u0435 \u0441\u043b\u043e\u0432\u043e <em>interpretability<\/em>, \u0430 truthfulness \u043f\u043e\u043c\u0435\u0442\u0438\u043b\u0430 \u043a\u0430\u043a \u0432\u044b\u0441\u043e\u043a\u043e\u0448\u0443\u043c\u043d\u043e\u0435 \u0438 \u0443\u0431\u0440\u0430\u043b\u0430 \u0438\u0437 \u043e\u0431\u0449\u0435\u0439 \u0441\u0443\u043c\u043c\u044b \u043f\u043e\u043b\u044f.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u0438\u0448\u0443\u0442 \u0442\u0440\u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u0430-\u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440\u0430, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441 URL \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0438 \u0441 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c: \u043e\u0434\u0438\u043d \u0442\u044f\u043d\u0435\u0442 arXiv, \u0434\u0440\u0443\u0433\u043e\u0439 &#8212; \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0432\u044b\u043f\u043b\u0430\u0442\u044b LTFF \u0438\u0437 EA Funds, \u0442\u0440\u0435\u0442\u0438\u0439 &#8212; \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438 SFF. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e 2024 \u0433\u043e\u0434 \u0438 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0441\u0430\u043c\u044b\u043c \u043f\u043b\u043e\u0442\u043d\u044b\u043c \u0432 \u0431\u0430\u0437\u0435 &#8212; \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u043a\u0430\u043a \u0440\u0430\u0437 \u0438\u0437-\u0437\u0430 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u0431\u043e\u0440\u0430, \u043e \u0447\u0435\u043c \u0438 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u044e\u0442 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0436\u0438\u0437\u043d\u0438. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u0430 \u0442\u0438\u043f\u044b \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0442\u0430\u043a\u0438\u0435:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u0435\u043f\u0440\u0438\u043d\u0442\u044b arXiv<\/strong> \u0434\u0430\u044e\u0442 \u043d\u0430\u0443\u0447\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0442\u0447\u0435\u0442\u044b \u0438 \u0431\u043b\u043e\u0433\u0438 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0439<\/strong> &#8212; \u044d\u0442\u043e Circuits \u043d\u0430 distill, Transformer Circuits \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 Anthropic, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u043d\u043e\u043d\u0441\u044b OpenAI \u0438 DeepMind.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0435\u0442\u0440\u043e\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u044b \u0438 \u043e\u0431\u0437\u043e\u0440\u044b \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430<\/strong> &#8212; \u044d\u0442\u043e LessWrong, Alignment Forum \u0438 EA Forum.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0435 \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0446\u0438\u0438 \u041d\u041a\u041e<\/strong> &#8212; \u0444\u043e\u0440\u043c\u044b 990 \u0447\u0435\u0440\u0435\u0437 ProPublica &#8212; \u0434\u0430\u044e\u0442 \u0434\u043e\u0445\u043e\u0434 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0435\u0431-\u0430\u0440\u0445\u0438\u0432<\/strong> (Wayback Machine) \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441 \u0442\u0435\u0445 \u043f\u043e\u0440 \u0438\u0441\u0447\u0435\u0437\u043b\u0438 \u0438\u043b\u0438 \u0431\u044b\u043b\u0438 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0440\u0435\u0433\u0443\u043b\u044f\u0442\u043e\u0440\u043e\u0432<\/strong> &#8212; \u044d\u0442\u043e UK AI Safety and Security Institute, NIST \u0438 CAISI, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0415\u0421.<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u043d\u043e\u043d\u0441\u044b \u0444\u043e\u043d\u0434\u043e\u0432 \u0438 \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u043e\u0442\u0447\u0435\u0442\u044b<\/strong> &#8212; Open Philanthropy, Survival and Flourishing Fund (SFF), Long-Term Future Fund (LTFF), Future of Life Institute (FLI) \u0438 FTX Future Fund, \u043f\u043b\u044e\u0441 \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440 \u0434\u043e\u043d\u0430\u0442\u043e\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0434\u0435\u043d\u044c\u0433\u0438.<\/strong> \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b (\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u0435\u043b\u044e \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0433\u043e\u0434\u0443) \u044f \u0434\u0435\u0440\u0436\u0443 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u0433\u043e\u0434\u043e\u0432\u044b\u0445 \u0438\u0442\u043e\u0433\u043e\u0432 \u0434\u043e\u043d\u043e\u0440\u043e\u0432 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0444\u043e\u043d\u0434 \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0437\u0430 \u0433\u043e\u0434 \u0432\u0441\u0435\u0433\u043e). \u0427\u0442\u043e\u0431\u044b \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u0438\u0441\u044c \u0434\u0432\u0430\u0436\u0434\u044b, \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u043e\u043d\u043e\u0440\u0430 \u0431\u0435\u0440\u0443 \u043e\u0434\u0438\u043d \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u044f\u0434: \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438 \u0434\u043b\u044f OpenPhil \u0438 LTFF, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0441\u0443\u043c\u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u00a0<strong>$763,625,573<\/strong>, \u043f\u043e 79 \u0433\u0440\u0430\u043d\u0442\u0430\u043c, \u0438 \u043f\u043e \u0444\u043e\u043d\u0434\u0430\u043c \u043e\u043d\u0438 \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 \u0442\u0440\u0438 \u0442\u0438\u043f\u0430. \u0424\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044f &#8212; \u0441\u0430\u043c\u044b\u0439 \u0441\u0442\u0430\u0440\u044b\u0439 \u0438 \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0431\u043b\u043e\u043a: OpenPhil &#8212; $176.77 \u043c\u043b\u043d, SFF &#8212; $144.04 \u043c\u043b\u043d, FLI &#8212; $39.01 \u043c\u043b\u043d, FTX &#8212; $18.74 \u043c\u043b\u043d, \u0434\u0430\u043b\u044c\u0448\u0435 Schmidt Sciences &#8212; $10.0 \u043c\u043b\u043d, Longview &#8212; $9.0 \u043c\u043b\u043d, LTFF &#8212; $6.41 \u043c\u043b\u043d, Manifund &#8212; $5.42 \u043c\u043b\u043d, Jaan Tallinn &#8212; $5.0 \u043c\u043b\u043d, Founders Pledge &#8212; $0.81 \u043c\u043b\u043d \u0438\u00a0<strong>Effektiv Spenden &#8212; $0.18 \u043c\u043b\u043d<\/strong>. \u0413\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b &#8212; \u0431\u043e\u043b\u0435\u0435 \u043d\u043e\u0432\u044b\u0435: UK AI Safety Institute &#8212; $159.0 \u043c\u043b\u043d, ARIA &#8212; $74.0 \u043c\u043b\u043d,\u00a0<strong>\u041a\u0430\u043d\u0430\u0434\u0430 CAISI &#8212; $36.5 \u043c\u043b\u043d<\/strong>, NSF &#8212; $20.0 \u043c\u043b\u043d,\u00a0<strong>\u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI &#8212; $19.73 \u043c\u043b\u043d<\/strong>, US AI Safety Institute \u043f\u0440\u0438 NIST &#8212; $10.0 \u043c\u043b\u043d,\u00a0<strong>DARPA GARD &#8212; $10.0 \u043c\u043b\u043d<\/strong>\u00a0\u0438\u00a0<strong>EU AI Office &#8212; $9.81 \u043c\u043b\u043d<\/strong>. \u0420\u044f\u0434\u043e\u043c \u0441 \u043d\u0438\u043c\u0438 \u043e\u0434\u0438\u043d \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a &#8212; AI Safety Fund \u043f\u0440\u0438 Frontier Model Forum, $9.20 \u043c\u043b\u043d. \u0412\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u0443\u043d\u043a\u0442\u044b \u043f\u0440\u0438\u0448\u043b\u0438 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435\u043c \u0431\u0430\u0437\u044b &#8212; \u044d\u0442\u043e \u0443\u0436\u0435 \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b (\u041a\u0430\u043d\u0430\u0434\u0430 CAISI &#8212; CAD$50 \u043c\u043b\u043d \u043d\u0430 \u043f\u044f\u0442\u044c \u043b\u0435\u0442, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI &#8212; A$29.9 \u043c\u043b\u043d \u043d\u0430 \u0447\u0435\u0442\u044b\u0440\u0435 \u0433\u043e\u0434\u0430, EU AI Office &#8212; \u20ac9.08 \u043c\u043b\u043d, DARPA GARD &#8212; $10 \u043c\u043b\u043d \u043d\u0430 2024 \u0444\u0438\u043d\u0433\u043e\u0434) \u043f\u043b\u044e\u0441 \u043d\u043e\u0432\u044b\u0439 \u0440\u043e\u0437\u043d\u0438\u0447\u043d\u044b\u0439 \u0444\u043e\u043d\u0434 Effektiv Spenden. OpenPhil \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u0440\u043e\u0441 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0433\u0440\u0430\u043d\u0442\u0430\u043c 2024 \u0433\u043e\u0434\u0430 \u0432 CAIS, Redwood \u0438 MIRI \u043d\u0430 \u0441\u0443\u043c\u043c\u0443 \u043e\u043a\u043e\u043b\u043e $3.8 \u043c\u043b\u043d &#8212; \u044f \u043f\u043e\u043c\u0435\u0442\u0438\u043b\u0430 \u0438\u0445 \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u044c \u0433\u043e\u0434\u043e\u0432\u043e\u0433\u043e \u0438\u0442\u043e\u0433\u0430, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0432\u0430\u0436\u0434\u044b. \u042d\u0442\u043e \u0434\u0435\u043d\u044c\u0433\u0438 \u0440\u0430\u0437\u043d\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b (\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 5): \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 &#8212; \u044d\u0442\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c, \u0430 \u043d\u0435 \u0432\u044b\u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0443\u043c\u043c\u044b (\u00a3100 \u043c\u043b\u043d \u0443 \u0411\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u00a359 \u043c\u043b\u043d \u0443 ARIA, CAD$50 \u043c\u043b\u043d \u0443 \u041a\u0430\u043d\u0430\u0434\u044b, A$29.9 \u043c\u043b\u043d \u0443 \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438). \u0412\u0430\u043b\u044e\u0442\u044b \u044f \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0430 \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u044b \u043f\u043e \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u044b\u043c \u043a\u0443\u0440\u0441\u0430\u043c (\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1.25 \u0437\u0430 \u0444\u0443\u043d\u0442, 1.08 \u0437\u0430 \u0435\u0432\u0440\u043e, 0.73 \u0437\u0430 \u043a\u0430\u043d\u0430\u0434\u0441\u043a\u0438\u0439 \u0434\u043e\u043b\u043b\u0430\u0440 \u0438 0.66 \u0437\u0430 \u0430\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0439\u0441\u043a\u0438\u0439) \u0438 \u043f\u043e\u043c\u0435\u0442\u0438\u043b\u0430 \u044d\u0442\u043e \u0432 \u043f\u043e\u043b\u0435 \u0434\u0435\u0442\u0430\u043b\u0435\u0439. \u0417\u0430\u0434\u0432\u043e\u0435\u043d\u0438\u044f \u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u043b\u0430: \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438 OpenPhil \u0438 LTFF \u0438 \u0438\u0445 \u0436\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b \u043d\u0438\u0433\u0434\u0435 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f, \u0430 \u0432\u0441\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u044b \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; \u0431\u0443\u0434\u044c \u0442\u043e NSF \u043f\u0440\u043e\u0442\u0438\u0432 OpenPhil \u043d\u0430 $5 \u043c\u043b\u043d, Alignment Project \u043f\u0440\u043e\u0442\u0438\u0432 OpenAI \u0438 Schmidt \u0438\u043b\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b OpenPhil \u043f\u0440\u043e\u0442\u0438\u0432 \u0435\u0435 \u0438\u0442\u043e\u0433\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u0435\u043d\u044c\u0433\u0438 VC \u0438 equity \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0432 \u044d\u0442\u0438 $763 \u043c\u043b\u043d \u043e\u043d\u0438 \u043d\u0435 \u0432\u0445\u043e\u0434\u044f\u0442.<\/strong> \u0412\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0435 \u0440\u0430\u0443\u043d\u0434\u044b \u0432 safety-\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b \u044f \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0430 \u043a\u0430\u043a \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0438: \u044d\u0442\u043e \u043d\u0435 \u0431\u043b\u0430\u0433\u043e\u0442\u0432\u043e\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0442\u044b, \u0430 \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441 \u0433\u0440\u0430\u043d\u0442\u0430\u043c\u0438 \u0438\u0445 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442. \u0412\u043e\u0442 \u043e\u043d\u0438: Goodfire &#8212; $50 \u043c\u043b\u043d \u0432 \u0440\u0430\u0443\u043d\u0434\u0435 Series A \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, Gray Swan &#8212; $40 \u043c\u043b\u043d, Lakera &#8212; $20 \u043c\u043b\u043d, HiddenLayer &#8212; $50 \u043c\u043b\u043d, Protect AI &#8212; $108.5 \u043c\u043b\u043d (\u0434\u043e \u0442\u043e\u0433\u043e \u043a\u0430\u043a Palo Alto Networks \u043a\u0443\u043f\u0438\u043b\u0430 \u0435\u0433\u043e \u0437\u0430 $634.5 \u043c\u043b\u043d). \u0412\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u043e\u043a\u043e\u043b\u043e $268 \u043c\u043b\u043d \u0440\u0430\u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e equity. \u041f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c: \u0441\u0430\u043c\u044b\u0439 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0439 \u0447\u0435\u043a \u0432 \u0447\u0438\u0441\u0442\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c &#8212; \u0442\u0435 \u0436\u0435 $50 \u043c\u043b\u043d Goodfire &#8212; \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u043e \u0432\u0441\u0435\u043c \u0433\u043e\u0434\u043e\u0432\u044b\u043c \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0431\u044e\u0434\u0436\u0435\u0442\u043e\u043c OpenPhil. Safety \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0440\u044b\u043d\u043a\u043e\u043c, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u043b\u0430\u0433\u043e\u0442\u0432\u043e\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<\/li>\n<li>\n<p>SFF \u043f\u043e \u0433\u043e\u0434\u0430\u043c (\u043f\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c \u0430\u043d\u043e\u043d\u0441\u0430\u043c SFF, \u043a\u0430\u043a \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u0431\u0430\u0437\u0435 \u0438 \u043d\u0430\u043d\u0435\u0441\u0435\u043d\u043e \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0438) \u0440\u0430\u0441\u0442\u0435\u0442 \u0441 $5.45 \u043c\u043b\u043d \u0432 2020 \u0433\u043e\u0434\u0443 \u0434\u043e $19.4 \u043c\u043b\u043d \u0432 2021-\u043c, \u043f\u043e\u0442\u043e\u043c $18.1 \u043c\u043b\u043d \u0432 2022-\u043c, \u043f\u0438\u043a $42.3 \u043c\u043b\u043d \u0432 2023-\u043c, \u0434\u0430\u043b\u044c\u0448\u0435 $24.0 \u043c\u043b\u043d \u0432 2024-\u043c \u0438 $34.9 \u043c\u043b\u043d \u0432 2025-\u043c &#8212; \u0432\u0441\u0435\u0433\u043e $144.04 \u043c\u043b\u043d. \u0413\u043e\u0434\u043e\u0432\u044b\u0435 \u0438\u0442\u043e\u0433\u0438 SFF \u0438 \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0432\u044b\u043f\u043b\u0430\u0442\u044b LTFF \u044f \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u044e \u0432 \u0434\u0432\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u0430, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e \u0441\u0441\u044b\u043b\u043a\u043e\u0439 \u043d\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u0445\u043e\u0434\u044b OpenPhil \u043d\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e safety \u0432 2024 \u0433\u043e\u0434\u0443 &#8212; \u043e\u043a\u043e\u043b\u043e <strong>$28 \u043c\u043b\u043d<\/strong> (\u043a\u0430\u043a \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u0431\u0430\u0437\u0435 \u0433\u0440\u0430\u043d\u0442\u043e\u0432), \u0441 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u043e\u0439: \u0442\u0443\u0442 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u0438\u043d\u0430\u0447\u0435, \u0447\u0435\u043c \u0443 \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440\u0430 \u0434\u043e\u043d\u0430\u0442\u043e\u0432 \u0437\u0430 2015-2023 \u0433\u043e\u0434\u044b, \u0438 \u0441\u0430\u043c\u0430 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0446\u0438\u0444\u0440\u0443 \u201c\u043e\u043a\u043e\u043b\u043e $50 \u043c\u043b\u043d\u201d \u0437\u0430 2024-\u0439. \u0417\u0430 2023 \u0433\u043e\u0434 &#8212; \u043e\u043a\u043e\u043b\u043e $46 \u043c\u043b\u043d \u043d\u0430 AI safety. \u0412 2025-\u043c \u043f\u043e \u0432\u0441\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u043f\u0440\u043e\u0448\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435 $1 \u043c\u043b\u0440\u0434, \u043d\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0446\u0438\u0444\u0440\u044b \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e AI \u0444\u043e\u043d\u0434 \u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442; \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 $40 \u043c\u043b\u043d \u043f\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 AI safety.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041f\u0440\u043e 2026 \u0433\u043e\u0434 (\u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439, \u0442\u043e\u043b\u044c\u043a\u043e H1).<\/strong> \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b 2026 \u0433\u043e\u0434\u0430 \u044f \u0432\u0437\u044f\u043b\u0430 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 (Anthropic Natural Language Autoencoders, \u043a\u0438\u0431\u0435\u0440-evaluations UK AI Security Institute, EU Digital Omnibus). \u0410 \u0432\u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0435\u043d\u0435\u0433 \u0437\u0430 2026 \u0433\u043e\u0434 \u043f\u043e\u043a\u0430 \u043d\u0435\u0442: SFF-2026 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d \u043b\u0438\u0448\u044c \u043d\u0430 $20-40 \u043c\u043b\u043d \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u043e\u0441\u0435\u043d\u044c\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0443\u043c\u043c\u0443 \u044f \u043d\u0435 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0430, \u0430 \u0440\u0430\u0443\u043d\u0434 AI Safety Fund \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0446\u0438\u0444\u0440\u043e\u0439 \u043f\u0440\u0438\u0448\u0435\u043b\u0441\u044f \u043d\u0430 \u0434\u0435\u043a\u0430\u0431\u0440\u044c 2025 \u0433\u043e\u0434\u0430.<\/p>\n<p>\u0420\u044f\u0434\u044b \u043f\u043e arXiv \u044f \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u043b\u0430 \u0435\u0434\u0438\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043f\u043e \u0432\u0441\u0435\u043c 23 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c: \u043e\u0434\u0438\u043d \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0439 \u0440\u0435\u0446\u0435\u043f\u0442 &#8212; \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u044b \u0447\u0435\u0440\u0435\u0437 OR \u0432 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435 \u0438 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u0435 \u043f\u043b\u044e\u0441 \u0444\u0438\u043b\u044c\u0442\u0440 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c, \u0441\u0442\u0430\u0442\u044c\u0438 \u0441\u0447\u0438\u0442\u0430\u044e \u043f\u043e \u0434\u0430\u0442\u0435 \u043f\u043e\u0434\u0430\u0447\u0438, \u0432 \u043e\u0431\u0449\u0435\u043c \u043e\u043a\u043d\u0435 2015-2026 \u0433\u043e\u0434\u043e\u0432, &#8212; \u0438 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043e\u0442 \u043f\u0440\u0435\u0436\u043d\u0435\u0439 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0438. \u041a \u043f\u0440\u043e\u043a\u0441\u0438 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0441\u044f safety-\u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432, \u043e\u0434\u043d\u0430 \u043e\u0431\u0449\u0430\u044f \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0430, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437; \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u00ab\u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u00bb \u044d\u0442\u043e \u0441\u043f\u043b\u043e\u0448\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u043e\u0439, \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u043f\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0441\u043b\u043e\u0432\u0430\u043c. \u0414\u0432\u0435 \u0441\u0430\u043c\u044b\u0435 \u0448\u0443\u043c\u043d\u044b\u0435 \u043a\u0440\u0438\u0432\u044b\u0435 \u044f \u043f\u043e\u0447\u0438\u0441\u0442\u0438\u043b\u0430: \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0431\u0435\u0437 \u0433\u043e\u043b\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 <em>interpretability<\/em> (\u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u0443\u043f\u0430\u043b\u043e \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437) \u0438 truthfulness, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u043c\u0435\u0442\u0438\u043b\u0430 \u043a\u0430\u043a \u0432\u044b\u0441\u043e\u043a\u043e\u0448\u0443\u043c\u043d\u0443\u044e \u0438 \u0443\u0431\u0440\u0430\u043b\u0430 \u0438\u0437 \u0441\u0443\u043c\u043c\u044b \u043f\u043e\u043b\u044f.<\/p>\n<p>2026 \u0433\u043e\u0434 \u0442\u0430\u043a \u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430, \u0438 \u043f\u043e\u043c\u0435\u0447\u0435\u043d \u0441\u0435\u0440\u043e\u0439 \u0437\u043e\u043d\u043e\u0439 &#8212; \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439 \u0433\u043e\u0434 \u043d\u0435 \u0447\u0438\u0442\u0430\u043b\u0441\u044f \u043a\u0430\u043a \u0441\u043f\u0430\u0434; \u0430 \u0440\u043e\u043c\u0431\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0433\u043e\u0434\u0430 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0436\u0438\u0437\u043d\u0438 \u0441\u0442\u043e\u044f\u0442 \u043d\u0430 2025-\u043c. \u041f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u0435 OpenPhil \u0432 Coefficient Giving \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043e \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u0430\u0442\u0435 &#8212; \u043d\u043e\u044f\u0431\u0440\u044e 2025 \u0433\u043e\u0434\u0430.<\/p>\n<p><strong>\u041f\u044f\u0442\u044c \u043e\u0433\u043e\u0432\u043e\u0440\u043e\u043a<\/strong>, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0441\u0435 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f:<\/p>\n<ol>\n<li>\n<p><strong>\u0427\u0438\u0441\u043b\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430 arXiv &#8212; \u044d\u0442\u043e \u043f\u0440\u043e\u043a\u0441\u0438, \u0430 \u043d\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u043c\u0435\u0442\u0440\u0438\u044f.<\/strong> \u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0432\u0440\u043e\u0434\u0435 RLHF \u0438\u043b\u0438 scalable oversight \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430 arXiv \u043f\u043e\u0437\u0436\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u0428\u0438\u0440\u043e\u043a\u0438\u0435 \u0444\u0440\u0430\u0437\u044b \u0432\u0440\u043e\u0434\u0435 AI control, dangerous capabilities, value learning \u0438 model editing \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0448\u0443\u043c\u0430. \u0414\u0430 \u0438 \u0441\u0430\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435\u043c \u0431\u0430\u0437\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0448\u0438\u0440\u0435. \u0422\u043e\u0447\u043d\u0443\u044e \u0444\u0440\u0430\u0437\u0443 \u044f \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0430 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u0430\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 OR \u043f\u043e\u0434 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u0438\u0441\u043a\u0430\u043b\u0430 \u0443\u0436\u0435 \u0438 \u0432 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435, \u0438 \u0432 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u0435, \u0430 \u043d\u0430\u0431\u043e\u0440 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u043b\u0430 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e: adversarial-\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043f\u0438\u0440\u0430\u043b\u043e\u0441\u044c \u043d\u0430 <a href=\"http:\/\/cs.CR\" rel=\"noopener noreferrer nofollow\">cs.CR<\/a> \u0438 <a href=\"http:\/\/cs.CV\" rel=\"noopener noreferrer nofollow\">cs.CV<\/a>, governance &#8212; \u043d\u0430 <a href=\"http:\/\/cs.CY\" rel=\"noopener noreferrer nofollow\">cs.CY<\/a>, multi-agent &#8212; \u043d\u0430 <a href=\"http:\/\/cs.RO\" rel=\"noopener noreferrer nofollow\">cs.RO<\/a>, \u0438 \u0432\u0441\u0435 \u044d\u0442\u043e \u0432 \u043e\u0434\u043d\u043e\u043c \u043e\u043a\u043d\u0435 2015-2026 \u0433\u043e\u0434\u043e\u0432. \u0418\u0437-\u0437\u0430 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u043b\u0430 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u044e\u0442\u0441\u044f, \u0438 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0433\u043e \u0441\u043a\u0430\u0447\u043a\u0430 &#8212; \u044d\u0442\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0430 \u043d\u0435 \u0440\u043e\u0441\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u043e\u043b\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u044f \u0438 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u043e\u0442 \u0448\u0438\u0440\u043e\u0442\u044b \u043a \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438: \u0441\u043e\u0431\u0440\u0430\u043b\u0430 safety-\u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 &#8212; \u043e\u0434\u0438\u043d \u043e\u0431\u0449\u0438\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0438\u0437 safety-\u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0445 \u0444\u0440\u0430\u0437, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437. \u0412\u043e\u0442 \u044d\u0442\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u043e\u043b\u044f \u0438 \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0414\u0432\u0430 \u0441\u0430\u043c\u044b\u0445 \u0433\u0440\u044f\u0437\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u044f \u0432\u0434\u043e\u0431\u0430\u0432\u043e\u043a \u043f\u043e\u0447\u0438\u0441\u0442\u0438\u043b\u0430. \u0418\u0437 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0443\u0431\u0440\u0430\u0442\u044c \u0433\u043e\u043b\u043e\u0435 \u0441\u043b\u043e\u0432\u043e <em>interpretability<\/em> &#8212; \u043f\u043e\u0434 \u043d\u0435\u0433\u043e \u043f\u043e\u043f\u0430\u0434\u0430\u043b \u0447\u0443\u0442\u044c \u043b\u0438 \u043d\u0435 \u0432\u0435\u0441\u044c \u043e\u0431\u0449\u0438\u0439 ML, \u0438 \u0431\u0435\u0437 \u043d\u0435\u0433\u043e \u0447\u0438\u0441\u043b\u043e \u0443\u043f\u0430\u043b\u043e \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437. \u0421 truthfulness \u0431\u044b\u043b\u043e \u0435\u0449\u0435 \u0445\u0443\u0436\u0435: \u043d\u0430 \u0434\u0435\u043b\u0435 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e hallucination \u0438 factuality, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 NLP, \u0442\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u044f \u043f\u043e\u043c\u0435\u0442\u0438\u043b\u0430 \u043a\u0430\u043a \u0432\u044b\u0441\u043e\u043a\u043e\u0448\u0443\u043c\u043d\u043e\u0435 \u0438 \u0443\u0431\u0440\u0430\u043b\u0430 \u0438\u0437 \u0441\u0443\u043c\u043c\u044b \u043f\u043e\u043b\u044f. \u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u043e\u043a\u0441\u0438-\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u044f\u0432\u043d\u044b\u0439 \u0444\u043b\u0430\u0433 \u0448\u0443\u043c\u0430 &#8212; \u043d\u0438\u0437\u043a\u0438\u0439, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0438\u043b\u0438 \u0432\u044b\u0441\u043e\u043a\u0438\u0439. \u0418 \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0441\u0442\u043e\u0438\u0442 \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u043f\u0440\u044f\u043c\u043e: \u0441\u0442\u0430\u0442\u0435\u0439 \u0432 <a href=\"http:\/\/cs.AI\" rel=\"noopener noreferrer nofollow\">cs.AI<\/a>, cs.LG, <a href=\"http:\/\/cs.CL\" rel=\"noopener noreferrer nofollow\">cs.CL<\/a> \u0438 <a href=\"http:\/\/stat.ML\" rel=\"noopener noreferrer nofollow\">stat.ML<\/a> \u0441 2015 \u043f\u043e 2026 \u0433\u043e\u0434 &#8212; \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447, \u0430 \u0442\u0435\u0445, \u0447\u0442\u043e \u0441\u0430\u043c\u0438 \u043f\u043e\u043c\u0435\u0447\u0430\u044e\u0442 \u0441\u0435\u0431\u044f \u043a\u0430\u043a AI safety \u0438\u043b\u0438 alignment, &#8212; \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b\u0441\u044f\u0447. \u0422\u0430\u043a \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0432\u0435\u0441\u044c safety-\u043a\u043e\u0440\u043f\u0443\u0441 \u043d\u0430 \u044d\u0442\u043e\u043c \u0444\u043e\u043d\u0435 &#8212; \u0442\u043e\u043d\u043a\u0430\u044f \u043f\u043e\u043b\u043e\u0441\u043a\u0430, \u0430 \u0441\u0443\u043c\u043c\u044b \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0437\u0430\u0432\u044b\u0448\u0430\u044e\u0442 \u0435\u0433\u043e \u0432 \u0440\u0430\u0437\u044b. \u0418 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435: \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u043a\u0441\u0438-\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 &#8212; \u044d\u0442\u043e \u0437\u043e\u043d\u0442\u0438\u043a\u0438 \u0438\u043b\u0438 \u0432\u043b\u043e\u0436\u0435\u043d\u044b \u0434\u0440\u0443\u0433 \u0432 \u0434\u0440\u0443\u0433\u0430. \u0428\u0438\u0440\u043e\u043a\u0438\u0439 alignment \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435, constitutional AI \u0441\u0438\u0434\u0438\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 RLHF, \u0430 activation steering \u0438 singular learning theory &#8212; \u0432\u043d\u0443\u0442\u0440\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0438\u0432\u044b\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u043b\u043e\u0431. \u0414\u043b\u044f \u043e\u0431\u0449\u0435\u0439 \u0441\u0443\u043c\u043c\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u043b\u044e \u044f \u0431\u0435\u0440\u0443 \u043b\u0438\u0431\u043e \u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432, \u043b\u0438\u0431\u043e \u043d\u0435\u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0435\u0435\u0441\u044f \u044f\u0434\u0440\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043a\u0440\u0438\u0432\u044b\u043c\u0438. \u0412\u0430\u0436\u043d\u0430 \u0444\u043e\u0440\u043c\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u0440\u0438\u0432\u043e\u0439 &#8212; \u0432\u0441\u043f\u043b\u0435\u0441\u043a \u044d\u0442\u043e \u0438\u043b\u0438 \u043f\u043b\u0430\u0442\u043e &#8212; \u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0430 \u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0438\u0441\u043b\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 &#8212; \u0441\u043c\u0435\u0449\u0435\u043d\u043d\u0430\u044f \u043c\u0435\u0440\u0430.<\/strong> \u041e\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044f \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0430 \u043d\u0435 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e. \u041f\u0440\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0441\u0443\u0434\u0438\u0442\u044c \u043f\u043e \u0434\u0435\u043d\u044c\u0433\u0430\u043c \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f\u043c, \u0430 \u043d\u0435 \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. (\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u0431\u043e\u0440\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u044f\u043c\u043e \u0437\u0430\u0448\u0442\u0440\u0438\u0445\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a \u043d\u0435\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435.)<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0435 \u201c\u043f\u043e\u0447\u0435\u043c\u0443\u201d &#8212; \u044d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f.<\/strong> \u041e\u043d\u043e \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0435\u043d\u043e \u043f\u043e\u0432\u0435\u0440\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0430 \u043d\u0435 \u0432\u0437\u044f\u0442\u043e \u0438\u0437 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430, \u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u043f\u043e\u0440\u0438\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f-\u043f\u043e\u043b\u0443\u0447\u0430\u0442\u0435\u043b\u044c \u0433\u0440\u0430\u043d\u0442\u0430 \u043d\u0435 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0430 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443.<\/strong> \u041e\u043d\u0430 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0435 \u043f\u043e\u0442\u043e\u043a\u0438 \u0438\u0434\u0443\u0442 \u043e\u0442 \u0444\u043e\u043d\u0434\u0430 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e, \u0430 \u043d\u0435 \u043e\u0442 \u0444\u043e\u043d\u0434\u0430 \u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u0435\u043d\u044c\u0433\u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0438\u043f\u043e\u0432, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/strong> \u041f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0439 \u0431\u0430\u0437\u044b \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0438 \u0431\u044b\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0440\u0430\u043d\u0442\u044b. \u0422\u0435\u043f\u0435\u0440\u044c \u0432 \u043d\u0438\u0445 \u0432\u0445\u043e\u0434\u044f\u0442 \u0438 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u043f\u043e\u043b\u0443\u0434\u044e\u0436\u0438\u043d\u044b \u0441\u0442\u0440\u0430\u043d (UK AISI, ARIA, US AISI \u043f\u0440\u0438 NIST, NSF, \u041a\u0430\u043d\u0430\u0434\u0430 CAISI, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f AISI, EU AI Office, DARPA GARD), \u0438 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u043e-\u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 (AI Safety Fund, Schmidt Sciences, Manifund, Longview, Founders Pledge, Effektiv Spenden). \u041d\u043e \u044d\u0442\u043e \u0434\u0435\u043d\u044c\u0433\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430: \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 &#8212; \u043d\u0435 \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0433\u0440\u0430\u043d\u0442, \u0438 \u043d\u0438 \u0442\u043e, \u043d\u0438 \u0434\u0440\u0443\u0433\u043e\u0435 &#8212; \u043d\u0435 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438, \u0430 \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0435\u0439 &#8212; \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b, \u0430 \u043d\u0435 \u0432\u044b\u0434\u0430\u043d\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430. \u0414\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0435\u0442 \u0441\u043e\u0432\u0441\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f &#8212; \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 (VC \u0438 equity) \u0432 safety-\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b, \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u043a\u0430\u043a \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0438. Goodfire \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u043b\u0430 $50 \u043c\u043b\u043d \u0432 Series A \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c; Gray Swan &#8212; $40 \u043c\u043b\u043d, Lakera &#8212; $20 \u043c\u043b\u043d, HiddenLayer &#8212; $50 \u043c\u043b\u043d; \u0430 Protect AI &#8212; $108.5 \u043c\u043b\u043d \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a Palo Alto \u043a\u0443\u043f\u0438\u043b\u0430 \u0435\u0433\u043e \u0437\u0430 $634.5 \u043c\u043b\u043d. \u0412\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u043e\u043a\u043e\u043b\u043e $268 \u043c\u043b\u043d \u0440\u0430\u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e equity, \u0438 \u044d\u0442\u043e \u043d\u0435 \u0431\u043b\u0430\u0433\u043e\u0442\u0432\u043e\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u043d\u0442: \u0438\u043d\u0432\u0435\u0441\u0442\u043e\u0440 \u0436\u0434\u0435\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441 \u0433\u0440\u0430\u043d\u0442\u0430\u043c\u0438 \u0442\u0430\u043a\u0438\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u0432 \u0433\u0440\u0430\u043d\u0442\u043e\u0432\u044b\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0432\u0445\u043e\u0434\u044f\u0442 &#8212; \u044f \u0438\u0445 \u0441\u0447\u0438\u0442\u0430\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0427\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0442\u0438\u043f \u0434\u0435\u043d\u0435\u0433 &#8212; \u044d\u0442\u043e \u043d\u0438 \u0433\u0440\u0430\u043d\u0442, \u043d\u0438 equity: \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f, \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u0438 \u043e\u0431\u0449\u0435\u043f\u043e\u043b\u0435\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438. \u042d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u043d\u0435 \u0432\u044b\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0433\u0440\u0430\u043d\u0442, &#8212; \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0435 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 FTX \u043e\u043a\u043e\u043b\u043e $160 \u043c\u043b\u043d \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u043b\u0430\u0447\u0435\u043d\u043d\u044b\u0445 $18.7 \u043c\u043b\u043d, \u0433\u043e\u0434\u043e\u0432\u044b\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0440\u043e\u0434\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e $40 \u043c\u043b\u043d, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 AI safety \u0432 2019 \u0433\u043e\u0434\u0443. \u0422\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437 \u0446\u0438\u0444\u0440\u044b \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0447\u0438\u0441\u0442\u043e \u043d\u0430 \u0441\u043b\u043e\u0432\u0430\u0445 &#8212; \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442 \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c: \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f OpenAI Superalignment, Frontier Safety Framework \u043e\u0442 Google DeepMind, \u043f\u043e\u043a\u0443\u043f\u043a\u0430 Protect AI, \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439 DE-AISI, India AISI, \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b Singapore, IARPA \u0438 AIxCC, \u0434\u043e\u043d\u043e\u0440 Craig Newmark. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u044d\u0442\u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u0432 \u043e\u0434\u043d\u0443 \u043e\u0431\u0449\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u043f\u043e \u043f\u043e\u043b\u044e \u043d\u0443\u0436\u043d\u043e \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0430\u043c, \u0433\u0434\u0435 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e, \u044f \u043e\u0442\u043c\u0435\u0447\u0430\u044e \u044d\u0442\u043e \u043f\u0440\u044f\u043c\u043e \u0443 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0413\u0434\u0435 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u0430.<\/strong> <a href=\"https:\/\/github.com\/eericheva\/ai-safety-genealogy\" rel=\"noopener noreferrer nofollow\">GIT ai-safety-genealogy<\/a><\/p>\n<hr\/>\n<p><em>\u042f \u043f\u0438\u0448\u0443 \u043f\u0440\u043e AI safety \u0432 \u043a\u0430\u043d\u0430\u043b\u0435\u00a0<\/em><a href=\"https:\/\/t.me\/+PnSP4x7V0DQ5ZTJi\" rel=\"noopener noreferrer nofollow\"><em>t.me\/MrsWallbreaker<\/em><\/a><em>: \u0440\u0430\u0437\u0431\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u0435\u0439, \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, evals \u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0435\u0433\u043e\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/em><\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1058882\/\">https:\/\/habr.com\/ru\/articles\/1058882\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0427\u0442\u043e \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u044c\u041e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u044e AI safety \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u043a\u043b\u0430\u0434\u043d\u043e \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u043e\u0432 \u0437\u0430\u0431\u0435\u0441\u043f\u043e\u043a\u043e\u0438\u043b\u0438\u0441\u044c \u0438\u0437-\u0437\u0430 \u0441\u0443\u043f\u0435\u0440\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430. \u041f\u043e\u0442\u043e\u043c \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430 alignment. \u0417\u0432\u0443\u0447\u0438\u0442 \u043b\u043e\u0433\u0438\u0447\u043d\u043e &#8212; \u043d\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0437 \u0442\u0430\u043a\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u044b\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435. \u0421\u0442\u043e\u0438\u0442 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u0430\u0442\u044b, \u043b\u044e\u0434\u0435\u0439, \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438, \u0438 \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f. \u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u0440\u0430\u0437\u043d\u043e\u0431\u043e\u0439: \u043e\u0434\u043d\u0438 \u0443\u0441\u043f\u0435\u0432\u0430\u044e\u0442 \u0432\u043e\u0439\u0442\u0438 \u0432 \u043c\u0435\u0439\u043d\u0441\u0442\u0440\u0438\u043c, \u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u0438\u0445\u043e \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0442, \u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e &#8212; \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u044b. \u041c\u043d\u0435 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0440\u0430\u0437\u043d\u043e\u0431\u043e\u0439 \u043d\u0430 \u0441\u043b\u043e\u0432\u0430\u0445, \u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0430\u0437\u0443 \u044f \u0441\u043e\u0431\u0440\u0430\u043b\u0430 \u0441\u0430\u043c\u0430, \u0441 \u043d\u0443\u043b\u044f.\u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u0441\u0435 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443: 323 \u0441\u043e\u0431\u044b\u0442\u0438\u044f, 129 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432, 18 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u041e\u043d\u0430 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0438\u043e\u0434 \u0441 2005 \u043f\u043e \u0438\u044e\u043d\u044c 2026 \u0433\u043e\u0434\u0430, \u043f\u0440\u0438\u0447\u0435\u043c \u043d\u0430 2026-\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0433\u043e\u0434\u0430, \u0442\u0430\u043a \u0447\u0442\u043e \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u044b\u0439 \u0433\u043e\u0434 \u0435\u0433\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442. \u0420\u044f\u0434\u043e\u043c \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 &#8212; \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e arXiv (\u043a\u043e\u0441\u0432\u0435\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0432 \u0433\u043e\u0434); \u043e\u043d \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 23 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u0412 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b &#8212; \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0439 \u0444\u0430\u043a\u0442 \u0441\u043e \u0441\u0441\u044b\u043b\u043a\u043e\u0439 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u0430 \u0440\u044f\u0434\u043e\u043c \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u044b \u0433\u043e\u0434, \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0442\u0438\u043f, \u0441\u0443\u043c\u043c\u0430 \u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a. \u041d\u0430 \u044d\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u0441\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043d\u0438\u0436\u0435. \u0418 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0433\u0434\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043d\u0435 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u044f\u043c\u0443\u044e \u043b\u0438\u043d\u0438\u044e: \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u043e \u0433\u043e\u0434\u0430\u043c, \u043f\u043e \u0434\u0435\u043d\u044c\u0433\u0430\u043c, \u043f\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e, \u0438 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0434\u043e\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u0434\u043e \u043c\u0435\u0439\u043d\u0441\u0442\u0440\u0438\u043c\u0430, \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u0442\u0438\u0445\u0430\u0435\u0442, \u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0443\u043f\u043e\u0440\u043d\u043e \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.\u0413\u043b\u0430\u0432\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b\u0418\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 \u0432\u044b\u0432\u043e\u0434\u043e\u0432. \u041e\u0434\u043d\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442 \u0446\u0438\u0444\u0440\u0430\u043c\u0438 \u0442\u043e, \u0447\u0442\u043e \u0432 \u043f\u043e\u043b\u0435 \u0438 \u0442\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0437\u043d\u0430\u043b\u0438. \u0414\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u043d\u044f \u0443\u0434\u0438\u0432\u0438\u043b\u0438 &#8212; \u0441 \u043d\u0438\u0445 \u0438 \u043d\u0430\u0447\u043d\u0443.\u0427\u0442\u043e \u0443\u0434\u0438\u0432\u0438\u043b\u043e:\u0414\u0435\u043d\u044c\u0433\u0438 \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f. \u041a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 37 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u043f\u0440\u0438 \u0435\u0433\u043e \u0441\u043a\u0440\u043e\u043c\u043d\u043e\u043c \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u043a\u043e\u043b\u043e $1 \u043c\u043b\u043d. \u0421 governance \u0432\u0441\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442: \u0442\u0430\u043c \u0434\u0435\u043d\u044c\u0433\u0438 \u0448\u043b\u0438 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0439. \u0422\u043e \u0435\u0441\u0442\u044c \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.\u041f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a 2023 \u0433\u043e\u0434\u0443 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043e\u0431\u043e\u0448\u043b\u0438 \u0444\u0438\u043b\u0430\u043d\u0442\u0440\u043e\u043f\u0438\u044e. \u0420\u0430\u043d\u044c\u0448\u0435 \u043f\u043e\u043b\u0435 \u0434\u0435\u0440\u0436\u0430\u043b\u043e\u0441\u044c \u043f\u043e \u0441\u0443\u0442\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0434\u043e\u043d\u043e\u0440\u0435, \u0430 \u043f\u043e\u043b\u0434\u044e\u0436\u0438\u043d\u044b \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u043e\u0432 &#8212; UK AISI, ARIA, \u041a\u0430\u043d\u0430\u0434\u0430, \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u044f, NSF, \u0415\u0421 &#8212; \u0437\u0430 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0435\u0433\u043e \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u043c \u0438 \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c. \u0410 \u0440\u044f\u0434\u043e\u043c \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u043e\u0434\u0430: \u043e\u043a\u043e\u043b\u043e $268 \u043c\u043b\u043d \u0432\u0435\u043d\u0447\u0443\u0440\u043d\u044b\u0445 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0439 \u0432 safety-\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430, \u0430 \u043d\u0435 \u0433\u0440\u0430\u043d\u0442\u0430.\u0422\u043e, \u0447\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u0435\u0439, \u043d\u0430 \u0434\u0435\u043b\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u0435. \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0438\u043c\u0435\u043d\u0430\u043c, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c 2024 \u0433\u043e\u0434 \u0441\u0442\u0430\u043b \u0440\u0435\u043a\u043e\u0440\u0434\u043d\u044b\u043c \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u043d\u043e\u0432\u044b\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439: \u0438\u0445 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c 24, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443-\u043f\u044f\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u043a &#8212; \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, AI security, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 chain-of-thought.\u0421\u043b\u043e\u0432\u043e \u201cSafety\u201d \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u0445\u043e\u0434\u0438\u0442 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439. \u0422\u043e\u043b\u044c\u043a\u043e \u0437\u0430 2025 \u0433\u043e\u0434 UK AI Safety Institute \u0441\u0442\u0430\u043b AI Security Institute, US AI Safety Institute &#8212; CAISI, \u0430 Open Philanthropy, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0441\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u043e\u0441\u044c, \u0441\u043c\u0435\u043d\u0438\u043b\u0430 \u0438\u043c\u044f \u043d\u0430 Coefficient Giving.\u0417\u0430\u0442\u0438\u0445\u043d\u0443\u0442\u044c &#8212; \u043d\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0443\u043c\u0435\u0440\u0435\u0442\u044c. \u0423 reward modeling \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a 2017 \u0433\u043e\u0434\u0443, \u043d\u043e \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c RLHF \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u0436\u0438\u043b\u043e \u0434\u043e 2025-\u0433\u043e. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0435 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442, \u0430 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0447\u0435\u043c-\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u043c \u0438\u043b\u0438 \u0443\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043b\u0430\u043d.\u0427\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u043e\u0441\u044c &#8212; \u0442\u0435\u043f\u0435\u0440\u044c \u0441 \u0446\u0438\u0444\u0440\u0430\u043c\u0438:\u0426\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0441\u044f \u043e\u0442 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u0438 \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u0414\u043e\u043b\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u0437 \u0433\u0440\u0443\u043f\u043f\u044b foundations-and-strategy \u0443\u043f\u0430\u043b\u0430 \u0441 67% \u0432 2005-2013 \u0433\u043e\u0434\u0430\u0445 \u0434\u043e 6% \u043a 2024-2026, \u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 60% \u0438 \u0441\u0442\u044f\u043d\u0443\u043b\u0430\u0441\u044c \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0438\u0433\u0440\u043e\u043a\u0430\u043c; \u0441\u0430\u043c\u044b\u0439 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0443\u0437\u0435\u043b &#8212; Anthropic.RLHF \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430 \u0438 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043b\u0430\u0441\u044c \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c ML. \u0415\u0435 arXiv-\u043f\u0440\u043e\u043a\u0441\u0438 \u0432\u044b\u0440\u043e\u0441 \u0441 25 \u0441\u0442\u0430\u0442\u0435\u0439 \u0432 2021 \u0433\u043e\u0434\u0443 \u0434\u043e 1777 \u0432 2025-\u043c &#8212; \u043a\u0430\u043a \u0440\u0430\u0437 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0430 \u0431\u044b\u0442\u044c \u0442\u0435\u043c\u043e\u0439 safety \u0438 \u0441\u0442\u0430\u043b\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0439.\u041f\u043e\u0441\u043b\u0435 ChatGPT \u0440\u0435\u0437\u043a\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u0430 governance. \u0414\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u044d\u0442\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u0441 $0.4 \u043c\u043b\u043d \u0432 2018 \u0433\u043e\u0434\u0443 \u0434\u043e $18.4 \u043c\u043b\u043d \u0432 2023-\u043c &#8212; \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 46 \u0440\u0430\u0437 \u0437\u0430 \u043f\u044f\u0442\u044c \u043b\u0435\u0442.\u0421\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f\u043c \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0441 2005 \u043f\u043e 2026\u041a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 &#8212; \u044d\u0442\u043e \u043e\u0434\u043d\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0435. \u041e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 \u0440\u0430\u0441\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u043e \u0433\u043e\u0434\u0443 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u043e\u0447\u043a\u0438 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c &#8212; \u0438\u0437 \u043b\u0435\u0432\u043e\u0433\u043e \u043d\u0438\u0436\u043d\u0435\u0433\u043e \u0443\u0433\u043b\u0430 \u0432 \u043f\u0440\u0430\u0432\u044b\u0439 \u0432\u0435\u0440\u0445\u043d\u0438\u0439. \u0426\u0432\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u043d \u043f\u043e \u0433\u043e\u0434\u0443 \u0435\u0433\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u0447\u0442\u043e \u043e\u0431\u0449\u0438\u0439 \u0442\u043e\u043d \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043f\u043b\u0430\u0432\u043d\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u0438 \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u0440\u0430\u0437\u0443. \u041d\u0438\u0436\u043d\u044f\u044f \u043f\u0430\u043d\u0435\u043b\u044c &#8212; \u0442\u0435 \u0436\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u0433\u043e\u0434\u0430\u043c, \u0432 \u0442\u0435\u0445 \u0436\u0435 \u0446\u0432\u0435\u0442\u0430\u0445; \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0440\u0430\u043d\u043d\u0435\u0439 \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0438 agent foundations \u043a \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0437\u0434\u043d\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438, evaluations \u0438 AI control. \u042d\u043f\u043e\u0445\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0448\u0442\u0440\u0438\u0445\u043e\u0432\u043a\u043e\u0439, \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u0438 \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. (\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432).\u0422\u0430\u0439\u043c\u043b\u0430\u0439\u043d \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e \u043d\u0430\u0447\u0430\u043b\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u043e \u043f\u043e \u043d\u0435\u043c\u0443 \u043d\u0435 \u0432\u0438\u0434\u043d\u043e, \u043a\u0442\u043e \u0434\u043e\u0436\u0438\u043b \u0434\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a &#8212; \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0436\u0438\u0437\u043d\u0438: \u043b\u0438\u043d\u0438\u044f \u043e\u0442 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043e \u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u044b \u043f\u043e \u0433\u043e\u0434\u0443 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f. \u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c: \u0435\u0441\u043b\u0438 \u043f\u043e\u0437\u0434\u043d\u0435\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043d\u0435\u0442, \u044d\u0442\u043e \u0435\u0449\u0435 \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0435\u0440\u0442\u0432\u043e (\u0441\u043d\u043e\u0432\u0430 \u0442\u0430 \u0436\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0431\u043e\u0440\u0430). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0435\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b &#8212; \u0440\u043e\u043c\u0431 \u043d\u0430 \u0442\u043e\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0433\u043e\u0434\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0435\u0449\u0435 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 arXiv (\u0434\u043b\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0442\u0430\u043a\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0435\u0441\u0442\u044c). \u0422\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043c\u043e\u043b\u0447\u0430\u0442\u044c \u0432 \u043c\u043e\u0435\u0439 \u0431\u0430\u0437\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0436\u0438\u0432\u044b\u043c.\u041a\u0430\u043a \u043a\u0430\u0436\u0434\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043a \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c\u0443, \u0441 \u0440\u043e\u043c\u0431\u043e\u043c \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0433\u043e\u0434\u0435 \u043d\u0430 arXiv\u041b\u0438\u043d\u0438\u044f \u0438\u0434\u0435\u0442 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e, \u0430 \u0440\u043e\u043c\u0431 \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0433\u043e\u0434, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e \u043d\u0435\u043c\u0443 \u0435\u0449\u0435 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 arXiv &#8212; \u044d\u0442\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u043e 23 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u042d\u0442\u0438 \u0434\u0432\u0435 \u0442\u043e\u0447\u043a\u0438 \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442. \u0423 reward modeling \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 &#8212; 2017 \u0433\u043e\u0434, \u043d\u043e \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0435\u043f\u0435\u0440\u044c \u0443\u0436\u0435 \u043f\u043e\u0434 \u043c\u0430\u0440\u043a\u043e\u0439 RLHF, \u0438\u0434\u0443\u0442 \u0434\u043e 2025-\u0433\u043e. Value learning \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0437\u0430\u0442\u0438\u0445\u043b\u043e \u043a 2021 \u0433\u043e\u0434\u0443, \u0430 agent foundations \u043a 2024-\u043c\u0443 \u0441\u0436\u0430\u043b\u043e\u0441\u044c \u0434\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0442\u043c\u0435\u0442\u043a\u0438 &#8212; \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442\u0430 MIRI. \u041d\u043e \u0438 \u0442\u043e, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u0436\u0438\u0432\u043e \u043d\u0430 arXiv. \u0422\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0434\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u0438\u0440\u0430\u0435\u0442: \u0447\u0430\u0449\u0435 \u043e\u043d \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u0444\u043e\u043d. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 \u044d\u0442\u043e\u043c &#8212; \u0432 \u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043f\u043e\u0441\u043b\u0435 \u044d\u043f\u043e\u0445. (\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432).\u0412\u043e\u0442 \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 &#8212; \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0431\u0430\u0437\u0435 \u043f\u043e \u0433\u043e\u0434\u0430\u043c:\u041f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0437\u0430 \u0433\u043e\u0434\u0417\u0430\u043a\u0440\u0430\u0448\u0435\u043d\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043f\u043e\u043f\u0430\u043b\u043e \u0432 \u0431\u0430\u0437\u0443 \u0437\u0430 \u0433\u043e\u0434. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b (\u0432 2026-\u043c \u043f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0433\u043e\u0434\u0430) \u0437\u0430\u0448\u0442\u0440\u0438\u0445\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0430 \u0444\u043e\u0440\u043c\u0443 \u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f, \u0430 \u043d\u0435 \u043d\u0430 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430. \u0414\u043e 2012-2013 \u0433\u043e\u0434\u043e\u0432 \u043f\u043e\u043b\u0435 \u043f\u043e\u0447\u0442\u0438 \u043f\u0443\u0441\u0442\u043e\u0435. \u041f\u043e\u0442\u043e\u043c, \u0432 2015-2017, \u043e\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u043c\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438. \u0410 \u0441 2021 \u043f\u043e 2024 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0440\u0430\u0441\u0442\u0438: \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0442\u0430\u0440\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 &#8212; evaluations, AI control, model organisms. (\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432).\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u043e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0441\u0432\u043e\u0434\u0438\u0442 \u0432\u0435\u0441\u044c \u043c\u0430\u0440\u0448\u0440\u0443\u0442 \u0432\u043c\u0435\u0441\u0442\u0435 \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a \u043f\u043e\u0442\u043e\u043a\u0438 \u0438\u0434\u0443\u0442 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e.\u0410\u043b\u043b\u044e\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e(\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432).\u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0435\u0448\u0430\u043d\u0438\u043d\u0430. \u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u0442\u043d\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 &#8212; \u043e\u043a\u043e\u043b\u043e 115, &#8212; \u043b\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f, \u0438 \u043e\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e. \u0414\u0430 \u044d\u0442\u043e\u0433\u043e \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f: \u044d\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0442\u0443\u0442 \u0441\u043a\u043e\u0440\u0435\u0435 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u043c\u0430\u0441\u0448\u0442\u0430\u0431. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0432\u0435\u0440\u043d\u0435\u043c \u0435\u0435 \u0432 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438: \u0442\u0435 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 115 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 &#8212; \u0432 \u0441\u0435\u043c\u044c \u0442\u0438\u043f\u043e\u0432 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 (\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0438\u0446\u044b \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438, \u0444\u043e\u043d\u0434\u044b, policy-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u043b\u0430\u043d\u0442\u043e\u0432, \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f, \u043c\u0435\u0442\u0430-\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e, \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0440\u0433\u0430\u043d\u044b), \u0430 17 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 &#8212; \u0432 \u0447\u0435\u0442\u044b\u0440\u0435 \u0433\u0440\u0443\u043f\u043f\u044b:Foundations \u0438 strategy &#8212; \u044d\u0442\u043e \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, agent foundations, value learning \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety &#8212; \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c, evaluations, AI control, RLHF, scalable oversight, model organisms, robustness \u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435.Governance \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 &#8212; governance, field-building \u0438 \u043d\u043e\u0440\u043c\u044b \u0440\u0430\u0441\u043a\u0440\u044b\u0442\u0438\u044f.Capabilities &#8212; \u0440\u043e\u0441\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u0430\u043c\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.\u0414\u0430\u043b\u044c\u0448\u0435 \u0442\u0430 \u0436\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0432 \u0434\u0432\u0443\u0445 \u0441\u0440\u0435\u0437\u0430\u0445, \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0441\u0432\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043e\u0434\u0438\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u043c\u0430\u0440\u0448\u0440\u0443\u0442 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0435\u0433\u043e \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c.\u041f\u0435\u0440\u0432\u044b\u0439 \u0441\u0440\u0435\u0437 &#8212; \u043e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0430. \u0422\u0440\u0438 \u043e\u0441\u0438 \u0438\u0434\u0443\u0442 \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e: \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 (\u043a\u043e\u0433\u0434\u0430) \u043a \u0442\u0438\u043f\u0443 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 (\u043a\u0442\u043e) \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 (\u043d\u0430\u0434 \u0447\u0435\u043c). \u041f\u043e \u0446\u0432\u0435\u0442\u0443 \u043b\u0435\u043d\u0442\u044b \u0441\u0440\u0430\u0437\u0443 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u043b\u0430 \u0438 \u043a\u0430\u043a \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u0430.\u041e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u0442\u0438\u043f\u0443 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u0438 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439\u0426\u0432\u0435\u0442\u043e\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0430 \u0447\u0438\u0441\u043b\u0430 &#8212; \u044d\u0442\u043e \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f. \u0421\u0440\u0430\u0437\u0443 \u0431\u0440\u043e\u0441\u0430\u0435\u0442\u0441\u044f \u0432 \u0433\u043b\u0430\u0437\u0430 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c: \u0441\u0438\u043d\u0438\u0435 \u043b\u0435\u043d\u0442\u044b foundations \u0438 strategy \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0441\u043b\u0435\u0432\u0430, \u0432 \u0440\u0430\u043d\u043d\u0438\u0445 \u044d\u043f\u043e\u0445\u0430\u0445, \u0430 \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0435\u0441 \u0431\u043b\u0438\u0436\u0435 \u043a \u043f\u0440\u0430\u0432\u043e\u043c\u0443 \u043a\u0440\u0430\u044e. (\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432).\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u0440\u0435\u0437 &#8212; \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c. \u0422\u043e\u0442 \u0436\u0435 \u043f\u043e\u0442\u043e\u043a, \u043d\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043c\u0438\u043d\u0438-\u043f\u0430\u043d\u0435\u043b\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u044d\u043f\u043e\u0445\u0443. \u0426\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043f\u0430\u043d\u0435\u043b\u0438 \u043a \u043f\u0430\u043d\u0435\u043b\u0438, \u0438 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0435\u0440\u0438\u043e\u0434 \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043e\u0434\u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u0430.\u041f\u043e \u044d\u043f\u043e\u0445\u0430\u043c, \u043e\u0442 \u0442\u0438\u043f\u0430 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439\u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u043d\u0435\u043b\u044c &#8212; \u044d\u0442\u043e \u043e\u0434\u043d\u0430 \u044d\u043f\u043e\u0445\u0430, \u043f\u043e\u0442\u043e\u043a \u0438\u0434\u0435\u0442 \u043e\u0442 \u0442\u0438\u043f\u0430 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0430 \u0448\u0438\u0440\u0438\u043d\u0430 \u043b\u0435\u043d\u0442\u044b &#8212; \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u0421 2005 \u043f\u043e 2016 \u0433\u043e\u0434 \u043f\u0440\u0430\u0432\u044f\u0442 \u0441\u0438\u043d\u0438\u0435 foundations \u0438 strategy. \u0410 \u0441 2020-\u0445 \u043d\u0430 \u043f\u0430\u043d\u0435\u043b\u044f\u0445 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u0440\u0435\u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety. (\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432).\u0415\u0441\u0442\u044c \u0438 \u0442\u0440\u0435\u0442\u0438\u0439 \u0441\u0440\u0435\u0437 &#8212; \u0434\u0432\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u0430 \u0440\u044f\u0434\u043e\u043c, \u043e\u043d\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442 \u043a\u043e\u0433\u0434\u0430 \u0438 \u043a\u0442\u043e.\u0414\u0432\u0430 \u0441\u0440\u0435\u0437\u0430: \u044d\u043f\u043e\u0445\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u0438 \u0442\u0438\u043f \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435\u0421\u043b\u0435\u0432\u0430 \u043f\u043e\u0442\u043e\u043a \u0438\u0434\u0435\u0442 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043a \u0433\u0440\u0443\u043f\u043f\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 &#8212; \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u0435\u043d\u044f\u043b\u0441\u044f \u0444\u043e\u043a\u0443\u0441 \u043f\u043e\u043b\u044f. \u0421\u043f\u0440\u0430\u0432\u0430 &#8212; \u043e\u0442 \u0442\u0438\u043f\u0430 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430 \u043a \u0433\u0440\u0443\u043f\u043f\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u0442\u043e \u0447\u0435\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f. \u0428\u0438\u0440\u0438\u043d\u0430 \u043b\u0435\u043d\u0442\u044b \u0441\u043d\u043e\u0432\u0430 \u0440\u0430\u0432\u043d\u0430 \u0447\u0438\u0441\u043b\u0443 \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u0421\u043b\u0435\u0432\u0430 \u043e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f safety \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0435\u0441 \u043a \u043f\u043e\u0437\u0434\u043d\u0438\u043c \u044d\u043f\u043e\u0445\u0430\u043c. \u0421\u043f\u0440\u0430\u0432\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f \u0442\u044f\u043d\u0443\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 safety, \u0430 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0440\u0433\u0430\u043d\u044b \u0438 policy-\u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b &#8212; \u043a governance \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. (\u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432).\u0411\u043b\u043e\u043a\u0438-\u044d\u043f\u043e\u0445\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u043a\u0443\u0434\u0430 \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u043f\u043e\u043b\u044f. \u0427\u0438\u0441\u043b\u043e \u0440\u044f\u0434\u043e\u043c \u0441 \u043a\u0430\u0436\u0434\u043e\u0439 \u044d\u043f\u043e\u0445\u043e\u0439 &#8212; \u044d\u0442\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043d\u0430 \u043d\u0435\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c:\u041f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f, 2005-2012. \u041f\u043e\u043b\u0435 \u043f\u043e\u0447\u0442\u0438 \u043f\u0443\u0441\u0442\u043e\u0435 &#8212; \u0432\u0441\u0435\u0433\u043e \u043f\u044f\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u0439: \u043f\u0435\u0440\u0432\u044b\u0435 \u043c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u044b (FHI \u0432 2005-\u043c, GCRI \u0432 2011-\u043c), \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435 MIRI \u043f\u043e\u0434 agent foundations \u0432 2005-\u043c \u0438 \u0441\u0430\u043c\u044b\u0435 \u0440\u0430\u043d\u043d\u0438\u0435 \u0443\u0437\u043b\u044b \u0438\u0437 capabilities \u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 (DeepMind \u0432 2010-\u043c, CFAR \u0432 2012-\u043c). \u041f\u043e\u043a\u0430 \u044d\u0442\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0431\u0435\u0437 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u0437\u0430 \u0441\u043f\u0438\u043d\u043e\u0439.\u0424\u0430\u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f, 2013-2016. \u041c\u0430\u043a\u0440\u043e\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u0441\u0435 \u0435\u0449\u0435 \u0433\u043b\u0430\u0432\u043d\u0430\u044f &#8212; 10 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u0437 27, &#8212; \u043d\u043e \u0440\u044f\u0434\u043e\u043c \u0443\u0436\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0443\u0437\u043b\u044b \u0437\u0434\u0435\u0441\u044c &#8212; FLI, MIRI \u0438 \u043f\u0435\u0440\u0432\u0430\u044f Open&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-487195","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/487195","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=487195"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/487195\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=487195"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=487195"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=487195"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}