{"id":483470,"date":"2026-06-13T05:01:33","date_gmt":"2026-06-13T05:01:33","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=483470"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=483470","title":{"rendered":"\u041e\u0434\u0438\u043d \u0441\u0443\u0444\u0444\u0438\u043a\u0441, \u0447\u0442\u043e\u0431\u044b \u0432\u0437\u043b\u043e\u043c\u0430\u0442\u044c \u0438\u0445 \u0432\u0441\u0435\u0445"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p><em>\u041e\u0442 GCG \u0434\u043e refusal direction. \u041b\u043e\u043d\u0433\u0440\u0438\u0434 \u043e \u0441\u0435\u0440\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0445 adversarial-\u0430\u0442\u0430\u043a \u043d\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: \u0441 \u0447\u0435\u0433\u043e \u043e\u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c, \u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0435\u0442\u0432\u0438\u043b\u0430\u0441\u044c, \u0447\u0442\u043e \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043d\u044f\u043b\u0438 \u043f\u0440\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0443 \u0432\u0437\u043b\u043e\u043c\u0430 \u0438 \u0433\u0434\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0441\u0435\u0439\u0447\u0430\u0441.<\/em><\/p>\n<h3>\u041e \u0447\u0435\u043c \u044d\u0442\u043e \u0438 \u0437\u0430\u0447\u0435\u043c<\/h3>\n<p>\u0415\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0447\u0435\u043d safety-\u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043d\u0430\u0432\u0435\u0448\u0438\u0432\u0430\u0435\u043c \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438? \u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0432\u0440\u0435\u0434\u043d\u043e\u0435 &#8212; \u0437\u043d\u0430\u0447\u0438\u0442, \u043e\u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u00bb. \u0421\u0435\u0440\u0438\u044f \u0440\u0430\u0431\u043e\u0442, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 <em>\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c<\/em> \u0438 <em>\u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0434 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/em> &#8212; \u043f\u0440\u043e\u043f\u0430\u0441\u0442\u044c.<\/p>\n<p>\u0412\u0441\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u043b\u0435\u0442\u043e\u043c 2023 \u0441 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 GCG. \u0414\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0435\u044f \u0440\u0430\u0437\u0432\u0435\u0442\u0432\u0438\u043b\u0430\u0441\u044c &#8212; \u0435\u0435 \u0434\u0435\u043b\u0430\u043b\u0438 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0439, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0439, \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439-\u043d\u043e-\u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0439, &#8212; \u0430 \u043f\u043e\u0442\u043e\u043c, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u0427\u0435\u0440\u0435\u0437 \u0432\u0435\u0441\u044c \u0442\u0435\u043a\u0441\u0442 \u044f \u0434\u0435\u0440\u0436\u0443 \u043e\u0434\u0438\u043d \u0441\u043a\u0432\u043e\u0437\u043d\u043e\u0439 \u0441\u044e\u0436\u0435\u0442: <strong>\u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0435\u0433\u043e \u043d\u0435 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u0438?<\/strong> \u041e\u0442\u0432\u0435\u0442, \u043a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/650\/e0a\/6bc\/650e0a6bca77112b623bd84fa80ccd5a.png\" alt=\"\u041a\u0430\u0440\u0442\u0430 \u043f\u043e\u0441\u0442\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/650\/e0a\/6bc\/650e0a6bca77112b623bd84fa80ccd5a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/650\/e0a\/6bc\/650e0a6bca77112b623bd84fa80ccd5a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u0440\u0442\u0430 \u043f\u043e\u0441\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u043f\u043e \u043e\u0445\u0432\u0430\u0442\u0443: \u044d\u0442\u043e <strong>white-box \/ optimization-based<\/strong> \u0441\u0435\u0440\u0438\u044f. Black-box prompting (PAIR, TAP \u0438 \u0438\u043c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435) \u044f \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c; \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f.<\/p>\n<hr\/>\n<h3>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/h3>\n<p>\u041a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u0430. \u0411\u0435\u0440\u0435\u043c \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043f\u0440\u0438\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0435\u043c\u0443 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0438\u0437 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432:<\/p>\n<pre><code>[ harmful_request ] [ s_1 s_2 ... s_k ]   &lt;- \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0426\u0435\u043b\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 &#8212; \u043d\u0435 \u00ab\u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435\u00bb, \u0430 \u0442\u043e\u043d\u044c\u0448\u0435: <strong>\u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u043d\u0430\u0447\u043d\u0435\u0442\u0441\u044f \u0441 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f<\/strong> &#8212; \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u00abSure, here is\u2026\u00bb. \u041c\u044b \u043d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0430\u0447\u0430\u0432 \u0441 \u00abSure, here is how to\u2026\u00bb, \u043f\u043e \u0438\u043d\u0435\u0440\u0446\u0438\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u0432 \u0442\u043e\u043c \u0436\u0435 \u0434\u0443\u0445\u0435. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0430\u0442\u0430\u043a\u0443\u0435\u043c \u043d\u0435 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0430 \u043f\u0435\u0440\u0432\u044b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c negative log-likelihood \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 affirmative-\u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 <code>[request + suffix]<\/code>. \u0417\u0430\u0433\u0432\u043e\u0437\u0434\u043a\u0430: \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 <strong>\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/strong>, \u0430 \u043d\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u00ab\u0432 \u043b\u043e\u0431\u00bb \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c. \u0412\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0430\u043d\u043d\u0438\u0445 \u0440\u0430\u0431\u043e\u0442 &#8212; \u043a\u0430\u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, &#8212; \u0440\u043e\u0432\u043d\u043e \u0441 \u044d\u0442\u043e\u0433\u043e \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f GCG.<\/p>\n<hr\/>\n<h3>\u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e (TL;DR)<\/h3>\n<p>\u041f\u044f\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u043e\u0432, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u044d\u0442\u043e\u0442 \u043b\u043e\u043d\u0433\u0440\u0438\u0434:<\/p>\n<ul>\n<li>\n<p><strong>Safety-\u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442 \u043d\u0435 \u0440\u043e\u0431\u0430\u0441\u0442\u0435\u043d \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.<\/strong> \u041d\u0430 open-weight \u043c\u043e\u0434\u0435\u043b\u044f\u0445 white-box \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 &#8212; \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 random search &#8212; \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435, \u0438 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 API, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0442\u0430\u043a\u0430 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0424\u043e\u0440\u043c\u0430 \u0430\u0442\u0430\u043a\u0438 \u043d\u0435 \u0432\u0430\u0436\u043d\u0430.<\/strong> Gibberish-\u0441\u0443\u0444\u0444\u0438\u043a\u0441 GCG, \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 AutoDAN \u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u0431\u0435\u0437 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0434\u0435\u043b\u0430\u044e\u0442 \u043e\u0434\u043d\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435: \u0441\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u044e\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0441 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e refusal direction.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u0437\u0430\u0434\u0430\u0435\u0442 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f, \u0430 \u043d\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430.<\/strong> \u0421\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 suffix push (\u0434\u043e +2.39 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430); \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u043c\u043f\u0442 \u0437\u043d\u0430\u0447\u0438\u0442, \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u0430\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u0449\u0438\u0442\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f.<\/strong> \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 (perplexity-\u0444\u0438\u043b\u044c\u0442\u0440, SmoothLLM) \u043f\u0430\u0434\u0430\u044e\u0442 \u043f\u043e\u0434 adaptive-\u0430\u0442\u0430\u043a\u0438, adversarial training \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0434\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u0438 \u043d\u0435 \u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u0440\u0443\u0433\u0443\u044e, \u0430 \u0437\u0430\u0449\u0438\u0442\u044b \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439 \u0443\u0437\u043a\u0438 \u0438 \u0434\u043e\u0440\u043e\u0433\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0424\u0440\u043e\u043d\u0442\u0438\u0440 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438 chain-of-thought<\/strong> \u043f\u043e \u043c\u0435\u0440\u0435 \u0440\u043e\u0441\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: \u0442\u043e\u043a\u0435\u043d-\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u043b\u0430\u0431\u0435\u0435\u0442 (ASR \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 93 \u0434\u043e 4 \u043f\u0440\u0438 \u0440\u043e\u0441\u0442\u0435 \u0434\u043e 20B), \u0430 \u0430\u0442\u0430\u043a\u0430 \u043f\u0435\u0440\u0435\u0435\u0437\u0436\u0430\u0435\u0442 \u0442\u0443\u0434\u0430, \u043a\u0443\u0434\u0430 perplexity-\u0444\u0438\u043b\u044c\u0442\u0440 \u0443\u0436\u0435 \u043d\u0435 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0441\u044f \u0441\u0435\u0440\u0438\u044f \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 &#8212; \u0430\u0442\u0430\u043a\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0446\u0432\u0435\u0442 = attack success rate:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/00c\/a33\/060\/00ca33060cbfdb794ac5f03f84683b06.png\" alt=\"\u041a\u0430\u0440\u0442\u0430 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0430\u0442\u0430\u043a\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/00c\/a33\/060\/00ca33060cbfdb794ac5f03f84683b06.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/00c\/a33\/060\/00ca33060cbfdb794ac5f03f84683b06.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u0440\u0442\u0430 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0430\u0442\u0430\u043a<\/figcaption><\/div>\n<\/figure>\n<p>\u0410 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f \u043e\u0431\u043e\u0440\u043e\u043d\u044b &#8212; \u0437\u0430\u0449\u0438\u0442\u044b \u0441\u0438\u043b\u044c\u043d\u044b \u0442\u0430\u043c, \u0433\u0434\u0435 \u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438, \u0438 \u0440\u0443\u0448\u0430\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u0435 \u0430\u0442\u0430\u043a\u0438:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d2\/044\/024\/9d204402403735a944029b31efe825df.png\" alt=\"\u0417\u0430\u0449\u0438\u0442\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9d2\/044\/024\/9d204402403735a944029b31efe825df.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d2\/044\/024\/9d204402403735a944029b31efe825df.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0417\u0430\u0449\u0438\u0442\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 &#8212; \u0432\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443: \u0441 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c, \u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0435\u0442\u0432\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043d\u044f\u043b\u0438 \u043f\u0440\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0443 \u0432\u0437\u043b\u043e\u043c\u0430 \u0438 \u0433\u0434\u0435 \u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441.<\/p>\n<hr\/>\n<h3>GCG: \u0441 \u0447\u0435\u0433\u043e \u0432\u0441\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c<\/h3>\n<blockquote>\n<p><strong>Universal and Transferable Adversarial Attacks on Aligned Language Models.<\/strong> Zou, Wang, Carlini, Nasr, Kolter, Fredrikson, 2023 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2307.15043\" rel=\"noopener noreferrer nofollow\">arXiv:2307.15043<\/a><\/p>\n<\/blockquote>\n<p>\u0412\u0441\u0435, \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0434\u0430\u043b\u044c\u0448\u0435, &#8212; \u044d\u0442\u043e \u0442\u0430\u043a \u0438\u043b\u0438 \u0438\u043d\u0430\u0447\u0435 \u0440\u0435\u0430\u043a\u0446\u0438\u044f \u043d\u0430 \u044d\u0442\u0443 \u0440\u0430\u0431\u043e\u0442\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u0438\u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c \u0438 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0435\u0435 \u043f\u043e \u043a\u043e\u0441\u0442\u043e\u0447\u043a\u0430\u043c.<\/p>\n<h4>Objective: \u0430\u0442\u0430\u043a\u0443\u0435\u043c \u043d\u0435 \u043e\u0442\u0432\u0435\u0442, \u0430 \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b<\/h4>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0437\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043d\u0430\u0434\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c, <em>\u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e<\/em> \u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c. \u041d\u0430\u0438\u0432\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 &#8212; \u043d\u0435 \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0434\u0432\u0443\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044e\u0442 \u044f\u0432\u043d\u043e: \u043e\u043d \u043d\u0430\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u00ab\u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439\u00bb \u043e\u0442\u0432\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441\u0443, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0438 \u043e\u043d \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0441\u0443\u0444\u0444\u0438\u043a\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u041f\u0440\u0438\u0435\u043c, \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u0440\u0443\u0447\u043d\u044b\u0445 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u043e\u0432: \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0432\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c <em>\u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0441\u044f<\/em> \u0441 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f, \u0443\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0435\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d60\/615\/545\/d6061554528db3b99ec1f4dbda8901d4.png\" alt=\"Affirmative objective\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d60\/615\/545\/d6061554528db3b99ec1f4dbda8901d4.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d60\/615\/545\/d6061554528db3b99ec1f4dbda8901d4.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Affirmative objective<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0434\u0435\u044e \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438: \u043e\u0434\u0438\u043d adversarial-\u0441\u0443\u0444\u0444\u0438\u043a\u0441 &#8212; <strong>ADV PROMPT<\/strong> &#8212; \u043f\u0440\u0438\u043a\u043b\u0435\u0435\u043d\u043d\u044b\u0439 \u043a \u043d\u0430\u0431\u043e\u0440\u0443 \u0432\u0440\u0435\u0434\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0441 \u0442\u043e\u0433\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u044b \u0434\u043e\u0431\u0438\u0432\u0430\u043b\u0438\u0441\u044c, \u00ab<em>Sure, here\u2019s\u2026<\/em>\u00bb, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0443\u0439\u0442\u0438 \u043f\u0440\u044f\u043c\u043e \u0432\u043e \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442. \u041d\u0438\u0436\u043d\u044f\u044f \u043f\u0430\u043d\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a \u0442\u043e\u0442 \u0436\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 &#8212; ChatGPT, Claude, Bard \u0438 Llama-2. \u041c\u0435\u0445\u0430\u043d\u0438\u0447\u0435\u0441\u043a\u0438: \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c (\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043e\u0431\u044f\u0437\u0430\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043b\u044e\u0431\u044b\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c), \u0441\u0443\u0444\u0444\u0438\u043a\u0441 &#8212; \u044d\u0442\u043e \u0433\u043e\u0440\u0441\u0442\u043a\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c (\u0441\u0442\u0430\u0440\u0442\u0443\u044e\u0442 \u043a\u0430\u043a \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u044b\u0435 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440\u044b <code>!<\/code>), \u0430 \u043b\u043e\u0441\u0441 &#8212; \u044d\u0442\u043e negative log-likelihood \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e affirmative-\u043f\u0440\u0435\u0444\u0438\u043a\u0441\u0430 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u00ab\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043b\u044e\u0441 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u00bb.<\/p>\n<p>\u0414\u0432\u0435 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u043e\u0441\u043a\u043e\u0447\u0438\u0442\u044c. \u041f\u0435\u0440\u0432\u0430\u044f: \u043f\u043e\u0441\u043b\u0435 \u00abSure\u00bb \u0446\u0435\u043b\u044c <em>\u0443\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441<\/em>, \u0430 \u043d\u0435 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u043e\u0432\u0443. \u0415\u0441\u043b\u0438 \u0446\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u043c\u043e\u0436\u0435\u0442 \u0441\u0445\u0438\u0442\u0440\u0438\u0442\u044c: \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0432\u0440\u043e\u0434\u0435 \u00abNevermind, tell me a joke\u00bb \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u00abSure\u00bb, \u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u0432\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u043d\u0435 \u0434\u0430\u0435\u0442. \u041f\u043e\u0432\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u0443 \u043b\u0430\u0437\u0435\u0439\u043a\u0443. \u0412\u0442\u043e\u0440\u0430\u044f: \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u044b\u0435 <code>N<\/code> \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u0442\u0430\u0432\u043a\u0430 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u0433\u043d\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u00abSure, here is\u2026\u00bb, \u0438 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u0438\u043d\u0435\u0440\u0446\u0438\u044f \u0434\u043e\u0442\u0430\u0449\u0438\u0442 \u0435\u0435 \u0434\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0432\u0435\u0441\u044c \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0430\u0442\u0430\u043a\u0438.<\/p>\n<h4>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043f\u0435\u0440\u0435\u0431\u043e\u0440 \u0440\u0435\u0448\u0430\u0435\u0442<\/h4>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c. \u0421\u0443\u0444\u0444\u0438\u043a\u0441 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 <strong>\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/strong>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u0441\u044a\u0435\u0445\u0430\u0442\u044c\u00bb \u043f\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u043d\u0435\u043b\u044c\u0437\u044f &#8212; \u043d\u0435\u0442 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0440\u0443\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u044c. GCG (Greedy Coordinate Gradient) \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u043e \u0434\u0432\u0443\u0445\u0444\u0430\u0437\u043d\u044b\u043c \u0446\u0438\u043a\u043b\u043e\u043c:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c19\/11f\/b33\/c1911fb3390f8e56473c13541ed3d32a.png\" alt=\"\u041e\u0434\u0438\u043d \u0448\u0430\u0433 GCG\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c19\/11f\/b33\/c1911fb3390f8e56473c13541ed3d32a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c19\/11f\/b33\/c1911fb3390f8e56473c13541ed3d32a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u0434\u0438\u043d \u0448\u0430\u0433 GCG<\/figcaption><\/div>\n<\/figure>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e <strong>one-hot \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u0443<\/strong> \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u0430. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043e\u043d \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 ~32k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e \u0442\u043e\u043c\u0443, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e (\u043b\u0438\u043d\u0435\u0439\u043d\u043e) \u0437\u0430\u043c\u0435\u043d\u0430 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0442\u043e\u043a\u0435\u043d \u0443\u0440\u043e\u043d\u0438\u0442 \u043b\u043e\u0441\u0441, \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 <strong>top-k<\/strong>. \u041f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <em>\u0442\u043e\u043b\u044c\u043a\u043e<\/em> \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0435\u043c\u0443 \u043d\u0435 \u0434\u043e\u0432\u0435\u0440\u044f\u044e\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e &#8212; \u0438 \u044d\u0442\u043e \u043d\u0435\u0441\u0443\u0449\u0430\u044f \u043c\u044b\u0441\u043b\u044c &#8212; <strong>\u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0432\u0440\u0435\u0442<\/strong>: \u044d\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435, \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0435 \u0434\u043b\u044f \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u0430\u043b\u043e\u0433\u043e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0441\u0434\u0432\u0438\u0433\u0430, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u0430 &#8212; \u044d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u043a\u0430\u0447\u043e\u043a. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 GCG \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442 \u0431\u0430\u0442\u0447 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u0434\u043d\u043e-\u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043c\u0435\u043d \u0438\u0437 \u043f\u0443\u043b\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0434\u043d\u0443, \u0434\u0430\u0432\u0448\u0443\u044e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u043b\u043e\u0441\u0441. \u041f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c ~500 \u0440\u0430\u0437.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0441\u0442\u0430\u043b <strong>\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c<\/strong> (\u043e\u0434\u0438\u043d \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432) \u0438 <strong>\u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u044b\u043c<\/strong> (\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043d\u0435 \u0432\u0438\u0434\u0435\u043b), \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u043e\u0441\u0441 \u043f\u043e \u043c\u043d\u043e\u0433\u0438\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u043c \u0438 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0441\u0440\u0430\u0437\u0443 &#8212; \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u044d\u0442\u043e Vicuna-7B + 13B, \u043f\u043e\u0437\u0436\u0435 \u043a \u043d\u0438\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 Guanaco. \u0421\u0443\u0444\u0444\u0438\u043a\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0446\u0435\u043b\u044b\u0439 \u043a\u043e\u043c\u0438\u0442\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043c\u0435\u043d\u0435\u0435 \u0441\u043a\u043b\u043e\u043d\u0435\u043d \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043e\u0434\u043d\u0443.<\/p>\n<h4>White-box \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b: \u043a\u043b\u044e\u0447 &#8212; \u043f\u0440\u043e\u0432\u0430\u043b \u043d\u0430 Llama-2<\/h4>\n<p>\u0412 \u0441\u0430\u043c\u043e\u043c \u0442\u044f\u0436\u0435\u043b\u043e\u043c \u0441\u0435\u0442\u0442\u0438\u043d\u0433\u0435 &#8212; \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0442\u044c \u043e\u0434\u043d\u0443 <em>\u0442\u043e\u0447\u043d\u0443\u044e<\/em> \u0432\u0440\u0435\u0434\u043d\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 &#8212; GCG \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442, \u043e\u043d \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e97\/3ab\/063\/e973ab063df603f914ee428c731dc55f.png\" alt=\"White-box ASR\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e97\/3ab\/063\/e973ab063df603f914ee428c731dc55f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e97\/3ab\/063\/e973ab063df603f914ee428c731dc55f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>White-box ASR<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 Vicuna GCG \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0443\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c (88% \u043f\u0440\u043e\u0442\u0438\u0432 25% \u0443 AutoPrompt). \u041d\u043e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 &#8212; \u044d\u0442\u043e <strong>Llama-2<\/strong>: \u043c\u043e\u0434\u0435\u043b\u044c 7B-chat \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u0441 \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u043c safety-\u0442\u044e\u043d\u0438\u043d\u0433\u043e\u043c, \u0438 \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e &#8212; AutoPrompt \u043e\u0431\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e 3%, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a GCG \u0432\u0441\u0435 \u0435\u0449\u0435 \u0431\u0435\u0440\u0435\u0442 57%. \u0411\u043e\u043b\u0435\u0435 \u0436\u0435\u0441\u0442\u043a\u0438\u0439 \u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0446\u0435\u043d\u0443 \u0430\u0442\u0430\u043a\u0438, \u043d\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0435\u0435. (\u041d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043b\u0435\u0433\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u00abharmful behaviors\u00bb GCG \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u0442 ~99% \u043d\u0430 Vicuna \u0438 ~88% \u043d\u0430 Llama-2.) \u0412\u044b\u0432\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u0435 \u043d\u0430\u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u044d\u0442\u043e\u0439 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0438: <strong>RLHF-\u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442 \u043d\u0435 \u0440\u043e\u0431\u0430\u0441\u0442\u0435\u043d \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.<\/strong><\/p>\n<h4>\u0411\u043e\u043c\u0431\u0430 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u0438<\/h4>\n<p>\u0418 \u0442\u0443\u0442 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0432\u0448\u0438\u0439 \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0432 \u0432\u0435\u0445\u0443. \u0411\u0435\u0440\u0435\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 <em>\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445<\/em> (Vicuna + Guanaco), \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0435\u0433\u043e \u043d\u0430 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u0435 API, \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d48\/4fd\/644\/d484fd644cd0709bf37779c4cc87ec46.png\" alt=\"\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d48\/4fd\/644\/d484fd644cd0709bf37779c4cc87ec46.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d48\/4fd\/644\/d484fd644cd0709bf37779c4cc87ec46.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0411\u0435\u0437 \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e white-box \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0431\u0435\u0440\u0435\u0442 <strong>86.6% \u043d\u0430 GPT-3.5 \u0438 66.0% \u043d\u0430 PaLM-2<\/strong>, \u0438 \u043e\u043a\u043e\u043b\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u043d\u0430 GPT-4 \u0438 Claude-1. \u042d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u0432\u0435\u0441\u043e\u043c\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b: \u0435\u0441\u043b\u0438 \u0430\u0442\u0430\u043a\u0430, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0432\u0435\u0441\u0430\u0445, \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 API, \u0437\u043d\u0430\u0447\u0438\u0442, \u0443 \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c <strong>\u043e\u0431\u0449\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430<\/strong>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u0443\u0444\u0444\u0438\u043a\u0441, &#8212; \u0447\u0442\u043e-\u0442\u043e \u0433\u043b\u0443\u0431\u0436\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u0422\u043e\u0433\u0434\u0430 <em>\u0447\u0442\u043e<\/em> \u044d\u0442\u043e \u0437\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 &#8212; \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u0437\u0430\u0433\u0430\u0434\u043a\u043e\u0439; \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0435\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u0443\u0441\u0442\u044f \u0434\u0432\u0430 \u0433\u043e\u0434\u0430, \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u043f\u0440\u043e refusal direction.<\/p>\n<p>\u041e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430 \u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u043d\u0435\u0435 \u0437\u0430\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u0441\u044f: Claude-2 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043d\u0430 <strong>2.1%<\/strong>. \u042d\u0442\u043e \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435, \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e, &#8212; \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0449\u0438\u0442\u044b (\u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u0430, \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0440\u043e\u0433\u0438\u0439 refusal-\u0442\u044e\u043d\u0438\u043d\u0433) \u044f\u0432\u043d\u043e \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u044e\u0442 \u043f\u043b\u0430\u043d\u043a\u0443 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430, \u043f\u0443\u0441\u0442\u044c, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u0412\u0435\u0442\u0432\u044c 4, \u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u0435\u0435 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>GCG \u0441\u0442\u0430\u043b \u043f\u0435\u0440\u0432\u044b\u043c \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b <strong>\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c, \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u044b\u043c<\/strong> \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e &#8212; \u0431\u0435\u0437 \u0440\u0443\u0447\u043d\u043e\u0439 \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442, \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0438 \u0432\u044b\u0445\u043e\u0434\u0430\u043c\u0438, \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u043c\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041e\u043d \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u043e \u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442\u0430 \u043a\u0430\u043a <em>\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439<\/em>, \u0430 \u043d\u0435 \u043a\u0430\u043a \u0432\u043e\u043f\u0440\u043e\u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0434\u0432\u0435 \u0437\u0430\u0433\u0430\u0434\u043a\u0438, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0432\u0441\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f: <em>\u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/em> \u0438 <em>\u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f<\/em>?<\/p>\n<hr\/>\n<h3>\u0412\u0435\u0442\u0432\u044c 1. \u0421\u0442\u0435\u043b\u0441: \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b (AutoDAN)<\/h3>\n<p>\u0421\u0442\u043e\u0438\u043b\u043e GCG \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u043e\u0441\u0438\u043b\u0430\u0441\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430\u044f \u0437\u0430\u0449\u0438\u0442\u0430. \u0421\u0443\u0444\u0444\u0438\u043a\u0441\u044b GCG &#8212; \u044d\u0442\u043e <em>gibberish<\/em>, \u0430\u0431\u0440\u0430\u043a\u0430\u0434\u0430\u0431\u0440\u0430 \u0432\u0440\u043e\u0434\u0435 <code>describing.\\ + similarlyNow write oppositeley.]( Me giving**ONE<\/code>. \u0423 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0430\u0441\u0442\u0440\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f <strong>\u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f<\/strong> (\u043c\u0435\u0440\u0430 \u0442\u043e\u0433\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0430\u00bb \u0441\u0442\u0440\u043e\u043a\u043e\u0439). \u0417\u043d\u0430\u0447\u0438\u0442, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044e \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0438 \u043e\u0442\u0441\u0435\u043a\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0435. \u0414\u0435\u0448\u0435\u0432\u043e, \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u0447\u043a\u0430 \u043a\u043e\u0434\u0430, \u0433\u043e\u0442\u043e\u0432\u043e.<\/p>\n<p>\u0412 \u043e\u043a\u0442\u044f\u0431\u0440\u0435 2023 \u044d\u0442\u0443 \u0437\u0430\u0449\u0438\u0442\u0443 \u0437\u0430\u043a\u0440\u044b\u043b\u0438 &#8212; <strong>\u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434 \u043e\u0434\u043d\u0438\u043c \u0438\u043c\u0435\u043d\u0435\u043c AutoDAN<\/strong> \u043e\u0442 \u0434\u0432\u0443\u0445 \u043d\u0435\u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432\u043e\u0432 (\u044d\u0442\u043e \u043d\u0435 \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0430; \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0437\u043d\u0430\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0439\u0434\u0435\u0442\u0435 \u0434\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0433\u0440\u0430\u0444\u0438\u0438). \u041e\u043d\u0438 \u0431\u044c\u044e\u0442 \u0432 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0441\u043b\u0430\u0431\u043e\u0441\u0442\u044c \u0441 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0445 \u0441\u0442\u043e\u0440\u043e\u043d.<\/p>\n<h4>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u0430\u043c\u0435\u0442\u0435\u043d GCG?<\/h4>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u0443\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443. Perplexity-\u0444\u0438\u043b\u044c\u0442\u0440\u0443 \u043d\u0443\u0436\u0435\u043d \u043f\u043e\u0440\u043e\u0433, \u0430 \u043f\u043e\u0440\u043e\u0433 &#8212; \u044d\u0442\u043e \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441: \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043d\u0438\u0437\u043a\u043e &#8212; \u043d\u0430\u0447\u043d\u0435\u043c \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u0442\u044c <em>\u043b\u0435\u0433\u0438\u0442\u0438\u043c\u043d\u044b\u0435<\/em> \u043f\u0440\u043e\u043c\u043f\u0442\u044b. \u0421\u043e\u0431\u0440\u0430\u0432 ~20k \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0438\u0437 ShareGPT, \u0430\u0432\u0442\u043e\u0440\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e AutoDAN \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u043f\u043e\u0440\u043e\u0433, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e \u0444\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f 10% \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432: <strong>PPL \u2248 884<\/strong>. \u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0433\u0434\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0436\u0438\u0432\u0443\u0442 \u0434\u0432\u0430 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u0430\u0442\u0430\u043a:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5a2\/f4c\/b32\/5a2f4cb32dc98ee0c33f081cf9fda224.png\" alt=\"\u0421\u0442\u0435\u043d\u0430 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5a2\/f4c\/b32\/5a2f4cb32dc98ee0c33f081cf9fda224.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5a2\/f4c\/b32\/5a2f4cb32dc98ee0c33f081cf9fda224.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0442\u0435\u043d\u0430 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0427\u0438\u0441\u043b\u0430 \u0434\u0430\u0436\u0435 \u0431\u043b\u0438\u0437\u043a\u043e \u043d\u0435 \u0440\u044f\u0434\u043e\u043c. \u0421\u0443\u0444\u0444\u0438\u043a\u0441 GCG \u043d\u0430 Vicuna \u0432\u044b\u0434\u0430\u0435\u0442 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044e <strong>287 884<\/strong>, \u0430 \u043d\u0430 Guanaco &#8212; <strong>615 979<\/strong>. \u042d\u0442\u043e \u043d\u0430 <em>\u0434\u0432\u0430-\u0442\u0440\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0430<\/em> \u0432\u044b\u0448\u0435 \u043b\u0438\u043d\u0438\u0438 \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438. \u0424\u0438\u043b\u044c\u0442\u0440\u0443 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0443\u043c\u043d\u044b\u043c; \u043e\u0434\u043d\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e \u043f\u043e\u0440\u043e\u0433\u0443 \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442 GCG \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437. \u0427\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 AutoDAN, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0441\u0438\u0434\u0438\u0442 \u043d\u0430 <strong>12-63<\/strong> &#8212; \u0437\u0430\u043c\u0435\u0442\u043d\u043e <strong>\u043d\u0438\u0436\u0435<\/strong> \u043f\u043e\u0440\u043e\u0433\u0430 \u0434\u043b\u044f \u0434\u043e\u0431\u0440\u043e\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430. \u041f\u043e \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043e\u043d \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0435\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0430.<\/p>\n<h4>\u0414\u0432\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u0434\u0432\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430<\/h4>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 &#8212; <em>\u043a\u0430\u043a<\/em> \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u0435\u0433\u043b\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0441\u0435 \u0435\u0449\u0435 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u0430\u0435\u0442. \u0414\u0432\u0435 AutoDAN \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u044d\u0442\u043e \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443.<\/p>\n<p><strong>AutoDAN-genetic<\/strong> (Liu, Xu, Chen, Xiao &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2310.04451\" rel=\"noopener noreferrer nofollow\">arXiv:2310.04451<\/a>, ICLR 2024) \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a \u043a\u0430\u043a <strong>\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044e \u043d\u0430\u0434 \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c<\/strong>. \u041f\u043e\u043f\u0443\u043b\u044f\u0446\u0438\u044f \u0437\u0430\u0441\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043b\u044e\u0434\u044c\u043c\u0438 DAN-\u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 (\u00abDo Anything Now\u00bb), \u0434\u0438\u0432\u0435\u0440\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 LLM, \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u0441\u043e\u0431\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u0440\u0438\u0441\u043f\u043e\u0441\u043e\u0431\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/strong> &#8212; \u0442\u043e\u0439 \u0436\u0435 affirmative-\u043b\u043e\u0441\u0441, \u0447\u0442\u043e \u0443 GCG, \u0433\u0434\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u043b\u043e\u0441\u0441 = \u0432\u044b\u0448\u0435 \u043f\u0440\u0438\u0441\u043f\u043e\u0441\u043e\u0431\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c. \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u0435 <em>\u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u043c<\/em> \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c: <strong>\u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0430\u0431\u0437\u0430\u0446\u0430<\/strong> \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u0435\u043b\u0435\u043a\u0446\u0438\u044e, \u043a\u0440\u043e\u0441\u0441\u043e\u0432\u0435\u0440 \u0438 \u043c\u0443\u0442\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0446\u0435\u043b\u044b\u043c\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u043c\u0438, \u0430 <strong>\u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f<\/strong> \u0447\u0435\u0440\u0435\u0437 \u00abmomentum word scoring\u00bb \u043f\u043e\u0434\u043c\u0435\u043d\u044f\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0435. \u0418\u0435\u0440\u0430\u0440\u0445\u0438\u044f \u0432\u0430\u0436\u043d\u0430: \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043f\u043b\u043e\u0441\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f GA \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0435\u0442 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435 \u043d\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u043c \u043b\u043e\u0441\u0441\u0435, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0441\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u0441\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430\u0434 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c, \u0430 \u043c\u0443\u0442\u0430\u0446\u0438\u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f LLM, \u0432\u044b\u0445\u043e\u0434 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u043d\u044b\u043c \u043d\u0430 \u0432\u0441\u0435\u043c \u043f\u0443\u0442\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/00e\/3b1\/0a9\/00e3b10a9f881edbf4900a452d61855b.png\" alt=\"\u0421\u0445\u0435\u043c\u0430 AutoDAN-genetic\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/00e\/3b1\/0a9\/00e3b10a9f881edbf4900a452d61855b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/00e\/3b1\/0a9\/00e3b10a9f881edbf4900a452d61855b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430 AutoDAN-genetic<\/figcaption><\/div>\n<\/figure>\n<p><strong>AutoDAN-gradient<\/strong> (Zhu, Zhang, An, Wu, Barrow, Wang, Huang, Nenkova, Sun &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2310.15140\" rel=\"noopener noreferrer nofollow\">arXiv:2310.15140<\/a>) \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0442\u043e\u0440\u0443\u044e \u0446\u0435\u043b\u044c. \u0422\u0430\u043c, \u0433\u0434\u0435 GCG \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e jailbreak-\u043b\u043e\u0441\u0441, \u044d\u0442\u043e\u0442 AutoDAN \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 <strong>jailbreak-\u043b\u043e\u0441\u0441 + w\u2082\u00b7readability-\u043b\u043e\u0441\u0441<\/strong>, \u0433\u0434\u0435 readability &#8212; \u044d\u0442\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f next-token likelihood \u043c\u043e\u0434\u0435\u043b\u0438: \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043f\u043e\u043e\u0449\u0440\u044f\u0435\u0442\u0441\u044f \u0437\u0430 \u0442\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0441\u0430\u043c\u0430 \u043c\u043e\u0433\u043b\u0430 \u0431\u044b \u0442\u0430\u043a\u043e\u0435 <em>\u0441\u043a\u0430\u0437\u0430\u0442\u044c<\/em>. \u0421\u0443\u0444\u0444\u0438\u043a\u0441 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0434\u0432\u0443\u043c\u044f \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u0446\u0438\u043a\u043b\u0430\u043c\u0438: <strong>\u0432\u043d\u0435\u0448\u043d\u0438\u0439<\/strong> \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443, \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e (\u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435), \u0430 <strong>\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u043e\u0434\u043d\u043e-\u0442\u043e\u043a\u0435\u043d\u043d\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f<\/strong> \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0441\u043a\u043e\u0440\u0443 \u0438 \u0437\u0430\u0442\u0435\u043c \u043c\u0443\u043b\u044c\u0442\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d. \u041f\u043e\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u0435\u043d <em>\u044d\u043c\u0435\u0440\u0434\u0436\u0435\u043d\u0442\u043d\u044b\u0439<\/em> \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: \u0431\u0435\u0437 \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u043d\u0438\u044f \u043e \u0440\u0443\u0447\u043d\u044b\u0445 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a-\u043f\u0440\u0438\u0435\u043c\u0430\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u043f\u0435\u0440\u0435\u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0438\u0445 \u0441\u0430\u043c &#8212; \u0440\u043e\u043b\u0435\u0432\u044b\u0435 \u0440\u0430\u043c\u043a\u0438, \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438, \u043f\u0435\u0440\u0435\u0431\u0438\u0432\u0430\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439. \u0410 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 objective \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u044b\u0439, \u043f\u043e\u0434\u043c\u0435\u043d\u0430 \u0446\u0435\u043b\u0438 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u0443 \u0436\u0435 \u043c\u0430\u0448\u0438\u043d\u0443 <strong>\u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0442\u044c system prompt<\/strong> &#8212; \u0447\u0435\u0433\u043e \u0443 GCG \u043d\u0435 \u0431\u044b\u043b\u043e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dda\/64c\/04c\/dda64c04c3af2f02d2665cfa056ed462.png\" alt=\"\u0421\u0445\u0435\u043c\u0430 AutoDAN-gradient\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/dda\/64c\/04c\/dda64c04c3af2f02d2665cfa056ed462.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dda\/64c\/04c\/dda64c04c3af2f02d2665cfa056ed462.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430 AutoDAN-gradient<\/figcaption><\/div>\n<\/figure>\n<h4>\u0427\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435: \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0444\u0438\u043b\u044c\u0442\u0440<\/h4>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u0437\u0430\u0449\u0438\u0442\u0443. \u0411\u0435\u0440\u0435\u043c \u043a\u0430\u0436\u0434\u0443\u044e \u0430\u0442\u0430\u043a\u0443, \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c perplexity-\u0444\u0438\u043b\u044c\u0442\u0440 \u0438 \u0437\u0430\u043d\u043e\u0432\u043e \u043c\u0435\u0440\u0438\u043c \u0443\u0441\u043f\u0435\u0445:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bf3\/756\/303\/bf37563038db245e321fcf09c4726ea8.png\" alt=\"ASR \u043f\u043e\u0434 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/bf3\/756\/303\/bf37563038db245e321fcf09c4726ea8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bf3\/756\/303\/bf37563038db245e321fcf09c4726ea8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>ASR \u043f\u043e\u0434 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c<\/figcaption><\/div>\n<\/figure>\n<p>GCG \u043d\u0435 \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442 &#8212; \u043e\u043d <strong>\u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442<\/strong>, \u043f\u0430\u0434\u0430\u044f \u0440\u043e\u0432\u043d\u043e \u0432 <strong>0.0%<\/strong> \u043d\u0430 Vicuna, Guanaco \u0438 Pythia \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e. \u0424\u0438\u043b\u044c\u0442\u0440 &#8212; \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043f\u0440\u0438\u0435\u043c \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0435\u0433\u043e. \u0427\u0438\u0441\u043b\u0430 AutoDAN <em>\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b<\/em> \u0441 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c \u0438 \u0431\u0435\u0437 &#8212; 88.0%, 89.3%, 95.5% \u0447\u0442\u043e \u0442\u0430\u043a, \u0447\u0442\u043e \u044d\u0434\u0430\u043a. \u041d\u0430 \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u0442\u0430 \u0436\u0435: \u043f\u043e\u0434 perplexity-\u0437\u0430\u0449\u0438\u0442\u043e\u0439 GCG \u043d\u0430 Llama-2 \u043e\u0431\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 45% \u0434\u043e <strong>0%<\/strong>, \u0430 AutoDAN \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 61%. \u0417\u0430\u0449\u0438\u0442\u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043b\u0430\u0431\u0435\u0435\u0442 &#8212; \u043f\u0440\u043e\u0442\u0438\u0432 \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0445 \u0430\u0442\u0430\u043a \u043e\u043d\u0430 \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u044b\u043c \u0441\u0447\u0435\u0442\u043e\u043c \u043d\u0438\u0447\u0435\u0433\u043e.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>\u0414\u0432\u0430 \u0443\u0440\u043e\u043a\u0430 \u0438 \u043e\u0434\u0438\u043d \u0437\u0430\u0434\u0435\u043b \u043d\u0430 \u0431\u0443\u0434\u0443\u0449\u0435\u0435. \u041f\u0435\u0440\u0432\u044b\u0439: <strong>\u0441\u0442\u0435\u043b\u0441 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f<\/strong> &#8212; \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0441\u0438\u043b\u0443 \u0430\u0442\u0430\u043a\u0438 \u043d\u0430 \u043d\u0438\u0437\u043a\u0443\u044e \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044e; \u043e\u0431\u0435 AutoDAN \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442 \u043f\u043e\u0447\u0442\u0438-GCG \u0443\u0441\u043f\u0435\u0445, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0447\u0438\u0442\u0430\u044f\u0441\u044c \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439. \u041a\u0430\u043a \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0449\u0438\u0442\u0430 perplexity-\u0444\u0438\u043b\u044c\u0442\u0440 \u0437\u0430\u043a\u0440\u044b\u0442.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 &#8212; \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0441\u0442\u0440\u0435\u043b\u0438\u0442 \u043f\u043e\u0437\u0436\u0435 &#8212; \u043e\u0431\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u0438\u043c\u043e\u0445\u043e\u0434\u043e\u043c \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0438\u0445 <strong>\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043d\u0430 black-box \u043c\u043e\u0434\u0435\u043b\u0438 <em>\u043b\u0443\u0447\u0448\u0435<\/em>, \u0447\u0435\u043c gibberish.<\/strong> \u0413\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u044f\u043c\u043e \u0432\u044b\u0434\u0432\u0438\u0433\u0430\u044e\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043f\u043e\u0447\u0435\u043c\u0443: \u0442\u043e\u043a\u0435\u043d-\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 &#8212; \u043d\u0435\u0442. \u042d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043d\u0430\u043c\u0435\u043a, \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0430\u0442\u0430\u043a\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f <em>\u043d\u0435<\/em> \u0435\u0435 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u043e\u0439. \u0417\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u0435 \u044d\u0442\u0443 \u043c\u044b\u0441\u043b\u044c; \u0440\u0430\u0431\u043e\u0442\u0430 \u043f\u0440\u043e refusal direction \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442 \u0434\u043e\u0433\u0430\u0434\u043a\u0443 \u0432 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e.<\/p>\n<p>\u0418 \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u043f\u0440\u044f\u043c\u043e \u0432 \u0447\u0438\u0441\u043b\u0430\u0445. \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0430\u0442\u0430\u043a\u0443 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043a \u0434\u0440\u0443\u0433\u043e\u0439:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d61\/387\/e62\/d61387e622fdad269fcc5052d4446d8a.png\" alt=\"\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d61\/387\/e62\/d61387e622fdad269fcc5052d4446d8a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d61\/387\/e62\/d61387e622fdad269fcc5052d4446d8a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u0438 (white-box) \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043e\u0431\u0435 \u0430\u0442\u0430\u043a\u0438. \u041d\u043e \u0432\u043d\u0435 \u0435\u0435 \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b AutoDAN \u0434\u0435\u0440\u0436\u0430\u0442 70-74% \u043d\u0430 \u0447\u0443\u0436\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 gibberish GCG \u043e\u0431\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e 2-14%. \u0421\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u043d\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u0442\u043e\u0447\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 &#8212; \u0432 \u044d\u0442\u043e\u043c \u0432\u0441\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430. (\u0417\u0430\u043a\u0430\u043b\u0435\u043d\u043d\u0430\u044f Llama-2 \u0441\u043e\u043f\u0440\u043e\u0442\u0438\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0435\u0438\u043c.)<\/p>\n<hr\/>\n<h3>\u0412\u0435\u0442\u0432\u044c 2. \u041c\u0430\u0441\u0448\u0442\u0430\u0431: \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432 (AmpleGCG)<\/h3>\n<blockquote>\n<p><strong>AmpleGCG: Learning a Universal and Transferable Generative Model of Adversarial Suffixes for Jailbreaking Both Open and Closed LLMs.<\/strong> Liao &amp; Sun, 2024 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2404.07921\" rel=\"noopener noreferrer nofollow\">arXiv:2404.07921<\/a>, COLM 2024<\/p>\n<\/blockquote>\n<p>\u041f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0433\u043d\u0430\u043b\u0438\u0441\u044c \u0437\u0430 <em>\u043b\u0443\u0447\u0448\u0438\u043c \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u043c<\/em>. AmpleGCG \u0437\u0430\u0434\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u0430 \u0437\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0434\u0438\u043d? &#8212; \u0438 \u043e\u0442\u0432\u0435\u0442 \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u044e \u0443\u0433\u0440\u043e\u0437\u0443.<\/p>\n<h4>\u0422\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u0433\u043b\u044f\u0434\u0435\u043b\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e: \u043b\u043e\u0441\u0441 \u2260 \u0443\u0441\u043f\u0435\u0445<\/h4>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u0442 \u0441 \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e \u0441\u0430\u043c GCG. GCG \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u043e \u043b\u043e\u0441\u0441\u0443 \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043e\u0434\u0438\u043d, \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043b\u043e\u0441\u0441\u043e\u043c (\u00ab\u044f\u043a\u043e\u0440\u044c\u00bb). \u041d\u043e \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043b\u043e\u0441\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u043d\u0435\u0442 \u043b\u0438 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043c\u043e\u0434\u0435\u043b\u044c?<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/962\/dbe\/4a7\/962dbe4a7aa7d99390c38958f5d1ba3b.png\" alt=\"\u041b\u043e\u0441\u0441 \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044f\u0435\u0442 \u0443\u0441\u043f\u0435\u0445 \u043e\u0442 \u043f\u0440\u043e\u0432\u0430\u043b\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/962\/dbe\/4a7\/962dbe4a7aa7d99390c38958f5d1ba3b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/962\/dbe\/4a7\/962dbe4a7aa7d99390c38958f5d1ba3b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041b\u043e\u0441\u0441 \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044f\u0435\u0442 \u0443\u0441\u043f\u0435\u0445 \u043e\u0442 \u043f\u0440\u043e\u0432\u0430\u043b\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u0430\u043a. \u041d\u0430\u043d\u0435\u0441\u0435\u043c \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 GCG \u0438 \u0440\u0430\u0441\u043a\u0440\u0430\u0441\u0438\u043c \u043f\u043e \u0442\u043e\u043c\u0443, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043b\u0438 \u043e\u043d \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c: \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0435 (\u043a\u0440\u0430\u0441\u043d\u044b\u0435) \u0442\u043e\u0447\u043a\u0438 \u0440\u0430\u0437\u043c\u0430\u0437\u0430\u043d\u044b \u043f\u043e <em>\u0432\u0441\u0435\u043c<\/em> \u0443\u0440\u043e\u0432\u043d\u044f\u043c \u043b\u043e\u0441\u0441\u0430. \u0423\u0439\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 <strong>\u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0439<\/strong> \u043b\u043e\u0441\u0441, \u0447\u0435\u043c \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u043b\u0438\u0441\u044c. \u041b\u043e\u0441\u0441 \u0438 \u0443\u0441\u043f\u0435\u0445 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u0430 \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0441\u043b\u0430\u0431\u043e &#8212; \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0430 GCG \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u044f\u043a\u043e\u0440\u044c \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043b\u043e\u0441\u0441\u043e\u043c \u0438 \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442 \u0446\u0435\u043b\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435? \u0415\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441, \u0437\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0433\u043e\u043d GCG \u0438\u0445 \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u044f\u0434\u043a\u0430 <strong>12 000<\/strong>. GCG \u043d\u0430\u0445\u043e\u0434\u0438\u043b \u0442\u043e\u043b\u043f\u0443, \u0430 \u043e\u0442\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0441\u044f \u043e\u0431 \u043e\u0434\u043d\u043e\u043c.<\/p>\n<h4>\u0428\u0430\u0433 \u043f\u0435\u0440\u0432\u044b\u0439: augmented GCG (\u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u0445)<\/h4>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0434\u043e \u043d\u0435\u043b\u043e\u0432\u043a\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u0430: \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c <em>\u0432\u0441\u0435<\/em> \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b-\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b, \u043d\u0430\u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0437\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e &#8212; \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u044d\u0442\u043e <strong>overgeneration<\/strong> &#8212; \u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0440\u043e\u0431\u0438\u0442\u044b\u043c, \u0435\u0441\u043b\u0438 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0445\u043e\u0442\u044c \u043e\u0434\u0438\u043d. \u041d\u0430 30 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u044d\u0442\u043e \u043e\u0434\u043d\u043e \u0434\u0430\u0435\u0442 \u043c\u043e\u0449\u043d\u044b\u0439 \u0441\u0434\u0432\u0438\u0433. \u0423\u0441\u043f\u0435\u0445 \u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u0430\u0449\u0438\u0449\u0435\u043d\u043d\u043e\u0439 Llama-2-7B-chat \u043f\u0440\u044b\u0433\u0430\u0435\u0442 \u0441 <strong>20% \u0434\u043e ~77%<\/strong> \u0432 individual-\u0440\u0435\u0436\u0438\u043c\u0435 (\u0438 \u0441 23% \u0434\u043e 83% \u043f\u043e multiple queries); Vicuna-7B \u0443\u0445\u043e\u0434\u0438\u0442 \u0441 93% \u0432 \u0447\u0438\u0441\u0442\u044b\u0435 <strong>100%<\/strong>. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 &#8212; \u0443\u0441\u043f\u0435\u0445\u0438 \u0443\u0436\u0435 \u0431\u044b\u043b\u0438 \u0442\u0430\u043c, GCG \u0438\u0445 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043b.<\/p>\n<h4>\u0428\u0430\u0433 \u0432\u0442\u043e\u0440\u043e\u0439: \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0442\u0430\u043a\u0443 \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c<\/h4>\n<p>Overgeneration \u043c\u043e\u0449\u043d\u044b\u0439 \u043f\u0440\u0438\u0435\u043c, \u043d\u043e \u0432\u0441\u0435 \u0435\u0449\u0435 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 &#8212; GCG \u043d\u0430\u0434\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u0435\u043b\u0430\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u0448\u0430\u0433 \u0438 <strong>\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u0443\u044e\u0442 \u0432\u0441\u044e \u0430\u0442\u0430\u043a\u0443 \u0432 \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c<\/strong>:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/218\/530\/68e\/21853068e5aa633036f2d0c01cea1067.png\" alt=\"\u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d AmpleGCG\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/218\/530\/68e\/21853068e5aa633036f2d0c01cea1067.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/218\/530\/68e\/21853068e5aa633036f2d0c01cea1067.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d AmpleGCG<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>Overgenerate-then-Filter (OTF)<\/strong>. \u041f\u0440\u043e\u0433\u043d\u0430\u0442\u044c overgenerated GCG \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b \u0447\u0435\u0440\u0435\u0437 model-based \u0438 string-based \u043e\u0446\u0435\u043d\u0449\u0438\u043a\u0438, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u0442\u043e\u043b\u044c\u043a\u043e <em>\u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0435<\/em> \u043f\u0430\u0440\u044b <code>\u27e8\u0437\u0430\u043f\u0440\u043e\u0441, \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u27e9<\/code>. \u0414\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c Llama-2-7B \u043d\u0430 \u044d\u0442\u0438\u0445 \u043f\u0430\u0440\u0430\u0445, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0442\u044c \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 adversarial-\u0441\u0443\u0444\u0444\u0438\u043a\u0441 &#8212; \u0437\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u043e\u043d\u0430 \u0443\u0447\u0438\u0442 <strong>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/strong>, \u0430 \u043d\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443. \u041d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c <strong>group beam search<\/strong> \u0441 diversity penalty, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u044b\u0437\u043e\u0432 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u043b \u0432\u0435\u0435\u0440 <em>\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445<\/em> \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432, \u0430 \u043d\u0435 \u043f\u043e\u0447\u0442\u0438-\u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u044b. \u0412 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 \u0438 \u0435\u0441\u0442\u044c \u0432\u0435\u0441\u044c \u0441\u043c\u044b\u0441\u043b: \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u043d\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0433\u043e\u0440\u0441\u0442\u043a\u043e\u0439 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u043f\u043e\u043a\u0440\u044b\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u044f\u0437\u0432\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u0446\u0435\u043b\u0438.<\/p>\n<h4>\u0427\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435: \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0432\u043c\u0435\u0441\u0442\u043e \u0447\u0430\u0441\u043e\u0432 &#8212; \u0438 \u043e\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f<\/h4>\n<p>\u0427\u0438\u0441\u043b\u0430 \u0438\u0437 \u0442\u0435\u0445, \u0447\u0442\u043e \u043c\u0435\u043d\u044f\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0433\u0440\u043e\u0437. \u041f\u0440\u043e\u0442\u0438\u0432 Llama-2-7B-chat AmpleGCG \u0431\u0435\u0440\u0435\u0442 <strong>83% \u0441 50 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u0430\u043c\u0438 (50 \u0441\u0435\u043a\u0443\u043d\u0434), 99% \u0441 200 (\u22484 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441) \u0438 100% \u0441 1000<\/strong> &#8212; \u043f\u0440\u043e\u0442\u0438\u0432 40% \u0443 AutoDAN \u0438 ~1% \u0443 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0433\u043e GCG \u043f\u0440\u0438 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u043c \u0431\u044e\u0434\u0436\u0435\u0442\u0435. \u0414\u043e\u0440\u043e\u0433\u0430\u044f \u043f\u0435\u0440-\u0437\u0430\u043f\u0440\u043e\u0441\u043d\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f GCG \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u0430 \u043e\u0434\u043d\u0438\u043c forward pass.<\/p>\n<p>\u0418, \u043a\u0430\u043a GCG, \u043e\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439 &#8212; \u0445\u043e\u0442\u044f \u0438 \u043d\u0435 \u0442\u0430\u043a \u043b\u0435\u0433\u043a\u043e:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ce6\/590\/684\/ce6590684f0264fee09838eb2a2dd5bf.png\" alt=\"\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ce6\/590\/684\/ce6590684f0264fee09838eb2a2dd5bf.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ce6\/590\/684\/ce6590684f0264fee09838eb2a2dd5bf.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u0435 API, AmpleGCG \u0431\u0435\u0440\u0435\u0442 <strong>90% \u043d\u0430 GPT-3.5-0613 \u0438 99% \u043d\u0430 GPT-3.5-0125<\/strong>, \u043f\u0440\u043e\u0442\u0438\u0432 28% \/ 56% \u0443 augmented GCG \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445. GPT-4-0613 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c (8%), \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0432\u044b\u0431\u0440\u043e\u0441\u0430 Claude-2 \u0438\u0437 \u0441\u0435\u043a\u0446\u0438\u0438 GCG &#8212; \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u0440\u0443\u043f\u043d\u0435\u0435 \u0438 \u0441 \u043b\u0443\u0447\u0448\u0438\u043c \u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442\u043e\u043c \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u044e\u0442 \u043f\u043b\u0430\u043d\u043a\u0443, \u043d\u043e \u043d\u0435 \u0441\u0442\u0438\u0440\u0430\u044e\u0442 \u0435\u0435. \u041f\u043e\u0434\u0445\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u0434\u0430\u0436\u0435 perplexity-\u0437\u0430\u0449\u0438\u0442\u0443 \u0438\u0437 \u0412\u0435\u0442\u0432\u0438 1: \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435, \u0438 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b AmpleGCG \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0441\u043a\u0432\u043e\u0437\u044c perplexity-\u0444\u0438\u043b\u044c\u0442\u0440 \u0441 ~80% ASR.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>\u042d\u0442\u043e \u0442\u0430 \u0432\u0435\u0442\u0432\u044c, \u0433\u0434\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f <em>\u0444\u043e\u0440\u043c\u0430<\/em> \u0443\u0433\u0440\u043e\u0437\u044b. \u0414\u043e \u043d\u0435\u0435 \u0437\u0430\u0449\u0438\u0442\u043d\u0438\u043a \u043c\u043e\u0433 \u0432\u043e\u043e\u0431\u0440\u0430\u0436\u0430\u0442\u044c \u0431\u043b\u043e\u043a-\u043b\u0438\u0441\u0442 &#8212; \u0441\u043d\u044f\u0442\u044c \u043e\u0442\u043f\u0435\u0447\u0430\u0442\u043a\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u043f\u043b\u043e\u0445\u0438\u0445 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432 \u0438 \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u0442\u044c \u0438\u0445. AmpleGCG \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c: \u0430\u0442\u0430\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0441\u0442\u0440\u043e\u043a\u0430, \u0430 <strong>\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440<\/strong>, \u0448\u0442\u0430\u043c\u043f\u0443\u044e\u0449\u0438\u0439 \u0441\u043e\u0442\u043d\u0438 \u0441\u0432\u0435\u0436\u0438\u0445, \u043d\u0435\u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432 \u043f\u043e\u0434 \u043b\u044e\u0431\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e, \u0437\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u044b. \u0417\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u043b\u0435\u0433\u043a\u043e; \u0437\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 &#8212; \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430. \u0423\u0440\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u0435 \u0443\u043d\u043e\u0441\u0438\u0442 \u0434\u0430\u043b\u044c\u0448\u0435: \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b &#8212; \u043d\u0435 \u0440\u0435\u0434\u043a\u0438\u0435 \u0434\u0440\u0430\u0433\u043e\u0446\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u0445\u043e\u0434\u043a\u0438, \u0438\u0445 <em>\u043c\u043d\u043e\u0433\u043e<\/em>, \u0438 \u0441\u0430\u043c\u0430 \u044d\u0442\u0430 \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0438\u0434 \u0430\u0442\u0430\u043a\u0438.<\/p>\n<hr\/>\n<h3>\u0412\u0435\u0442\u0432\u044c 3. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c: \u0430\u043f\u0433\u0440\u0435\u0439\u0434\u044b \u0441\u0430\u043c\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/h3>\n<p>GCG \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043d\u043e \u043e\u043d \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u0438 \u0440\u0430\u0441\u0442\u043e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439: \u0441\u043e\u0442\u043d\u0438 \u0448\u0430\u0433\u043e\u0432, \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0437\u0430 \u0448\u0430\u0433, \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. \u0414\u0432\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u043e\u043f\u043e\u043b\u043d\u044f\u044e\u0449\u0438\u0435 \u0441\u0435\u0440\u0438\u0438 \u0440\u0430\u0431\u043e\u0442 \u0440\u0435\u0448\u0430\u044e\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u044d\u0442\u043e\u0439 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0446\u043e\u0432 &#8212; \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 <em>\u0443\u043c\u043d\u0435\u0435<\/em> (\u043c\u0435\u043d\u044c\u0448\u0435 \u0448\u0430\u0433\u043e\u0432, \u043d\u043e \u043b\u0443\u0447\u0448\u0435) \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 <em>\u0434\u0435\u0448\u0435\u0432\u043b\u0435<\/em> (\u043d\u0435 \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430).<\/p>\n<h4>I-GCG: \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u043f\u043e\u0443\u043c\u043d\u0435\u0435<\/h4>\n<blockquote>\n<p><strong>Improved Techniques for Optimization-Based Jailbreaking on Large Language Models.<\/strong> Jia, Pang, Du, Huang, Gu, Liu, Cao, Lin, 2024 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2405.21018\" rel=\"noopener noreferrer nofollow\">arXiv:2405.21018<\/a>, ICLR 2025<\/p>\n<\/blockquote>\n<p>I-GCG \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0441\u043a\u0435\u043b\u0435\u0442 GCG \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u0440\u0438 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0438\u0435\u043c\u0430:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fc2\/b79\/c0d\/fc2b79c0d07baa5218b97632f3916776.png\" alt=\"\u0422\u0440\u0438 \u043f\u0440\u0438\u0435\u043c\u0430 I-GCG\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/fc2\/b79\/c0d\/fc2b79c0d07baa5218b97632f3916776.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fc2\/b79\/c0d\/fc2b79c0d07baa5218b97632f3916776.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0422\u0440\u0438 \u043f\u0440\u0438\u0435\u043c\u0430 I-GCG<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 &#8212; \u0441\u0430\u043c\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u043e. \u0426\u0435\u043b\u044c GCG &#8212; \u044d\u0442\u043e \u0433\u043e\u043b\u043e\u0435 \u201cSure, here is\u2026\u201d. \u0410\u0432\u0442\u043e\u0440\u044b \u0437\u0430\u043c\u0435\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d <strong>\u043c\u043e\u0440\u0438\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u0433\u043e\u043b\u043e\u0434\u043e\u043c \u043f\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0443<\/strong>: \u043e\u0434\u043d\u043e \u201cSure\u201d \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u043e \u0442\u043e\u043c, \u043a\u0443\u0434\u0430 \u0442\u043e\u043b\u043a\u0430\u0442\u044c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 I-GCG \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <strong>\u0431\u043e\u043b\u0435\u0435 \u0431\u043e\u0433\u0430\u0442\u0443\u044e \u0446\u0435\u043b\u044c<\/strong> \u0432\u0438\u0434\u0430 <em>\u201cSure, + \u0432\u0440\u0435\u0434\u043d\u0430\u044f self-suggestion\/guidance, here is + Rephrase(Q)\u201d<\/em>. \u0412\u0448\u0438\u0432\u0430\u044f \u0432\u0440\u0435\u0434\u043d\u043e\u0435 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u044f\u043c\u043e \u0432 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443, \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 &#8212; \u0447\u0438\u0441\u0442\u043e \u043f\u0440\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e. GCG \u043c\u0435\u043d\u044f\u0435\u0442 \u0440\u043e\u0432\u043d\u043e <strong>\u043e\u0434\u0438\u043d<\/strong> \u0442\u043e\u043a\u0435\u043d \u0437\u0430 \u0448\u0430\u0433; <strong>automatic multi-coordinate update<\/strong> \u0432 I-GCG \u0431\u0435\u0440\u0435\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u043e\u0434\u043d\u043e-\u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b, \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u0442 \u0438\u0445 \u0438 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 <strong>\u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e<\/strong> \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u044b\u0436\u043a\u0438 \u0440\u0435\u0436\u0435, \u0437\u0430\u0442\u043e \u043a\u0440\u0443\u043f\u043d\u0435\u0435 &#8212; \u0438 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043a\u0443\u0434\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u043f\u043e\u043b\u0437\u0430\u043d\u0438\u0435 GCG \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443. \u0422\u0440\u0435\u0442\u0438\u0439, <strong>easy-to-hard \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/strong>, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0441\u0443\u0444\u0444\u0438\u043a\u0441, \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u044e\u0449\u0438\u0439 \u043b\u0435\u0433\u043a\u0438\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u0438 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0435\u0433\u043e \u043a\u0430\u043a \u0442\u0435\u043f\u043b\u044b\u0439 \u0441\u0442\u0430\u0440\u0442 \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 &#8212; \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0441\u0438\u0434 \u0431\u044c\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b.<\/p>\n<p>\u041e\u0442\u0434\u0430\u0447\u0430 &#8212; \u0438 \u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438, \u0438 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u041d\u0430 \u0441\u0430\u043c\u043e\u0439 \u0442\u044f\u0436\u0435\u043b\u043e\u0439 \u0446\u0435\u043b\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f &#8212; \u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u043e\u0439 Llama-2-7B-chat &#8212; I-GCG \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u0435\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/689\/485\/86c\/68948586c0a2e6de1f469619b82e01f0.png\" alt=\"\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b I-GCG \u043d\u0430 \u0442\u044f\u0436\u0435\u043b\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/689\/485\/86c\/68948586c0a2e6de1f469619b82e01f0.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/689\/485\/86c\/68948586c0a2e6de1f469619b82e01f0.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b I-GCG \u043d\u0430 \u0442\u044f\u0436\u0435\u043b\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0430\u043c, \u0433\u0434\u0435 \u0441\u0438\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0430\u0442\u0430\u043a\u0438 \u0431\u0443\u043a\u0441\u0443\u044e\u0442 (GCG 54%, Probe-Sampling 56%, AutoDAN 26%, PAIR 10%, TAP 4%), I-GCG \u0431\u0435\u0440\u0435\u0442 <strong>100%<\/strong>. \u041e\u043d \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u0442 ~100% \u043d\u0430 \u0432\u0441\u0435\u0445 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (Vicuna, Guanaco, Llama-2, Mistral) \u0438 \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 \u043f\u0440\u0435\u0436\u043d\u0438\u0439 SOTA \u043d\u0430 NeurIPS 2023 Red Teaming Track, HarmBench \u0438 JailbreakBench. \u0410\u0431\u043b\u044f\u0446\u0438\u044f \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0439: \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u0435\u043c \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u0435\u0442 68-82%, \u043d\u043e \u0432\u043c\u0435\u0441\u0442\u0435 \u043e\u043d\u0438 \u0431\u0435\u0440\u0443\u0442 100% \u0432\u0441\u0435\u0433\u043e \u0437\u0430 <strong>~55 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439<\/strong> &#8212; \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435 \u0448\u0430\u0433\u043e\u0432, \u0447\u0435\u043c \u0443 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e GCG.<\/p>\n<h4>Probe Sampling: \u0448\u0430\u0433 \u043f\u043e\u0434\u0435\u0448\u0435\u0432\u043b\u0435<\/h4>\n<blockquote>\n<p><strong>Accelerating Greedy Coordinate Gradient and General Prompt Optimization via Probe Sampling.<\/strong> Zhao, Zheng, Cai, Do, Kawaguchi, Goyal, Shieh, 2024 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2403.01251\" rel=\"noopener noreferrer nofollow\">arXiv:2403.01251<\/a>, NeurIPS 2024<\/p>\n<\/blockquote>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0446\u0435\u043d\u0430 \u0448\u0430\u0433\u0430 GCG &#8212; \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0431\u0430\u0442\u0447 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. Probe Sampling \u0443\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044e \u044d\u0442\u0443 \u0446\u0435\u043d\u0443 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e draft-\u043c\u043e\u0434\u0435\u043b\u0438 &#8212; \u0442\u0430 \u0436\u0435 \u0438\u0434\u0435\u044f, \u0447\u0442\u043e \u0437\u0430 speculative decoding, \u043f\u0435\u0440\u0435\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0434 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bc9\/f9c\/366\/bc9f9c366ed292524126c8994089ab49.png\" alt=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c Probe Sampling\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/bc9\/f9c\/366\/bc9f9c366ed292524126c8994089ab49.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bc9\/f9c\/366\/bc9f9c366ed292524126c8994089ab49.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c Probe Sampling<\/figcaption><\/div>\n<\/figure>\n<p>\u0424\u043e\u043a\u0443\u0441 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c, <em>\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0434\u0440\u0430\u0444\u0442\u0443<\/em>. \u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 <strong>probe set<\/strong> \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 <strong>\u043e\u0431\u0435<\/strong> \u043c\u043e\u0434\u0435\u043b\u0438 &#8212; \u0434\u0440\u0430\u0444\u0442 \u0438 \u0446\u0435\u043b\u0435\u0432\u0443\u044e, &#8212; \u0438 \u0438\u0445 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 (Spearman-\u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0440\u0430\u043d\u0433\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u043e\u0440\u044f\u0434\u043a\u0430\u043c\u0438 \u043b\u043e\u0441\u0441\u0430) \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u043c <strong>\u03b1<\/strong>. \u0414\u0435\u0448\u0435\u0432\u0430\u044f draft-\u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0442\u0435\u043c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0441\u044c \u0431\u0430\u0442\u0447, \u0430 \u03b1 \u0437\u0430\u0434\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e \u0440\u0435\u0437\u0430\u0442\u044c: \u0432 \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e <code>(1-\u03b1)\u00b7B\/R<\/code> \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u041a\u043e\u0433\u0434\u0430 \u0434\u0440\u0430\u0444\u0442 \u0438 \u0446\u0435\u043b\u044c \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u044b (\u03b1 \u0432\u044b\u0441\u043e\u043a\u043e), \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0434\u0440\u0430\u0444\u0442; \u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f &#8212; \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435. \u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e\u0442 \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 (\u043f\u043b\u044e\u0441 probe) \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435\u0433\u043e. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u0433\u043e\u0440\u0441\u0442\u043a\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u043e \u0432\u0441\u0435\u0445 &#8212; \u0432 \u044d\u0442\u043e\u043c \u0432\u0441\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f.<\/p>\n<p>\u0418 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442: \u0434\u043e <strong>5.6x<\/strong> \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043d\u0430 Llama-2 (\u0438 6.3x \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u0445 Harmful Strings) \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c \u0438\u043b\u0438 \u043b\u0443\u0447\u0448\u0435\u043c ASR. \u0410 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432 \u043f\u0440\u0438\u0435\u043c\u0435 \u043d\u0435\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0433\u043e \u0434\u043b\u044f GCG, \u0442\u043e\u0442 \u0436\u0435 probe-\u0442\u0440\u044e\u043a \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b &#8212; AutoPrompt 1.8x, APE 2.4x, AutoDAN 2.4x.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>\u042d\u0442\u0438 \u0434\u0432\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 GCG \u0438\u0437 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u044d\u043a\u0437\u043e\u0442\u0438\u043a\u0438 \u0432 \u0434\u0435\u0448\u0435\u0432\u044b\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u0432 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435, \u043d\u0443\u0436\u043d\u043e\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c safety-\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u043c, &#8212; \u0442\u044b\u0441\u044f\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432. \u0418 \u043e\u0434\u043d\u0430 \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0442\u0432\u044c: \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c &#8212; \u043d\u0435 \u0441\u0438\u043b\u0430. \u0412 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 I-GCG Probe Sampling, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 GCG, \u043d\u0435 \u043c\u0435\u043d\u044f\u044f \u0435\u0433\u043e objective, \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 56% \u043d\u0430 \u0442\u044f\u0436\u0435\u043b\u043e\u0439 Llama-2, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043b\u0443\u0447\u0448\u0438\u0439 objective \u0443 I-GCG \u0431\u0435\u0440\u0435\u0442 100%. \u0423\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0446\u0438\u043a\u043b \u0438 \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u0430\u0442\u0430\u043a\u0443 &#8212; \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u044b\u0447\u0430\u0433\u0438; \u044d\u0442\u0430 \u0432\u0435\u0442\u0432\u044c \u0434\u0435\u0440\u043d\u0443\u043b\u0430 \u043e\u0431\u0430, \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0412\u0435\u0441\u044c \u0441\u043f\u0435\u043a\u0442\u0440 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0435\u0439 \u0443\u0434\u043e\u0431\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0440\u0430\u0437\u043e\u043c &#8212; \u043e\u0442 15-\u043c\u0438\u043d\u0443\u0442\u043d\u043e\u0433\u043e GCG \u0434\u043e 4-\u0441\u0435\u043a\u0443\u043d\u0434\u043d\u043e\u0433\u043e AmpleGCG:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/002\/114\/f85\/002114f85d7daf14cd2f83efeee822e8.png\" alt=\"\u0421\u043f\u0438\u0434-\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/002\/114\/f85\/002114f85d7daf14cd2f83efeee822e8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/002\/114\/f85\/002114f85d7daf14cd2f83efeee822e8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043f\u0438\u0434-\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434<\/figcaption><\/div>\n<\/figure>\n<p>Probe \u0438 I-GCG \u0440\u0435\u0436\u0443\u0442 15-\u043c\u0438\u043d\u0443\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d GCG \u0434\u043e \u043f\u0430\u0440\u044b \u043c\u0438\u043d\u0443\u0442, \u0430 AmpleGCG \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u044e \u0430\u0442\u0430\u043a\u0443 \u0432 \u043e\u0434\u0438\u043d ~4-\u0441\u0435\u043a\u0443\u043d\u0434\u043d\u044b\u0439 forward pass. \u041d\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c &#8212; \u043d\u0435 \u0441\u0438\u043b\u0430: \u0442\u043e\u0442 \u0436\u0435 AmpleGCG \u0441\u043b\u0430\u0431\u0435\u0435 \u043f\u043e ASR, \u0447\u0435\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 I-GCG (\u0441\u043c. \u0433\u0440\u0430\u0444\u0438\u043a \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c-vs-\u0443\u0441\u043f\u0435\u0445 \u0432 \u0441\u0435\u043a\u0446\u0438\u0438 \u0442\u0435\u043e\u0440\u0438\u0438).<\/p>\n<hr\/>\n<h3>\u0412\u0435\u0442\u0432\u044c 4. \u041f\u0440\u043e\u0441\u0442\u043e\u0442\u0430: adaptive-\u0430\u0442\u0430\u043a\u0438<\/h3>\n<blockquote>\n<p><strong>Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks.<\/strong> Andriushchenko, Croce, Flammarion, 2024 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2404.02151\" rel=\"noopener noreferrer nofollow\">arXiv:2404.02151<\/a>, ICLR 2025<\/p>\n<\/blockquote>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u0440\u0435\u0445 \u0432\u0435\u0442\u0432\u0435\u0439 \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0445\u0438\u0442\u0440\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435\u0440\u0438\u0438 \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u0447\u0442\u0438 \u043f\u0440\u043e\u0432\u043e\u043a\u0430\u0446\u0438\u044f: \u043e\u043d\u0430 \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0438 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442.<\/p>\n<h4>\u041c\u0435\u0442\u043e\u0434 \u043d\u0430\u0440\u043e\u0447\u0438\u0442\u043e \u0442\u0443\u043f<\/h4>\n<p>\u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435. \u0412\u0441\u044f \u0430\u0442\u0430\u043a\u0430 &#8212; \u044d\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0440\u0443\u043a\u0430\u043c\u0438 \u0448\u0430\u0431\u043b\u043e\u043d \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u043f\u043b\u044e\u0441 \u0441\u0443\u0444\u0444\u0438\u043a\u0441, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0439 <strong>random search<\/strong>:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/392\/6c3\/64c\/3926c364c27f2e8ddd9fabef3e84354e.png\" alt=\"\u041c\u0435\u0442\u043e\u0434 adaptive-\u0430\u0442\u0430\u043a\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/392\/6c3\/64c\/3926c364c27f2e8ddd9fabef3e84354e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/392\/6c3\/64c\/3926c364c27f2e8ddd9fabef3e84354e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041c\u0435\u0442\u043e\u0434 adaptive-\u0430\u0442\u0430\u043a\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0428\u0430\u0431\u043b\u043e\u043d \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0444\u043e\u0440\u043c\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a-\u0434\u0440\u0443\u0436\u0435\u043b\u044e\u0431\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435; \u0437\u0430\u0442\u0435\u043c \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u043c\u0443\u0442\u0430\u0446\u0438\u044f\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c logprob \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 &#8212; \u201cSure\u201d; \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u044b \u0438 self-transfer \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043a\u0430\u043a \u0441\u0438\u0434 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u0418 \u0432\u0441\u0435. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e coordinate gradient, \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u043d\u0438\u043a\u0430\u043a\u043e\u0439 draft-\u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0438\u0434\u0435\u044f, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432\u0441\u044f \u0441\u0442\u0430\u0442\u044c\u044f, \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u0430 \u0432 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a: <strong>adaptive<\/strong>. \u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043c\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u0434 \u0442\u043e, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u0434\u0430\u0435\u0442 API \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412\u0438\u0434\u043d\u044b logprobs (\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, GPT) &#8212; \u0433\u043e\u043d\u044f\u0435\u043c \u043f\u043e \u043d\u0438\u043c random search. \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u044b, \u0430 logprobs \u0441\u043a\u0440\u044b\u0442\u044b (Claude) &#8212; \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0435\u043c\u0441\u044f \u043d\u0430 <strong>prefilling-\u0430\u0442\u0430\u043a\u0443<\/strong>: \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043e\u0442\u0432\u0435\u0442 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 <em>\u043d\u0430\u0447\u0430\u0442\u044c\u0441\u044f<\/em> \u0441 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438, \u0438 \u043e\u0442\u043a\u0430\u0437\u0443 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043d\u0435\u0432\u0440\u0430 \u0432\u044b\u0440\u0443\u043b\u0438\u0442\u044c. \u041d\u0435 \u043e\u0442\u0434\u0430\u044e\u0442 \u043d\u0438\u0447\u0435\u0433\u043e (Claude 3 Sonnet) &#8212; \u043f\u0440\u043e\u0441\u0442\u043e <strong>\u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c<\/strong> \u0441\u0443\u0444\u0444\u0438\u043a\u0441, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 GPT-4 Turbo. \u041e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u044f\u0434\u0440\u043e, \u0440\u0430\u0437\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0435 \u043f\u043e \u0442\u0440\u0435\u043c \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0430\u043c.<\/p>\n<h4>\u042d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0432\u0441\u0435\u043c<\/h4>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 &#8212; \u043f\u043e\u0447\u0442\u0438 \u0447\u0438\u0441\u0442\u044b\u0439 \u0441\u0432\u0438\u043f \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u0430:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3a7\/df9\/333\/3a7df933312591d51fab62fe5def365e.png\" alt=\"\u0421\u0432\u043e\u0434 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e \u0432\u0441\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3a7\/df9\/333\/3a7df933312591d51fab62fe5def365e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3a7\/df9\/333\/3a7df933312591d51fab62fe5def365e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0432\u043e\u0434 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e \u0432\u0441\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 50 \u0432\u0440\u0435\u0434\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u0441 GPT-4 \u0432 \u0440\u043e\u043b\u0438 \u0441\u0443\u0434\u044c\u0438 \u0430\u0442\u0430\u043a\u0430 \u0431\u0435\u0440\u0435\u0442 <strong>~100% \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0434\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> &#8212; Llama-2 (7B\/13B\/70B), Llama-3-8B, Gemma-7B, GPT-3.5, 96% \u043d\u0430 GPT-4 Turbo \u0438, \u0447\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e, 100% \u043d\u0430 <strong>\u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 Claude<\/strong> (2.0, 2.1, 3 Haiku\/Sonnet\/Opus) \u0447\u0435\u0440\u0435\u0437 prefilling \u0438\u043b\u0438 transfer, \u0445\u043e\u0442\u044f \u043d\u0438 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435 \u043e\u0442\u0434\u0430\u0435\u0442 logprobs. Vicuna-13B, Mistral-7B, Phi-3-Mini \u0438 340B-\u043d\u044b\u0439 Nemotron-4 \u043f\u0430\u0434\u0430\u044e\u0442 \u0442\u043e\u0436\u0435. \u0412\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0435\u0440\u0432\u0430\u044f \u0430\u0442\u0430\u043a\u0430, \u0431\u0435\u0440\u0443\u0449\u0430\u044f \u043d\u0430 \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 100%.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443 \u0430\u0442\u0430\u043a\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439, \u0432\u0438\u0434\u043d\u043e \u0442\u0443 \u0436\u0435 \u043c\u044b\u0441\u043b\u044c \u043f\u043e\u0434 \u0434\u0440\u0443\u0433\u0438\u043c \u0443\u0433\u043b\u043e\u043c:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/186\/190\/526\/1861905261bc0ad9acdc36c5d9703c8d.png\" alt=\"\u041a\u0442\u043e \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/186\/190\/526\/1861905261bc0ad9acdc36c5d9703c8d.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/186\/190\/526\/1861905261bc0ad9acdc36c5d9703c8d.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0442\u043e \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043d\u0430 GPT, \u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043e \u00ab\u0441\u0442\u0435\u043d\u0443 Claude\u00bb &#8212; 2-12% \u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u0440\u043e\u0431\u0443\u044e\u0442. \u0410 adaptive-\u043f\u043e\u0434\u0445\u043e\u0434 \u0441 prefilling \u0431\u0435\u0440\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c Claude \u043d\u0430 100%: \u0442\u0430\u043c, \u0433\u0434\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u0431\u0435\u0441\u0441\u0438\u043b\u0435\u043d, \u0432\u044b\u0440\u0443\u0447\u0430\u0435\u0442 \u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0430 \u043f\u043e\u0434 \u0442\u0443 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u0434\u0430\u0435\u0442.<\/p>\n<h4>\u0423\u0440\u043e\u043a R2D2<\/h4>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u043e\u0443\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 &#8212; \u044d\u0442\u043e <strong>R2D2<\/strong>, \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 HarmBench, \u043a\u043e\u0442\u043e\u0440\u0443\u044e <em>adversarial training \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0443\u0447\u0438\u043b\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 GCG<\/em>, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430 \u043a \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u0430\u043c. \u0414\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435?<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/86f\/dd7\/f78\/86fdd7f78f8d105077201970d878e8c1.png\" alt=\"\u0423\u0440\u043e\u043a R2D2\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/86f\/dd7\/f78\/86fdd7f78f8d105077201970d878e8c1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/86f\/dd7\/f78\/86fdd7f78f8d105077201970d878e8c1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0423\u0440\u043e\u043a R2D2<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u0434\u0430, \u0438 \u043d\u0435\u0442 &#8212; \u0438 \u0432\u0430\u0436\u0435\u043d \u0438\u043c\u0435\u043d\u043d\u043e \u00ab\u043d\u0435\u0442\u00bb. \u0412\u043d\u0443\u0442\u0440\u0438 \u0442\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 R2D2 \u0437\u0430\u043a\u0430\u043b\u044f\u043b\u0438 (\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043b\u044e\u0441 adversarial-\u0441\u0443\u0444\u0444\u0438\u043a\u0441), \u043e\u043d\u0430 \u043f\u0440\u0430\u0432\u0434\u0430 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430: GCG \u0432\u044b\u0436\u0438\u043c\u0430\u0435\u0442 \u0432\u0441\u0435\u0433\u043e 6%, \u0438 \u0434\u0430\u0436\u0435 adaptive random search \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0432 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0435\u0434\u0432\u0430 \u0434\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442 \u0434\u043e 12%. \u041d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430 <em>\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443<\/em>, \u0430 \u043d\u0435 \u0431\u044b\u0442\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0439. \u0421\u043c\u0435\u043d\u0438 \u0435\u0435 \u043d\u0430 <strong>in-context<\/strong> \u043f\u0440\u043e\u043c\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u043d\u0430 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, &#8212; \u0438 \u0441\u0442\u0435\u043d\u0430 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442: 90% \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0430 \u0438 <strong>100%<\/strong>, \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0432\u0435\u0440\u0445\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 random search.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>\u0414\u0432\u0430 \u0443\u0440\u043e\u043a\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445, \u043a\u0442\u043e \u0441\u0442\u0440\u043e\u0438\u0442 \u0437\u0430\u0449\u0438\u0442\u044b. \u041f\u0435\u0440\u0432\u044b\u0439: <strong>adaptivity \u0431\u044c\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c<\/strong> &#8212; \u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0430 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u0438 \u043f\u043e\u0434 \u043e\u0442\u0434\u0430\u0432\u0430\u0435\u043c\u0443\u044e \u0446\u0435\u043b\u044c\u044e \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u043d\u0430\u0432\u043e\u0440\u043e\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c-\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b. \u0412\u0442\u043e\u0440\u043e\u0439, \u0438 \u0431\u043e\u043b\u0435\u0435 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439: <strong>adversarial training \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0434\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u0438 \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435.<\/strong> R2D2 \u0437\u0430\u043a\u0430\u043b\u0438\u043b\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 GCG, \u0438 \u043e\u043d\u0430 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u043a GCG &#8212; \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u044f\u0441\u044c \u043f\u043e\u0434 \u0430\u0442\u0430\u043a\u043e\u0439 \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u043e\u0440\u043c\u044b. \u0417\u0430\u0449\u0438\u0442\u0430, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0434 \u0443\u0433\u0440\u043e\u0437\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0438\u0437\u043c\u0435\u0440\u0438\u043b\u0438, &#8212; \u043d\u0435 \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u0443\u0433\u0440\u043e\u0437\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438. \u0420\u043e\u0432\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0433\u043e\u043d\u044f\u0442\u044c\u0441\u044f \u0437\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u0442\u0430\u043a\u0430\u043c\u0438 \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0443 <em>\u0432\u0441\u0435\u0445<\/em> \u043d\u0438\u0445 \u043e\u0431\u0449\u0435\u0433\u043e \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c.<\/p>\n<hr\/>\n<h3>\u0422\u0435\u043e\u0440\u0438\u044f: refusal direction \u043a\u0430\u043a \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0430\u044f \u043b\u0438\u043d\u0437\u0430<\/h3>\n<p>\u041a \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u043c\u0435\u043d\u0442\u0443 \u0443 \u043d\u0430\u0441 \u0433\u043e\u0440\u0430 \u044d\u043c\u043f\u0438\u0440\u0438\u043a\u0438 \u0438 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u043b\u0435\u0436\u0430\u0449\u0438\u0439 \u043f\u043e\u0434 \u0432\u0441\u0435\u043c \u044d\u0442\u0438\u043c: <em>\u043f\u043e\u0447\u0435\u043c\u0443<\/em> \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b? \u041e\u0442\u0432\u0435\u0442 \u043f\u0440\u0438\u0448\u0435\u043b \u043d\u0435 \u0438\u0437 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u0438. \u041e\u043d \u043f\u0440\u0438\u0448\u0435\u043b \u0438\u0437 \u0432\u0437\u0433\u043b\u044f\u0434\u0430 \u0432\u043d\u0443\u0442\u0440\u044c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h4>\u041e\u0442\u043a\u0430\u0437 &#8212; \u044d\u0442\u043e \u043e\u0434\u043d\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/h4>\n<blockquote>\n<p><strong>Refusal in Language Models Is Mediated by a Single Direction.<\/strong> Arditi, Obeso, Syed, Paleka, Panickssery, Gurnee, Nanda, 2024 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2406.11717\" rel=\"noopener noreferrer nofollow\">arXiv:2406.11717<\/a>, NeurIPS 2024<\/p>\n<\/blockquote>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0447\u0442\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0447\u0438\u0441\u0442, \u0447\u0442\u043e\u0431\u044b \u0432 \u043d\u0435\u0433\u043e \u043f\u043e\u0432\u0435\u0440\u0438\u0442\u044c: \u043d\u0430 <strong>13 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0447\u0430\u0442-\u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e 72B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0442\u043a\u0430\u0437 \u043e\u043f\u043e\u0441\u0440\u0435\u0434\u043e\u0432\u0430\u043d \u043e\u0434\u043d\u0438\u043c \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c<\/strong> \u0432 residual stream. \u0418 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u043d\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0433\u043e\u043d\u0438\u0442\u0435 \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u0440\u0435\u0434\u043d\u044b\u0445 \u0438 \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439, \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0438 \u0432\u044b\u0447\u0442\u0438\u0442\u0435: <strong>difference-in-means \u0432\u0435\u043a\u0442\u043e\u0440<\/strong> <code>r = mean(harmful) - mean(harmless)<\/code> \u0438 <em>\u0435\u0441\u0442\u044c<\/em> refusal direction.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78e\/800\/5c0\/78e8005c0e6446e4408e29abe01a934a.png\" alt=\"\u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u0430\u0437\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/78e\/800\/5c0\/78e8005c0e6446e4408e29abe01a934a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78e\/800\/5c0\/78e8005c0e6446e4408e29abe01a934a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u0430\u0437\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0435\u0439 &#8212; \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <strong>\u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e<\/strong>, \u0438 \u0442\u043e\u043b\u043a\u0430\u0442\u044c \u043f\u043e \u043d\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0432 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b. <strong>Directional ablation<\/strong> &#8212; \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0432\u0434\u043e\u043b\u044c <code>r<\/code> \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 &#8212; \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u0436\u0435 \u043d\u0430 \u043e\u0442\u043a\u0440\u043e\u0432\u0435\u043d\u043d\u043e \u0432\u0440\u0435\u0434\u043d\u044b\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u0445. <strong>Activation addition<\/strong> &#8212; \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <code>r<\/code> \u043a \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0430 &#8212; \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0435 \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u043e\u043c. \u041e\u0434\u043d\u0430 \u043e\u0441\u044c, \u0434\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043e\u0442\u043a\u0430\u0437 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0438 \u0432\u044b\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f. \u041e\u0442\u0441\u044e\u0434\u0430 \u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043f\u043e\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 white-box \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a: \u0432\u0448\u0435\u0439\u0442\u0435 ablation \u043f\u0440\u044f\u043c\u043e \u0432 \u0432\u0435\u0441\u0430 \u043a\u0430\u043a <strong>rank-one \u043f\u0440\u0430\u0432\u043a\u0443<\/strong>, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u043d\u0443\u0442\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u0440\u043e\u043c\u043f\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d.<\/p>\n<p>\u0418 &#8212; \u043f\u0440\u044f\u043c\u043e \u0432 \u0442\u0435\u043c\u0443 &#8212; \u0430\u0432\u0442\u043e\u0440\u044b \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u044e\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u043c GCG-\u0430\u0442\u0430\u043a, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044f, \u0447\u0442\u043e <strong>adversarial-\u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044f \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u0430\u043c\u043e\u0433\u043e refusal direction<\/strong> \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u0443\u0444\u0444\u0438\u043a\u0441 \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u044d\u043a\u0437\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e; \u043e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0441 <code>r<\/code>.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/788\/033\/3d6\/7880333d6375664182fdd7f6d967e44c.png\" alt=\"\u0421\u0443\u0444\u0444\u0438\u043a\u0441 \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u0435\u0442 refusal direction\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/788\/033\/3d6\/7880333d6375664182fdd7f6d967e44c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/788\/033\/3d6\/7880333d6375664182fdd7f6d967e44c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0443\u0444\u0444\u0438\u043a\u0441 \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u0435\u0442 refusal direction<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c: \u043f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 &#8212; \u0441\u043b\u043e\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 &#8212; \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043e refusal direction (\u0433\u0440\u0443\u0431\u043e: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u00bb). \u0421\u0438\u043d\u044f\u044f \u043b\u0438\u043d\u0438\u044f &#8212; \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0447\u0435\u0442 \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c, \u0441\u0438\u0433\u043d\u0430\u043b \u0432\u044b\u0441\u043e\u043a\u0438\u0439. \u041e\u0440\u0430\u043d\u0436\u0435\u0432\u0430\u044f &#8212; \u0442\u043e\u0442 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043b\u044e\u0441 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043c\u0443\u0441\u043e\u0440\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441: \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u0430\u0431\u0440\u0430\u043a\u0430\u0434\u0430\u0431\u0440\u0430 \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442. \u041a\u0440\u0430\u0441\u043d\u0430\u044f &#8212; \u0442\u043e\u0442 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043b\u044e\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 adversarial-\u0441\u0443\u0444\u0444\u0438\u043a\u0441: \u0441\u0438\u0433\u043d\u0430\u043b \u043f\u0430\u0434\u0430\u0435\u0442 \u0438 \u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430 \u0437\u0435\u043b\u0435\u043d\u0443\u044e &#8212; \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441. \u0422\u043e \u0435\u0441\u0442\u044c \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u043c \u043d\u0430 \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u044b\u0439, \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0433\u0430\u0441\u044f \u0441\u0438\u0433\u043d\u0430\u043b \u043e\u0442\u043a\u0430\u0437\u0430.<\/p>\n<h4>\u0412\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0438<\/h4>\n<p>\u041e\u0442\u043e\u0439\u0434\u0438\u0442\u0435 \u043d\u0430 \u0448\u0430\u0433 &#8212; \u0438 \u0432\u0435\u0441\u044c \u043f\u043e\u0441\u0442 \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bdb\/117\/c99\/bdb117c99116eb9f543df2fc3dc1f6a0.png\" alt=\"\u041e\u0434\u043d\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/bdb\/117\/c99\/bdb117c99116eb9f543df2fc3dc1f6a0.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bdb\/117\/c99\/bdb117c99116eb9f543df2fc3dc1f6a0.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u0434\u043d\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u0413\u043e\u043b\u044b\u0439 \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0441\u0438\u0434\u0438\u0442 \u0432\u044b\u0441\u043e\u043a\u043e \u043d\u0430 refusal direction, \u0432\u044b\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442. \u041a\u0430\u0436\u0434\u0430\u044f \u0430\u0442\u0430\u043a\u0430, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 &#8212; gibberish-\u0441\u0443\u0444\u0444\u0438\u043a\u0441 GCG, \u0431\u0435\u0433\u043b\u044b\u0439 \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 AutoDAN, \u0434\u0430\u0436\u0435 \u0445\u0438\u0440\u0443\u0440\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 &#8212; \u0434\u0435\u043b\u0430\u0435\u0442 <em>\u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435<\/em>: \u0442\u043e\u043b\u043a\u0430\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u043d\u0438\u0436\u0435 \u043f\u043e\u0440\u043e\u0433\u0430. \u041f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0430 (\u043d\u0435\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0442\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430) \u043d\u0435 \u0432\u0430\u0436\u043d\u0430. \u0412\u0441\u0435 \u043e\u043d\u0438 &#8212; \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0432\u044b\u0447\u0435\u0441\u0442\u044c refusal direction.<\/p>\n<p>\u0410 \u0432\u043e\u0442 \u0442\u0430 \u0436\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0432 \u0447\u0438\u0441\u043b\u0430\u0445. \u0412\u0441\u0435, \u0447\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u043e \u0432 ASR, \u043b\u0435\u0433\u043b\u043e \u043d\u0430 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443: \u0441\u0442\u0440\u043e\u043a\u0438 &#8212; \u0430\u0442\u0430\u043a\u0438, \u0441\u0442\u043e\u043b\u0431\u0446\u044b &#8212; \u043c\u043e\u0434\u0435\u043b\u0438 (\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435, \u043a\u0440\u0443\u043f\u043d\u044b\u0435\/\u0437\u0430\u0449\u0438\u0449\u0435\u043d\u043d\u044b\u0435, \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u0435), \u0446\u0432\u0435\u0442 &#8212; attack success rate:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/00c\/a33\/060\/00ca33060cbfdb794ac5f03f84683b06.png\" alt=\"\u041a\u0430\u0440\u0442\u0430 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0430\u0442\u0430\u043a\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/00c\/a33\/060\/00ca33060cbfdb794ac5f03f84683b06.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/00c\/a33\/060\/00ca33060cbfdb794ac5f03f84683b06.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u0440\u0442\u0430 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0430\u0442\u0430\u043a<\/figcaption><\/div>\n<\/figure>\n<p>Llama-2-7B-chat \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043e\u0441\u044c\u044e: \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0431\u0443\u043a\u0441\u0443\u044e\u0442 \u043d\u0430 \u043d\u0435\u0439, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e I-GCG \u0438 \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u043d\u0430\u044f adaptive-\u0430\u0442\u0430\u043a\u0430 \u0431\u0435\u0440\u0443\u0442 100%. \u041f\u0440\u043e\u0431\u0435\u043b\u044b (n\/r) &#8212; \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435 \u0441\u044e\u0436\u0435\u0442: \u043d\u0438 \u043e\u0434\u0438\u043d \u043c\u0435\u0442\u043e\u0434 \u043d\u0435 \u043c\u0435\u0440\u0438\u043b\u0438 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. \u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043d\u0430 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u0435 API &#8212; \u0442\u0435 \u0436\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b, \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u044b GPT\/Claude\/PaLM, \u0438 \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442 \u043a\u0440\u0430\u0441\u043d\u043e\u0440\u0435\u0447\u0438\u0432: Claude-2 \u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0435\u0440\u0435\u043d\u043e\u0441 GCG \u043d\u0430 2.1%, \u043d\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u0432 100% \u043f\u043e\u0434 \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u043e\u0439. \u041e\u0434\u043d\u0430 \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438 \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 (\u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430, GPT-4-\u0441\u0443\u0434\u044c\u044f, black-box \u043f\u0435\u0440\u0435\u043d\u043e\u0441), \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u043b\u0435\u0442\u043a\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u043b\u0438\u0448\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u0440\u0435\u0437 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u043d\u0435 \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u0430 \u0430\u0442\u0430\u043a\u0430\u00bb, \u0430 \u00ab\u0447\u0435\u0433\u043e \u043e\u043d\u0430 \u0441\u0442\u043e\u0438\u0442 \u0438 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0435\u0442 \u043b\u0438 \u0437\u0430\u0449\u0438\u0442\u0443\u00bb. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0442\u0438\u0432 \u0443\u0441\u043f\u0435\u0445\u0430, \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0443\u0437\u044b\u0440\u044f &#8212; \u0441\u0442\u0435\u043b\u0441 (\u0434\u043e\u043b\u044f \u0430\u0442\u0430\u043a\u0438, \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0448\u0430\u044f \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f-\u0444\u0438\u043b\u044c\u0442\u0440), \u0441\u0435\u0440\u043e\u0435 \u043a\u043e\u043b\u044c\u0446\u043e &#8212; \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0434 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043d\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7d4\/9bc\/7da\/7d49bc7dad7cc156f28fcbafe6750a67.png\" alt=\"\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c, \u0443\u0441\u043f\u0435\u0445 \u0438 \u0441\u0442\u0435\u043b\u0441\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/7d4\/9bc\/7da\/7d49bc7dad7cc156f28fcbafe6750a67.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7d4\/9bc\/7da\/7d49bc7dad7cc156f28fcbafe6750a67.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c, \u0443\u0441\u043f\u0435\u0445 \u0438 \u0441\u0442\u0435\u043b\u0441<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u0435\u0448\u0435\u0432\u044b\u0435 I-GCG \u0438 Probe-Sampling \u0438 \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 AmpleGCG \u0441\u043b\u0435\u0432\u0430, \u0434\u043e\u0440\u043e\u0433\u043e\u0439 GCG \u0441\u043f\u0440\u0430\u0432\u0430; \u0430 \u043e\u0441\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0443\u0440\u043e\u043a \u0412\u0435\u0442\u0432\u0438 1 &#8212; gibberish-\u0441\u0443\u0444\u0444\u0438\u043a\u0441 GCG \u0444\u0438\u043b\u044c\u0442\u0440 \u0443\u0431\u0438\u0432\u0430\u0435\u0442 (\u043a\u0440\u0430\u0441\u043d\u044b\u0439, 0%), \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 AutoDAN \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f (\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0437\u0435\u043b\u0435\u043d\u044b\u0439, ~100%).<\/p>\n<p>\u042d\u0442\u043e \u0437\u0430\u043e\u0434\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u0438\u043d \u0445\u0432\u043e\u0441\u0442 \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e. <strong>Ball, Kreuter &amp; Panickssery<\/strong> (<a href=\"https:\/\/arxiv.org\/abs\/2406.09289\" rel=\"noopener noreferrer nofollow\">arXiv:2406.09289<\/a>) \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u044e\u0442 \u00abjailbreak-\u0432\u0435\u043a\u0442\u043e\u0440\u044b\u00bb \u0438\u0437 \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 <em>\u0440\u0430\u0437\u043d\u044b\u0445<\/em> \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0430\u0442\u0430\u043a \u0438 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440, \u0441\u043d\u044f\u0442\u044b\u0439 \u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u0433\u0430\u0441\u0438\u0442 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435, \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u0435\u043f\u043e\u0445\u043e\u0436\u0438\u0435, &#8212; \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e, \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u0438 \u0434\u0435\u043b\u044f\u0442 \u043e\u0434\u0438\u043d \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c, \u0438 \u0447\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 <em>\u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432\u0440\u0435\u0434\u043d\u043e\u0441\u0442\u044c<\/em> \u043f\u0440\u043e\u043c\u043f\u0442\u0430.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0435\u0440\u0435\u043d\u043e\u0441: \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f<\/h4>\n<p>\u0415\u0441\u043b\u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0430\u0442\u0430\u043a\u0430 &#8212; \u044d\u0442\u043e \u0441\u0434\u0432\u0438\u0433 \u0441 refusal direction, \u0442\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f <em>\u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0435\u0439<\/em>, \u0430 \u043d\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u043e\u0439. \u0420\u043e\u0432\u043d\u043e \u044d\u0442\u043e \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0441\u0430\u043c\u044b\u0439 \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0440\u0430\u0437\u0431\u043e\u0440 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u0438:<\/p>\n<blockquote>\n<p><strong>Toward Understanding the Transferability of Adversarial Suffixes in Large Language Models.<\/strong> Ball, Hasrati, Schwarzschild, Robey, Kolter, Kreuter, Risteski, 2025 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2510.22014\" rel=\"noopener noreferrer nofollow\">arXiv:2510.22014<\/a><\/p>\n<\/blockquote>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b68\/967\/8cb\/b689678cb94bd7c00bc402291c401cf9.png\" alt=\"\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b68\/967\/8cb\/b689678cb94bd7c00bc402291c401cf9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b68\/967\/8cb\/b689678cb94bd7c00bc402291c401cf9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0432 <strong>10 000 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c<\/strong> \u0438 \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0432 \u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0430\u0432\u0442\u043e\u0440\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 \u0442\u0440\u0438 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0435, \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u0442\u0441\u044f \u043b\u0438 \u0441\u0443\u0444\u0444\u0438\u043a\u0441. <strong>Suffix push<\/strong> &#8212; \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0442\u043e\u043b\u043a\u0430\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0430\u043d\u0442\u0438\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e refusal direction, \u043f\u0440\u043e\u0447\u044c \u043e\u0442 \u043e\u0442\u043a\u0430\u0437\u0430, &#8212; <strong>\u0441\u0430\u043c\u044b\u0439 \u0441\u0438\u043b\u044c\u043d\u044b\u0439<\/strong> \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u0440. <strong>Orthogonal shift<\/strong> &#8212; \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u0441\u043c\u0435\u0449\u0430\u0435\u0442 \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445, \u043f\u0435\u0440\u043f\u0435\u043d\u0434\u0438\u043a\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043e\u0442\u043a\u0430\u0437\u0443, &#8212; \u0442\u043e\u0436\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442. <strong>Refusal connectivity<\/strong> &#8212; \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043e\u043b\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0443\u0436\u0435 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d \u0441 refusal direction &#8212; \u0434\u0430\u0435\u0442 <em>\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439<\/em> \u044d\u0444\u0444\u0435\u043a\u0442: \u043f\u0440\u043e\u043c\u043f\u0442\u044b, \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0442\u044f\u0433\u043e\u0442\u0435\u044e\u0449\u0438\u0435 \u043a \u043e\u0442\u043a\u0430\u0437\u0443, \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u0442\u044f\u0436\u0435\u043b\u0435\u0435. \u0418 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e: <strong>\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0441 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u043e\u043c \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442.<\/strong> \u041f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043d\u0435 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u043c\u043f\u0442 <em>\u0437\u043d\u0430\u0447\u0438\u0442<\/em>, \u0430 \u0442\u043e, \u043a\u0443\u0434\u0430 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 <em>\u0442\u043e\u043b\u043a\u0430\u0435\u0442<\/em> \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0418 \u043b\u0443\u0447\u0448\u0435\u0435: \u0430\u043d\u0430\u043b\u0438\u0437 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u0438\u0432\u0435\u043d. \u0414\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u0432 \u043b\u043e\u0441\u0441 GCG \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440, \u043f\u043e\u043e\u0449\u0440\u044f\u044e\u0449\u0438\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 push \u0438 shift, &#8212; \u0438 ASR \u0440\u0430\u0441\u0442\u0435\u0442. \u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435; \u044d\u0442\u043e \u0440\u0435\u0446\u0435\u043f\u0442.<\/p>\n<p>\u042d\u0442\u0438 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0447\u0438\u0441\u043b\u0430\u043c\u0438 &#8212; \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430, \u0433\u0434\u0435 \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u044b \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e (Table 8 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438):<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d8d\/874\/2ae\/d8d8742ae94db84fd78421a54bbeab2b.png\" alt=\"\u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d8d\/874\/2ae\/d8d8742ae94db84fd78421a54bbeab2b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d8d\/874\/2ae\/d8d8742ae94db84fd78421a54bbeab2b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<p>Suffix push &#8212; \u0441\u0438\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0439 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u043e\u0440 (\u0434\u043e +2.39), refusal connectivity &#8212; \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 (\u0434\u043e -1.45), orthogonal shift \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442, \u0430 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0434\u0432\u0438\u0433\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u043d\u043e\u0441.<\/p>\n<h4>\u0412\u044b\u0432\u043e\u0434<\/h4>\n<p>\u042d\u0442\u043e \u0442\u0430 \u043b\u0438\u043d\u0437\u0430, \u0447\u0442\u043e \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435. Gibberish GCG \u0438 \u0447\u0438\u0442\u0430\u0435\u043c\u0430\u044f \u043f\u0440\u043e\u0437\u0430 AutoDAN &#8212; \u043d\u0435 \u0434\u0432\u0430 \u044f\u0432\u043b\u0435\u043d\u0438\u044f, \u0430 \u0434\u0432\u0435 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u044b\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f: \u0441\u0434\u0432\u0438\u043d\u0443\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0441 refusal direction, \u043a\u043e\u0442\u043e\u0440\u043e\u0435, \u0447\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043f\u043e \u0444\u043e\u0440\u043c\u0435 \u043e\u0431\u0449\u0435\u0435 \u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u042d\u0442\u0430 \u043e\u0431\u0449\u0430\u044f \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 &#8212; <em>\u043f\u043e\u0447\u0435\u043c\u0443<\/em> \u0430\u0442\u0430\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0430 \u0435\u0435 \u043e\u0431\u0449\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 &#8212; <em>\u043f\u043e\u0447\u0435\u043c\u0443<\/em> \u043e\u043d\u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f. \u0418\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0442\u0440\u044e\u043a 2023 \u0433\u043e\u0434\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0440\u043e\u0449\u0443\u043f\u044b\u0432\u0430\u043d\u0438\u0435\u043c \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0441\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0438\u0445\u043e \u0432\u0438\u0441\u0438\u0442 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 safety-\u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442.<\/p>\n<hr\/>\n<h3>\u0418\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0447\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438: \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0438 \u0437\u0430\u0449\u0438\u0442\u044b<\/h3>\n<p>\u0413\u043e\u043d\u043a\u0430 \u0432\u043e\u043e\u0440\u0443\u0436\u0435\u043d\u0438\u0439 \u0447\u0442\u043e-\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0431\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043c\u0435\u0440\u044f\u044e\u0442 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0448\u043a\u0430\u043b\u0435. \u0414\u0432\u0430 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0434\u0435\u043b\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u043c\u0438, \u0430 \u0435\u0449\u0435 \u0434\u0432\u0430 &#8212; \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u043e\u0431\u043e\u0440\u043e\u043d\u044b.<\/p>\n<h4>\u041e\u0431\u0449\u0438\u0435 \u043b\u0438\u043d\u0435\u0439\u043a\u0438<\/h4>\n<p>\u0414\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043a\u0430\u0442\u0430\u043b\u0430 \u0441\u0432\u043e\u0438 \u0432\u0440\u0435\u0434\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u0443\u0434\u044c\u044e, \u0442\u0430\u043a \u0447\u0442\u043e \u00ab88% ASR\u00bb \u0432 \u043e\u0434\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0438 \u00ab88%\u00bb \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0431\u044b\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c. \u0414\u0432\u0435 \u043b\u0438\u043d\u0435\u0439\u043a\u0438 \u044d\u0442\u043e \u043f\u043e\u0447\u0438\u043d\u0438\u043b\u0438:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/90b\/b58\/675\/90bb586753b7016541241fc9d256a071.png\" alt=\"\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/90b\/b58\/675\/90bb586753b7016541241fc9d256a071.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/90b\/b58\/675\/90bb586753b7016541241fc9d256a071.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438<\/figcaption><\/div>\n<\/figure>\n<p><strong>HarmBench<\/strong> (Mazeika et al., 2024 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2402.04249\" rel=\"noopener noreferrer nofollow\">arXiv:2402.04249<\/a>, ICML 2024) \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0441\u0430\u043c\u0443 red-teaming \u043e\u0446\u0435\u043d\u043a\u0443: \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u0440\u0435\u0434\u043d\u044b\u0445 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0439 \u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440-\u0441\u0443\u0434\u044c\u044e. \u041e\u043d \u0436\u0435 \u0432\u0432\u0435\u043b baseline adversarial training <strong>R2D2<\/strong> &#8212; \u0442\u0443 \u0441\u0430\u043c\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0447\u0442\u043e \u043f\u0430\u043b\u0430 \u043f\u043e\u0434 \u0430\u0442\u0430\u043a\u043e\u0439 \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u043e\u0440\u043c\u044b \u0435\u0449\u0435 \u0432 \u0412\u0435\u0442\u0432\u0438 4, &#8212; \u0438 \u043b\u0435\u0433 \u0432 \u043e\u0441\u043d\u043e\u0432\u0443 NeurIPS 2023 Red Teaming Track. <strong>JailbreakBench<\/strong> (Chao et al., 2024 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2404.01318\" rel=\"noopener noreferrer nofollow\">arXiv:2404.01318<\/a>, NeurIPS 2024 D&amp;B) \u0434\u0435\u043b\u0430\u0435\u0442 \u0443\u043f\u043e\u0440 \u043d\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c: \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 jailbreak-\u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432, 100 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0439 \u043f\u043e\u0434 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 OpenAI, \u0435\u0434\u0438\u043d\u044b\u0439 \u0432\u044b\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0441\u0443\u0434\u044c\u044f \u0438 \u0436\u0438\u0432\u043e\u0439 \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434. \u041e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043f\u043b\u044e\u0441 \u043e\u0434\u0438\u043d \u0441\u0443\u0434\u044c\u044f &#8212; \u0432\u043e\u0442 \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0430\u0442\u0430\u043a \u0438 \u0437\u0430\u0449\u0438\u0442 \u043e\u0442 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u0440\u0443\u043f\u043f \u0431\u043e\u043a \u043e \u0431\u043e\u043a.<\/p>\n<p>\u0410 \u0440\u0430\u0437 \u0432\u0441\u0435 \u043c\u0435\u0440\u044f\u044e\u0442 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043a\u0435, \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432 \u043e\u0434\u0438\u043d \u0440\u044f\u0434. \u0412\u043e\u0442 \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434: \u0441\u0440\u0435\u0434\u043d\u0438\u0439 ASR 16 \u0430\u0442\u0430\u043a \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043d\u0430\u0431\u043e\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 HarmBench, \u043e\u0434\u0438\u043d \u0441\u0443\u0434\u044c\u044f:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cb3\/b06\/177\/cb3b06177b04604a4998232fe3dcee98.png\" alt=\"\u041b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 \u0430\u0442\u0430\u043a\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cb3\/b06\/177\/cb3b06177b04604a4998232fe3dcee98.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cb3\/b06\/177\/cb3b06177b04604a4998232fe3dcee98.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 \u0430\u0442\u0430\u043a<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u0432\u0435\u0440\u0445\u0443 &#8212; GCG (54%) \u0438 AutoDAN (53%), \u0437\u0430 \u043d\u0438\u043c\u0438 black-box TAP \u0438 PAIR; \u0441\u043d\u0438\u0437\u0443 &#8212; prompting-\u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u044b (Human, Zero-Shot, Direct Request) \u043f\u043e\u0447\u0442\u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u00ab\u0431\u0435\u0437 \u0430\u0442\u0430\u043a\u0438\u00bb. \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u0438 \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0440\u0443\u0447\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043e\u043a &#8212; \u0438 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437, \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0448\u043a\u0430\u043b\u0435.<\/p>\n<h4>\u0420\u0430\u0437\u0432\u0438\u043b\u043a\u0430 \u0437\u0430\u0449\u0438\u0442<\/h4>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043e\u0442\u0432\u0435\u0442\u044b \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0435 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u0438 &#8212; \u043e\u0434\u043d\u0430 \u0434\u0435\u0448\u0435\u0432\u0430\u044f \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u0430\u044f, \u0434\u0440\u0443\u0433\u0430\u044f \u0434\u043e\u043a\u0430\u0437\u0443\u0435\u043c\u0430\u044f, \u043d\u043e \u0443\u0437\u043a\u0430\u044f:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0db\/8da\/841\/0db8da841f7e39d27a52483fd1749541.png\" alt=\"\u0417\u0430\u0449\u0438\u0442\u044b\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/0db\/8da\/841\/0db8da841f7e39d27a52483fd1749541.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0db\/8da\/841\/0db8da841f7e39d27a52483fd1749541.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0417\u0430\u0449\u0438\u0442\u044b<\/figcaption><\/div>\n<\/figure>\n<p><strong>SmoothLLM<\/strong> (Robey, Wong, Hassani, Pappas, 2023 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2310.03684\" rel=\"noopener noreferrer nofollow\">arXiv:2310.03684<\/a>) &#8212; <em>\u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f<\/em> \u0432\u0435\u0442\u0432\u044c. \u041e\u043d\u0430 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0445\u0440\u0443\u043f\u043a\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0443\u0436\u0435 \u0432\u0438\u0434\u0435\u043b\u0438 \u0432 \u0412\u0435\u0442\u0432\u0438 1: \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b GCG \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u044b\u0445 \u043f\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0430\u0432\u043e\u043a. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 SmoothLLM \u0432\u043e\u0437\u043c\u0443\u0449\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0434\u043e\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043f\u0438\u0439 \u0432\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0438\u0445 \u0432\u0441\u0435 \u0438 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043d\u0438\u0435\u043c &#8212; \u0440\u0430\u043d\u0434\u043e\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0438\u0437 \u0442\u0435\u043e\u0440\u0438\u0438 adversarial-\u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438. \u042d\u0442\u043e \u0440\u043e\u043d\u044f\u0435\u0442 \u0443\u0441\u043f\u0435\u0445 GCG \u043f\u043e\u0447\u0442\u0438 \u0434\u043e \u043d\u0443\u043b\u044f \u0438 \u0441\u0442\u0430\u0432\u0438\u0442 SOTA \u043f\u0440\u043e\u0442\u0438\u0432 GCG, PAIR, RandomSearch \u0438 AmpleGCG &#8212; \u0438, \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0434\u0430\u0436\u0435 \u043f\u0440\u043e\u0442\u0438\u0432 adaptive GCG. \u041d\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f <strong>\u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f, \u0430 \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f<\/strong>: \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0435\u043d\u044b \u043f\u0440\u043e\u0442\u0438\u0432 \u0430\u0442\u0430\u043a\u0443\u044e\u0449\u0435\u0433\u043e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043e\u043b\u0435\u043d \u043f\u043e\u0434\u0441\u0442\u0440\u043e\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u0441\u0430\u043c\u0443 \u0437\u0430\u0449\u0438\u0442\u0443, \u0442\u0443\u0442 \u043d\u0435\u0442 &#8212; \u0440\u043e\u0432\u043d\u043e \u0442\u0430 \u0443\u044f\u0437\u0432\u0438\u043c\u043e\u0441\u0442\u044c, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0412\u0435\u0442\u0432\u044c 4 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u043b\u0430 \u043f\u0440\u043e \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0449\u0438\u0442\u044b \u0432 \u0446\u0435\u043b\u043e\u043c.<\/p>\n<p><strong>erase-and-check<\/strong> (Kumar et al., 2023 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2309.02705\" rel=\"noopener noreferrer nofollow\">arXiv:2309.02705<\/a>) &#8212; \u0432\u0435\u0442\u0432\u044c \u0441 <em>\u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439<\/em> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u0441 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u0440\u043e\u0433\u043e\u0439 \u0437\u0430\u0449\u0438\u0442\u043e\u0439. \u041e\u043d\u0430 \u0441\u0442\u0438\u0440\u0430\u0435\u0442 \u0438\u0437 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0443\u044e\u0441\u044f \u043f\u043e\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 safety-\u0444\u0438\u043b\u044c\u0442\u0440; \u0435\u0441\u043b\u0438 \u0445\u043e\u0442\u044c \u043e\u0434\u043d\u0430 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u0430 \u0432\u0440\u0435\u0434\u043d\u043e\u0439, \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u043c\u043f\u0442 \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u0438 \u0434\u0430\u0435\u0442 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044e: \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0442\u0430\u0449\u0438\u0442\u044c \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u043c\u0438\u043c\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430. \u041d\u043e \u0446\u0435\u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u0430 &#8212; \u044d\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0440\u043e\u0433\u043e (\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0437\u043e\u0432\u043e\u0432 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442) \u0438 \u0443\u0437\u043a\u043e (\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b, \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0438 \u0432\u043a\u0440\u0430\u043f\u043b\u0435\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b).<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>\u0414\u0432\u0435 \u0437\u0430\u0449\u0438\u0442\u044b \u0432 \u043c\u0438\u043d\u0438\u0430\u0442\u044e\u0440\u0435 \u0440\u0438\u0441\u0443\u044e\u0442 \u0432\u0441\u044e \u0434\u0438\u043b\u0435\u043c\u043c\u0443 \u043e\u0431\u043e\u0440\u043e\u043d\u044b. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u0440\u043e\u0434\u0435 SmoothLLM \u0434\u0435\u0448\u0435\u0432\u044b, \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0435\u0441\u0442\u044c \u0438 \u0448\u0438\u0440\u043e\u043a\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b &#8212; \u043f\u043e\u043a\u0430 \u043a\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u043d\u0435 \u043f\u043e\u0434\u0433\u043e\u043d\u0438\u0442 \u0430\u0442\u0430\u043a\u0443 \u043f\u043e\u0434 \u043d\u0438\u0445, \u0440\u043e\u0432\u043d\u043e \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u043b\u0430 \u0412\u0435\u0442\u0432\u044c 4. \u041c\u0435\u0442\u043e\u0434\u044b \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439 \u0434\u0430\u044e\u0442 \u0437\u0430\u0449\u0438\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u043d\u043e \u043b\u0438\u0448\u044c \u043d\u0430 \u0443\u0437\u043a\u043e\u043c \u0438 \u0434\u043e\u0440\u043e\u0433\u043e\u043c \u0441\u0440\u0435\u0437\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0443\u0433\u0440\u043e\u0437. \u041d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0435\u0442 \u0437\u0430\u0449\u0438\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u044b\u043b\u0430 \u0431\u044b \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043e\u0439, \u0448\u0438\u0440\u043e\u043a\u043e\u0439 \u0438 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439, &#8212; \u0438 \u044d\u0442\u043e \u0442\u0430 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u0442\u044c \u0434\u0435\u043b\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u043a\u0446\u0438\u0438.<\/p>\n<p>\u0412\u0441\u044e \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0443 \u0432\u0438\u0434\u043d\u043e \u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u043e\u0439 &#8212; \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0437\u0430\u0449\u0438\u0442\u0430 \u0441\u0430\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0448\u0438\u0440\u043e\u0442\u0435 \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u0438 \u0441\u0438\u043b\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0446\u0435\u043d\u0430, \u0446\u0432\u0435\u0442\u043e\u043c &#8212; \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043b\u0438 \u043e\u043d\u0430 adaptive-\u0430\u0442\u0430\u043a\u0443:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/695\/5fc\/b2c\/6955fcb2c7910d818600ecdd396be01c.png\" alt=\"\u041b\u0430\u043d\u0434\u0448\u0430\u0444\u0442 \u0437\u0430\u0449\u0438\u0442\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/695\/5fc\/b2c\/6955fcb2c7910d818600ecdd396be01c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/695\/5fc\/b2c\/6955fcb2c7910d818600ecdd396be01c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041b\u0430\u043d\u0434\u0448\u0430\u0444\u0442 \u0437\u0430\u0449\u0438\u0442<\/figcaption><\/div>\n<\/figure>\n<p>(\u041a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430, \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b.) \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 SmoothLLM \u0438 perplexity-\u0444\u0438\u043b\u044c\u0442\u0440 \u0441\u0442\u043e\u044f\u0442 \u0448\u0438\u0440\u043e\u043a\u043e \u0438 \u0434\u0435\u0448\u0435\u0432\u043e, \u043d\u043e \u043a\u0440\u0430\u0441\u043d\u044b\u0435 &#8212; \u043f\u0430\u0434\u0430\u044e\u0442 \u043f\u043e\u0434 adaptive. \u0414\u043e\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 erase-and-check \u0437\u0435\u043b\u0435\u043d\u044b\u0439 (\u0441 \u0447\u0435\u0441\u0442\u043d\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439), \u043d\u043e \u0443\u0437\u043a\u0438\u0439 \u0438 \u0434\u043e\u0440\u043e\u0433\u043e\u0439. Adversarial training R2D2 \u0443\u0437\u043a\u0438\u0439 \u0438 \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f. \u0412\u0435\u0440\u0445\u043d\u0438\u0439 \u043f\u0440\u0430\u0432\u044b\u0439 \u0443\u0433\u043e\u043b &#8212; \u0448\u0438\u0440\u043e\u043a\u043e <em>\u0438<\/em> \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439 &#8212; \u043f\u0443\u0441\u0442\u043e\u0439: \u0442\u0430\u043a\u043e\u0439 \u0437\u0430\u0449\u0438\u0442\u044b \u043f\u043e\u043a\u0430 \u043d\u0435\u0442.<\/p>\n<p>\u0410 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0430\u0442\u0430\u043a\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u0430 \u0436\u0435 \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a &#8212; \u043a\u0430\u043a\u0430\u044f \u0430\u0442\u0430\u043a\u0430 \u043a\u0430\u043a\u0443\u044e \u0437\u0430\u0449\u0438\u0442\u0443 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/389\/894\/9ee\/3898949eea18639b57b38af907495a85.png\" alt=\"\u041a\u0430\u043a \u0430\u0442\u0430\u043a\u0438 \u0432\u044b\u0436\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0434 \u0437\u0430\u0449\u0438\u0442\u0430\u043c\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/389\/894\/9ee\/3898949eea18639b57b38af907495a85.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/389\/894\/9ee\/3898949eea18639b57b38af907495a85.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a \u0430\u0442\u0430\u043a\u0438 \u0432\u044b\u0436\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0434 \u0437\u0430\u0449\u0438\u0442\u0430\u043c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f-\u0444\u0438\u043b\u044c\u0442\u0440 \u043b\u043e\u0432\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e gibberish: GCG \u043f\u0430\u0434\u0430\u0435\u0442 \u0432 1%, \u0430 \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 AutoDAN \u0438 \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 AmpleGCG \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430\u0441\u043a\u0432\u043e\u0437\u044c (88 \u0438 80). SmoothLLM \u0431\u044c\u0435\u0442 \u0448\u0438\u0440\u0435. \u0410 erase-and-check \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439 &#8212; \u0441\u0430\u043c\u044b\u0439 \u0436\u0435\u0441\u0442\u043a\u0438\u0439: \u0441\u043d\u043e\u0441\u0438\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0432 0-17%, \u0432\u043a\u043b\u044e\u0447\u0430\u044f adaptive random search. \u0420\u0430\u0441\u043f\u043b\u0430\u0442\u0430 \u0437\u0430 \u044d\u0442\u043e &#8212; \u0442\u0430 \u0441\u0430\u043c\u0430\u044f \u0443\u0437\u043e\u0441\u0442\u044c \u0438 \u0434\u043e\u0440\u043e\u0433\u043e\u0432\u0438\u0437\u043d\u0430 \u0438\u0437 \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0438 \u0432\u044b\u0448\u0435.<\/p>\n<hr\/>\n<h3>\u0413\u0434\u0435 \u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 (2025-2026)<\/h3>\n<p>GCG \u043d\u0435 \u0443\u0433\u0430\u0441. \u041e\u043d \u043e\u0442\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f, \u0443\u0448\u0435\u043b \u0432 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b \u0437\u0430 refusal direction \u0432 \u0441\u0430\u043c\u043e \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/591\/378\/15a\/59137815ae8538034f4fa02c6fd63cf1.png\" alt=\"\u041a\u0443\u0434\u0430 \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0444\u0440\u043e\u043d\u0442\u0438\u0440\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/591\/378\/15a\/59137815ae8538034f4fa02c6fd63cf1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/591\/378\/15a\/59137815ae8538034f4fa02c6fd63cf1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0443\u0434\u0430 \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0444\u0440\u043e\u043d\u0442\u0438\u0440<\/figcaption><\/div>\n<\/figure>\n<p><strong>GCG \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f &#8212; \u0438 reasoning \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0430\u0431\u044b\u043c \u043c\u0435\u0441\u0442\u043e\u043c.<\/strong> <em>The Resurgence of GCG<\/em> (Tan et al., 2025 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2509.00391\" rel=\"noopener noreferrer nofollow\">arXiv:2509.00391<\/a>) \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 GCG \u0438 \u0435\u0433\u043e annealing-\u0432\u0430\u0440\u0438\u0430\u043d\u0442 <strong>T-GCG<\/strong> \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e GPT-OSS-20B. \u0412\u044b\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u0440\u0438 \u043d\u0430\u0445\u043e\u0434\u043a\u0438. \u0423\u0441\u043f\u0435\u0445 \u0430\u0442\u0430\u043a\u0438 <strong>\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> &#8212; \u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442 \u043b\u043e\u0441\u0441\u0430 \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0438\u0437\u043b\u043e\u043c\u0430\u043d, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443 \u0442\u0440\u0443\u0434\u043d\u0435\u0435 \u043d\u0430\u0439\u0442\u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c. \u0414\u0435\u0448\u0435\u0432\u044b\u0439 prefix-\u0441\u0443\u0434\u044c\u044f (\u043e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0449\u0435\u0442 \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 \u043e\u0442\u043a\u0430\u0437\u043d\u044b\u0435 \u043c\u0430\u0440\u043a\u0435\u0440\u044b \u0432\u0440\u043e\u0434\u0435 \u00abI\u2019m sorry\u00bb) <strong>\u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442<\/strong> \u0443\u0441\u043f\u0435\u0445 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0440\u043e\u0433\u0438\u043c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u0443\u0434\u044c\u0435\u0439 GPT-4o &#8212; \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u043b\u0435 \u043c\u0435\u0440\u044f\u0435\u0442 \u0441\u0430\u043c\u043e \u0441\u0435\u0431\u044f. \u0418 <strong>coding\/reasoning-\u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u044f\u0437\u0432\u0438\u043c\u0435\u0435<\/strong> \u043e\u0431\u044b\u0447\u043d\u044b\u0445 safety-\u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0441\u0430\u043c\u043e \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u0430\u0442\u0430\u043a\u0438. \u0418\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u043e\u0442\u0436\u0438\u0433\u0430 (simulated annealing) \u0432 T-GCG \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0442 \u043f\u043e\u0438\u0441\u043a \u0438 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043d\u0430\u0440\u0430\u0432\u043d\u0435 \u0443 prefix-\u0441\u0443\u0434\u044c\u0438, \u0445\u043e\u0442\u044f \u043f\u0440\u0438 \u0441\u0442\u0440\u043e\u0433\u043e\u0439 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u044d\u0442\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u0442\u0430\u0435\u0442.<\/p>\n<p>\u0412\u0435\u0441\u044c \u044d\u0442\u043e\u0442 \u0441\u0434\u0432\u0438\u0433 \u0443\u0434\u043e\u0431\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 &#8212; \u043f\u0430\u0434\u0435\u043d\u0438\u0435 ASR \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438, \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u0435\u0436\u0434\u0443 \u0441\u0443\u0434\u044c\u044f\u043c\u0438 \u0438 \u0442\u043e, \u043a\u0443\u0434\u0430 \u0430\u0442\u0430\u043a\u0430 \u0443\u0445\u043e\u0434\u0438\u0442 \u0434\u0430\u043b\u044c\u0448\u0435:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1dd\/de3\/77b\/1ddde377b9aa68461f768f3f083783ce.png\" alt=\"\u0424\u0440\u043e\u043d\u0442\u0438\u0440: \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u043a\u0443\u0434\u0430 \u0443\u0445\u043e\u0434\u0438\u0442 \u0430\u0442\u0430\u043a\u0430\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/1dd\/de3\/77b\/1ddde377b9aa68461f768f3f083783ce.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1dd\/de3\/77b\/1ddde377b9aa68461f768f3f083783ce.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0424\u0440\u043e\u043d\u0442\u0438\u0440: \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u043a\u0443\u0434\u0430 \u0443\u0445\u043e\u0434\u0438\u0442 \u0430\u0442\u0430\u043a\u0430<\/figcaption><\/div>\n<\/figure>\n<p>(\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430: T-GCG Table 1 \u0438 LARGO Table 1; \u0434\u0432\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f &#8212; \u0440\u0430\u0437\u043d\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439.) \u0421 \u0440\u043e\u0441\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 ASR \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 93 \u0434\u043e 4, prefix-\u0441\u0443\u0434\u044c\u044f \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442 \u0443\u0441\u043f\u0435\u0445 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e (\u0437\u0430\u043a\u0440\u0430\u0448\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432), \u0430 \u043d\u0430 20B prefix-\u0441\u0443\u0434\u044c\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 &#8212; \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0432\u044b\u0434\u0430\u0435\u0442 refusal-\u043c\u0430\u0440\u043a\u0435\u0440\u044b. Coding-\u043f\u0440\u043e\u043c\u043f\u0442\u044b \u0432\u044b\u0448\u0435 safety \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 (\u043d\u0430 20B 12.3 \u043f\u0440\u043e\u0442\u0438\u0432 4.0). \u0410 LARGO \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u044b\u0441\u043a\u0430\u043a\u0438\u0432\u0430\u0435\u0442 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0430\u0434\u0430 &#8212; \u043d\u0430 Llama-2-13B 51 \u043f\u0440\u043e\u0442\u0438\u0432 AutoDAN 7, \u0442\u043e \u0435\u0441\u0442\u044c +44 ASR.<\/p>\n<p><strong>\u0424\u0440\u043e\u043d\u0442\u0438\u0440 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e.<\/strong> LARGO (Li, Wang, Mao, 2025 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2505.10838\" rel=\"noopener noreferrer nofollow\">arXiv:2505.10838<\/a>) \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b. \u041e\u043d \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 <strong>\u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 adversarial-\u0432\u0435\u043a\u0442\u043e\u0440<\/strong> \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0431\u0435\u0433\u043b\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u044e &#8212; \u0438 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 AutoDAN \u043d\u0430 44 \u043f\u0443\u043d\u043a\u0442\u0430 ASR. \u042d\u0442\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0445\u043e\u0434, \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0432\u0435\u0440\u0438\u043c, \u0447\u0442\u043e \u0430\u0442\u0430\u043a\u0430 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043f\u0440\u043e \u0442\u043e, <em>\u043a\u0443\u0434\u0430 \u043c\u044b \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u043c \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439<\/em>, \u0430 \u043d\u0435 \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u0435\u0447\u0430\u0442\u0430\u0435\u043c.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6b8\/7b8\/5ef\/6b87b85ef0e2da6a507abd6130c88324.png\" alt=\"LARGO: \u0430\u0442\u0430\u043a\u0430 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/6b8\/7b8\/5ef\/6b87b85ef0e2da6a507abd6130c88324.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6b8\/7b8\/5ef\/6b87b85ef0e2da6a507abd6130c88324.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>LARGO: \u0430\u0442\u0430\u043a\u0430 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0440\u0438 \u0441\u0442\u0430\u0434\u0438\u0438: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 latent-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0434 \u0446\u0435\u043b\u0435\u0432\u043e\u0435 \u00abSure, here is\u2026\u00bb (Stage 1), \u0437\u0430\u0442\u0435\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u0435\u043c \u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0431\u0435\u0433\u043b\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u044e &#8212; \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0442\u043e-\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u00abI\u2019m just curious\u00bb (Stage 2), \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044e (Stage 3).<\/p>\n<p><strong>\u0418 \u043e\u0442\u043a\u0430\u0437 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 chain-of-thought.<\/strong> \u0420\u0430\u0431\u043e\u0442\u0430 \u043f\u0440\u043e reasoning-\u043c\u043e\u0434\u0435\u043b\u0438 (Yamaguchi, Etheridge \u0438 &#8212; \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 &#8212; <strong>Arditi<\/strong>, 2025 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2507.03167\" rel=\"noopener noreferrer nofollow\">arXiv:2507.03167<\/a>, ICML 2025 R2FM) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0432 reasoning-\u043c\u043e\u0434\u0435\u043b\u0438 (DeepSeek-R1-Distill-Llama-8B) \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0431 \u043e\u0442\u043a\u0430\u0437\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f <strong>\u0432\u043d\u0443\u0442\u0440\u0438 chain-of-thought<\/strong>, \u0430 \u043d\u0435 \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u00ab\u043f\u0440\u043e\u043c\u043f\u0442-\u043e\u0442\u0432\u0435\u0442\u00bb. \u0422\u0430\u043c \u0436\u0438\u0432\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 <strong>\u00abcaution\u00bb-\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/strong>, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c compliance: \u0441\u0442\u0438\u0440\u0430\u0435\u043c \u0435\u0433\u043e &#8212; \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434\u0447\u0438\u043d\u044f\u0435\u0442\u0441\u044f; \u0432\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 CoT-\u0442\u043e\u043a\u0435\u043d\u044b &#8212; \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0445\u043e\u0434. \u0422\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 Arditi \u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u043e refusal direction &#8212; \u0442\u0435\u043e\u0440\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442\u0441\u044f \u043d\u0430 CoT, \u0438 chain-of-thought \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u043e\u0432\u043e\u0439 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c\u044e \u0430\u0442\u0430\u043a\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d1\/e03\/e83\/9d1e03e83f913404fc17cc23af0c726e.png\" alt=\"\u0413\u0434\u0435 \u0436\u0438\u0432\u0435\u0442 chain-of-thought\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9d1\/e03\/e83\/9d1e03e83f913404fc17cc23af0c726e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d1\/e03\/e83\/9d1e03e83f913404fc17cc23af0c726e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0413\u0434\u0435 \u0436\u0438\u0432\u0435\u0442 chain-of-thought<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0447\u0430\u0442-\u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c \u0441\u0440\u0430\u0437\u0443 \u0438\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0442, \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0431 \u043e\u0442\u043a\u0430\u0437\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430. \u0412 reasoning-\u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u0435\u043d chain-of-thought &#8212; \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f, \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c \u0438\u043b\u0438 \u043d\u0435\u0442.<\/p>\n<p>\u0418 \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u0432 \u0447\u0438\u0441\u043b\u0430\u0445 &#8212; \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441 \u043e\u0442\u043a\u0430\u0437\u043e\u043c, \u0435\u0441\u043b\u0438 \u0441\u0442\u0435\u0440\u0435\u0442\u044c \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b29\/6d2\/59f\/b296d259fad49f67da4f014fa3ef4591.png\" alt=\"CoT: \u043e\u0442\u043a\u0430\u0437 \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b29\/6d2\/59f\/b296d259fad49f67da4f014fa3ef4591.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b29\/6d2\/59f\/b296d259fad49f67da4f014fa3ef4591.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>CoT: \u043e\u0442\u043a\u0430\u0437 \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u043e\u0442\u043a\u0430\u0437\u0430 (\u0441\u0438\u043d\u0438\u0439) \u0443 GPT-OSS-20B &#8212; 93%. \u0421\u0442\u0438\u0440\u0430\u0435\u043c \u00abcaution\u00bb-\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 chain-of-thought (\u043a\u0440\u0430\u0441\u043d\u044b\u0439) &#8212; \u0438 \u043e\u043d\u0430 \u043f\u0430\u0434\u0430\u0435\u0442 \u0434\u043e 3.5%, \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043f\u0440\u0438 \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435 \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043f\u0440\u043e\u043c\u043f\u0442-\u043e\u0442\u0432\u0435\u0442 (\u043e\u0440\u0430\u043d\u0436\u0435\u0432\u044b\u0439). \u0422\u043e \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0431 \u043e\u0442\u043a\u0430\u0437\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0436\u0438\u0432\u0435\u0442 \u0432 CoT.<\/p>\n<p><strong>\u041f\u043e\u043b\u0435 \u043f\u043e\u0434\u0432\u043e\u0434\u0438\u0442 \u0438\u0442\u043e\u0433\u0438.<\/strong> \u0421\u0432\u0435\u0436\u0438\u0435 \u043e\u0431\u0437\u043e\u0440\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Mao et al., 2025 &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2506.15170\" rel=\"noopener noreferrer nofollow\">arXiv:2506.15170<\/a>) \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u044e\u0442 \u0442\u0430\u043a\u0441\u043e\u043d\u043e\u043c\u0438\u044e \u043d\u0430 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432. \u041e\u0431\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u0430 &#8212; \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f: white-box \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u0430\u0442\u0430\u043a\u0438 \u0431\u0435\u0440\u0443\u0442 \u043d\u0430 open-weight \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435, \u0430 \u0437\u0430\u0449\u0438\u0442\u044b \u0434\u0435\u0440\u0436\u0430\u0442 \u043b\u0438\u0448\u044c \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e. \u0412\u044b\u0432\u043e\u0434 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 &#8212; \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u0442 \u0440\u0435\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u0430\u043f\u043b\u0430\u0442\u043e\u043a \u043a \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0434\u0438\u0437\u0430\u0439\u043d\u0443 (security-by-design).<\/p>\n<hr\/>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0441\u0436\u0430\u0442\u044c \u0432\u0441\u044e \u0441\u0435\u0440\u0438\u044e \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u0437\u0438\u0441\u043e\u0432:<\/p>\n<p>\u041d\u0430 open-weight \u043c\u043e\u0434\u0435\u043b\u044f\u0445 white-box \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 &#8212; \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 random search &#8212; \u0431\u0435\u0440\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435, \u0430 \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u043d\u0430 closed-source \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u0441\u043e\u043a. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0449\u0438\u0442\u044b (perplexity-\u0444\u0438\u043b\u044c\u0442\u0440\u044b, SmoothLLM) \u0441\u043d\u043e\u0441\u044f\u0442\u0441\u044f adaptive-\u0430\u0442\u0430\u043a\u0430\u043c\u0438, \u0430 adversarial training \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0434\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u0438 \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435; \u0437\u0430\u0449\u0438\u0442\u044b \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439 \u0447\u0435\u0441\u0442\u043d\u044b, \u043d\u043e \u0443\u0437\u043a\u0438 \u0438 \u0434\u043e\u0440\u043e\u0433\u0438.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u0442\u0435\u0437\u0438\u0441 \u043f\u0440\u043e \u0437\u0430\u0449\u0438\u0442\u044b \u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443: \u043f\u043e X &#8212; \u0447\u0442\u043e \u0437\u0430\u0449\u0438\u0442\u0430 \u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u043e\u0442\u0438\u0432 \u0443\u0433\u0440\u043e\u0437\u044b, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0430, \u043f\u043e Y &#8212; \u0447\u0442\u043e \u043f\u043e\u0434 \u043d\u0435\u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u043e\u0439 \u0430\u0442\u0430\u043a\u0438. \u0427\u0435\u043c \u0432\u044b\u0448\u0435 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u0438, \u0442\u0435\u043c \u0445\u0440\u0443\u043f\u0447\u0435:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d2\/044\/024\/9d204402403735a944029b31efe825df.png\" alt=\"\u0417\u0430\u0449\u0438\u0442\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9d2\/044\/024\/9d204402403735a944029b31efe825df.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d2\/044\/024\/9d204402403735a944029b31efe825df.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0417\u0430\u0449\u0438\u0442\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f<\/figcaption><\/div>\n<\/figure>\n<p>(\u041a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430.) \u0422\u0440\u0438 \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u0441\u0438\u0434\u044f\u0442 \u0432\u044b\u0441\u043e\u043a\u043e \u043d\u0430\u0434 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u044e &#8212; \u0434\u0435\u0440\u0436\u0430\u0442 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0443\u044e \u0443\u0433\u0440\u043e\u0437\u0443 \u0438 \u0440\u0443\u0448\u0430\u0442\u0441\u044f \u043d\u0430 \u043d\u043e\u0432\u043e\u0439: R2D2 \u043d\u0430 in-context \u043f\u0440\u043e\u043c\u043f\u0442\u0435, perplexity-\u0444\u0438\u043b\u044c\u0442\u0440 \u043d\u0430 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435, SmoothLLM \u043d\u0430 \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u0435. \u0422\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 erase-and-check \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0443 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u0438 &#8212; \u0438 \u043b\u0438\u0448\u044c \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0432\u043e\u0435\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b.<\/p>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 &#8212; \u043d\u0435 \u00ab\u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u00bb. \u042d\u0442\u043e <strong>refusal direction<\/strong> \u0438 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f \u0442\u043e\u0433\u043e, \u043a\u0443\u0434\u0430 \u0430\u0442\u0430\u043a\u0430 \u0442\u043e\u043b\u043a\u0430\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u0430 \u043e\u0434\u043d\u0430 \u0438\u0434\u0435\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u0430\u0442\u0430\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0438 \u043a\u0443\u0434\u0430 \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0444\u0440\u043e\u043d\u0442\u0438\u0440 &#8212; \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, reasoning, chain-of-thought.<\/p>\n<p>\u0421\u0435\u0440\u0438\u044f \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u0441 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e\u0433\u043e \u0442\u0440\u044e\u043a\u0430, \u0430 \u043f\u0440\u0438\u0448\u043b\u0430 \u043a \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044e: safety-\u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u0438\u0441\u0438\u0442 \u043d\u0430 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. Gibberish GCG \u0438 \u043e\u0442\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u0440\u043e\u0437\u0430 AutoDAN \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0431\u044b\u043b\u0438 \u0434\u0432\u0443\u043c\u044f \u044f\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438; \u044d\u0442\u043e \u0431\u044b\u043b\u0438 \u0434\u0432\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0434\u043d\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 &#8212; \u0441\u0434\u0432\u0438\u043d\u0443\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0441 refusal direction, \u043f\u043e \u0444\u043e\u0440\u043c\u0435 \u043e\u0431\u0449\u0435\u0433\u043e \u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0418 \u043f\u043e\u043a\u0430 safety \u0436\u0438\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e\u0439 \u043e\u0434\u043d\u043e\u0439 \u043e\u0441\u0438, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0435\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c.<\/p>\n<h4>\u0412\u0441\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u0432 \u0446\u0438\u0444\u0440\u0430\u0445<\/h4>\n<p>\u0418 \u043d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a &#8212; \u0442\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0432\u043e\u0434\u044f\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0437 \u0432\u0441\u0435\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430 \u043e\u0431\u0449\u0438\u0435 \u0448\u043a\u0430\u043b\u044b.<\/p>\n<p>\u041a\u0430\u043a\u0438\u0435 \u0430\u0442\u0430\u043a\u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c &#8212; 16 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0435 HarmBench:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cb3\/b06\/177\/cb3b06177b04604a4998232fe3dcee98.png\" alt=\"\u041b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 \u0430\u0442\u0430\u043a\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cb3\/b06\/177\/cb3b06177b04604a4998232fe3dcee98.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cb3\/b06\/177\/cb3b06177b04604a4998232fe3dcee98.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 \u0430\u0442\u0430\u043a<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0442\u043e \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 API &#8212; 9 \u0430\u0442\u0430\u043a \u00d7 10 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0438\u0437 \u0448\u0435\u0441\u0442\u0438 \u0441\u0442\u0430\u0442\u0435\u0439:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/186\/190\/526\/1861905261bc0ad9acdc36c5d9703c8d.png\" alt=\"\u041a\u0442\u043e \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/186\/190\/526\/1861905261bc0ad9acdc36c5d9703c8d.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/186\/190\/526\/1861905261bc0ad9acdc36c5d9703c8d.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0442\u043e \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u043a\u0430\u043a\u0430\u044f \u0430\u0442\u0430\u043a\u0430 \u043a\u0430\u043a\u0443\u044e \u0437\u0430\u0449\u0438\u0442\u0443 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/389\/894\/9ee\/3898949eea18639b57b38af907495a85.png\" alt=\"\u041a\u0430\u043a \u0430\u0442\u0430\u043a\u0438 \u0432\u044b\u0436\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0434 \u0437\u0430\u0449\u0438\u0442\u0430\u043c\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/389\/894\/9ee\/3898949eea18639b57b38af907495a85.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/389\/894\/9ee\/3898949eea18639b57b38af907495a85.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a \u0430\u0442\u0430\u043a\u0438 \u0432\u044b\u0436\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0434 \u0437\u0430\u0449\u0438\u0442\u0430\u043c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0434\u0438\u043d \u0441\u044e\u0436\u0435\u0442, \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0440\u0435\u0437\u044b: \u0430\u0442\u0430\u043a\u0438 \u0431\u0435\u0440\u0443\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435, \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0438 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0434\u0435\u043b\u0430\u044e\u0442 \u043e\u0434\u043d\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435, \u0430 \u0437\u0430\u0449\u0438\u0442\u044b \u0434\u0435\u0440\u0436\u0430\u0442 \u043b\u0438\u0448\u044c \u0442\u0430\u043c, \u0433\u0434\u0435 \u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438.<\/p>\n<hr\/>\n<p><em>Mrs Wallbreaker or: How I Learned to Stop Worrying and Love the AGI. About AI Risk, AI Alignment, AI Safety, AI Ethics.<\/em><\/p>\n<p><a href=\"https:\/\/t.me\/MrsWallbreaker\" rel=\"noopener noreferrer nofollow\"><em>t.me\/MrsWallbreaker<\/em><\/a><\/p>\n<hr\/>\n<h3>\u0421\u0441\u044b\u043b\u043a\u0438<\/h3>\n<ul>\n<li>\n<p>GCG &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2307.15043\" rel=\"noopener noreferrer nofollow\">arXiv:2307.15043<\/a><\/p>\n<\/li>\n<li>\n<p>AutoDAN (genetic) &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2310.04451\" rel=\"noopener noreferrer nofollow\">arXiv:2310.04451<\/a><\/p>\n<\/li>\n<li>\n<p>AutoDAN (gradient) &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2310.15140\" rel=\"noopener noreferrer nofollow\">arXiv:2310.15140<\/a><\/p>\n<\/li>\n<li>\n<p>AmpleGCG &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2404.07921\" rel=\"noopener noreferrer nofollow\">arXiv:2404.07921<\/a><\/p>\n<\/li>\n<li>\n<p>I-GCG &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2405.21018\" rel=\"noopener noreferrer nofollow\">arXiv:2405.21018<\/a><\/p>\n<\/li>\n<li>\n<p>Probe Sampling &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2403.01251\" rel=\"noopener noreferrer nofollow\">arXiv:2403.01251<\/a><\/p>\n<\/li>\n<li>\n<p>Adaptive attacks &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2404.02151\" rel=\"noopener noreferrer nofollow\">arXiv:2404.02151<\/a><\/p>\n<\/li>\n<li>\n<p>Refusal direction &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2406.11717\" rel=\"noopener noreferrer nofollow\">arXiv:2406.11717<\/a><\/p>\n<\/li>\n<li>\n<p>Jailbreak latent dynamics &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2406.09289\" rel=\"noopener noreferrer nofollow\">arXiv:2406.09289<\/a><\/p>\n<\/li>\n<li>\n<p>Transferability geometry &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2510.22014\" rel=\"noopener noreferrer nofollow\">arXiv:2510.22014<\/a><\/p>\n<\/li>\n<li>\n<p>HarmBench &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2402.04249\" rel=\"noopener noreferrer nofollow\">arXiv:2402.04249<\/a><\/p>\n<\/li>\n<li>\n<p>JailbreakBench &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2404.01318\" rel=\"noopener noreferrer nofollow\">arXiv:2404.01318<\/a><\/p>\n<\/li>\n<li>\n<p>SmoothLLM &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2310.03684\" rel=\"noopener noreferrer nofollow\">arXiv:2310.03684<\/a><\/p>\n<\/li>\n<li>\n<p>erase-and-check &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2309.02705\" rel=\"noopener noreferrer nofollow\">arXiv:2309.02705<\/a><\/p>\n<\/li>\n<li>\n<p>Resurgence of GCG \/ T-GCG &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2509.00391\" rel=\"noopener noreferrer nofollow\">arXiv:2509.00391<\/a><\/p>\n<\/li>\n<li>\n<p>LARGO &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2505.10838\" rel=\"noopener noreferrer nofollow\">arXiv:2505.10838<\/a><\/p>\n<\/li>\n<li>\n<p>Adversarial manipulation of reasoning models &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2507.03167\" rel=\"noopener noreferrer nofollow\">arXiv:2507.03167<\/a><\/p>\n<\/li>\n<li>\n<p>Survey (LLMs -&gt; MLLMs -&gt; Agents) &#8212; <a href=\"https:\/\/arxiv.org\/abs\/2506.15170\" rel=\"noopener noreferrer nofollow\">arXiv:2506.15170<\/a><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1046890\/\">https:\/\/habr.com\/ru\/articles\/1046890\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041e\u0442 GCG \u0434\u043e refusal direction. \u041b\u043e\u043d\u0433\u0440\u0438\u0434 \u043e \u0441\u0435\u0440\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0445 adversarial-\u0430\u0442\u0430\u043a \u043d\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: \u0441 \u0447\u0435\u0433\u043e \u043e\u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c, \u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0435\u0442\u0432\u0438\u043b\u0430\u0441\u044c, \u0447\u0442\u043e \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043d\u044f\u043b\u0438 \u043f\u0440\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0443 \u0432\u0437\u043b\u043e\u043c\u0430 \u0438 \u0433\u0434\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0441\u0435\u0439\u0447\u0430\u0441.\u041e \u0447\u0435\u043c \u044d\u0442\u043e \u0438 \u0437\u0430\u0447\u0435\u043c\u0415\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0447\u0435\u043d safety-\u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043d\u0430\u0432\u0435\u0448\u0438\u0432\u0430\u0435\u043c \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438? \u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0432\u0440\u0435\u0434\u043d\u043e\u0435 &#8212; \u0437\u043d\u0430\u0447\u0438\u0442, \u043e\u043d\u0430 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u00bb. \u0421\u0435\u0440\u0438\u044f \u0440\u0430\u0431\u043e\u0442, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438 \u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0434 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 &#8212; \u043f\u0440\u043e\u043f\u0430\u0441\u0442\u044c.\u0412\u0441\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u043b\u0435\u0442\u043e\u043c 2023 \u0441 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 GCG. \u0414\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0435\u044f \u0440\u0430\u0437\u0432\u0435\u0442\u0432\u0438\u043b\u0430\u0441\u044c &#8212; \u0435\u0435 \u0434\u0435\u043b\u0430\u043b\u0438 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0439, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0439, \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439-\u043d\u043e-\u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0439, &#8212; \u0430 \u043f\u043e\u0442\u043e\u043c, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u0427\u0435\u0440\u0435\u0437 \u0432\u0435\u0441\u044c \u0442\u0435\u043a\u0441\u0442 \u044f \u0434\u0435\u0440\u0436\u0443 \u043e\u0434\u0438\u043d \u0441\u043a\u0432\u043e\u0437\u043d\u043e\u0439 \u0441\u044e\u0436\u0435\u0442: \u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0435\u0433\u043e \u043d\u0435 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u0438? \u041e\u0442\u0432\u0435\u0442, \u043a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439.\u041a\u0430\u0440\u0442\u0430 \u043f\u043e\u0441\u0442\u0430\u0421\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u043f\u043e \u043e\u0445\u0432\u0430\u0442\u0443: \u044d\u0442\u043e white-box \/ optimization-based \u0441\u0435\u0440\u0438\u044f. Black-box prompting (PAIR, TAP \u0438 \u0438\u043c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435) \u044f \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c; \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f.\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u041a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u0430. \u0411\u0435\u0440\u0435\u043c \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043f\u0440\u0438\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0435\u043c\u0443 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0438\u0437 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432:[ harmful_request ] [ s_1 s_2 &#8230; s_k ]   &lt;- \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u0426\u0435\u043b\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 &#8212; \u043d\u0435 \u00ab\u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435\u00bb, \u0430 \u0442\u043e\u043d\u044c\u0448\u0435: \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u043d\u0430\u0447\u043d\u0435\u0442\u0441\u044f \u0441 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f &#8212; \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u00abSure, here is\u2026\u00bb. \u041c\u044b \u043d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0430\u0447\u0430\u0432 \u0441 \u00abSure, here is how to\u2026\u00bb, \u043f\u043e \u0438\u043d\u0435\u0440\u0446\u0438\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u0432 \u0442\u043e\u043c \u0436\u0435 \u0434\u0443\u0445\u0435. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0430\u0442\u0430\u043a\u0443\u0435\u043c \u043d\u0435 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0430 \u043f\u0435\u0440\u0432\u044b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c negative log-likelihood \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 affirmative-\u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 [request + suffix]. \u0417\u0430\u0433\u0432\u043e\u0437\u0434\u043a\u0430: \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043d\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u00ab\u0432 \u043b\u043e\u0431\u00bb \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c. \u0412\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0430\u043d\u043d\u0438\u0445 \u0440\u0430\u0431\u043e\u0442 &#8212; \u043a\u0430\u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, &#8212; \u0440\u043e\u0432\u043d\u043e \u0441 \u044d\u0442\u043e\u0433\u043e \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f GCG.\u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e (TL;DR)\u041f\u044f\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u043e\u0432, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u044d\u0442\u043e\u0442 \u043b\u043e\u043d\u0433\u0440\u0438\u0434:Safety-\u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442 \u043d\u0435 \u0440\u043e\u0431\u0430\u0441\u0442\u0435\u043d \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u041d\u0430 open-weight \u043c\u043e\u0434\u0435\u043b\u044f\u0445 white-box \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 &#8212; \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 random search &#8212; \u043f\u0440\u043e\u0431\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435, \u0438 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 API, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0442\u0430\u043a\u0430 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430.\u0424\u043e\u0440\u043c\u0430 \u0430\u0442\u0430\u043a\u0438 \u043d\u0435 \u0432\u0430\u0436\u043d\u0430. Gibberish-\u0441\u0443\u0444\u0444\u0438\u043a\u0441 GCG, \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 AutoDAN \u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u0431\u0435\u0437 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0434\u0435\u043b\u0430\u044e\u0442 \u043e\u0434\u043d\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435: \u0441\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u044e\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0441 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e refusal direction.\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u0437\u0430\u0434\u0430\u0435\u0442 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f, \u0430 \u043d\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430. \u0421\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 suffix push (\u0434\u043e +2.39 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430); \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u043c\u043f\u0442 \u0437\u043d\u0430\u0447\u0438\u0442, \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u0430\u0436\u043d\u043e.\u0417\u0430\u0449\u0438\u0442\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 (perplexity-\u0444\u0438\u043b\u044c\u0442\u0440, SmoothLLM) \u043f\u0430\u0434\u0430\u044e\u0442 \u043f\u043e\u0434 adaptive-\u0430\u0442\u0430\u043a\u0438, adversarial training \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0434\u043d\u043e\u0439 \u0430\u0442\u0430\u043a\u0438 \u043d\u0435 \u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u0440\u0443\u0433\u0443\u044e, \u0430 \u0437\u0430\u0449\u0438\u0442\u044b \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0435\u0439 \u0443\u0437\u043a\u0438 \u0438 \u0434\u043e\u0440\u043e\u0433\u0438.\u0424\u0440\u043e\u043d\u0442\u0438\u0440 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438 chain-of-thought \u043f\u043e \u043c\u0435\u0440\u0435 \u0440\u043e\u0441\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: \u0442\u043e\u043a\u0435\u043d-\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u043b\u0430\u0431\u0435\u0435\u0442 (ASR \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 93 \u0434\u043e 4 \u043f\u0440\u0438 \u0440\u043e\u0441\u0442\u0435 \u0434\u043e 20B), \u0430 \u0430\u0442\u0430\u043a\u0430 \u043f\u0435\u0440\u0435\u0435\u0437\u0436\u0430\u0435\u0442 \u0442\u0443\u0434\u0430, \u043a\u0443\u0434\u0430 perplexity-\u0444\u0438\u043b\u044c\u0442\u0440 \u0443\u0436\u0435 \u043d\u0435 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c.\u0412\u0441\u044f \u0441\u0435\u0440\u0438\u044f \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 &#8212; \u0430\u0442\u0430\u043a\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0446\u0432\u0435\u0442 = attack success rate:\u041a\u0430\u0440\u0442\u0430 \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0430\u0442\u0430\u043a\u0410 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f \u043e\u0431\u043e\u0440\u043e\u043d\u044b &#8212; \u0437\u0430\u0449\u0438\u0442\u044b \u0441\u0438\u043b\u044c\u043d\u044b \u0442\u0430\u043c, \u0433\u0434\u0435 \u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438, \u0438 \u0440\u0443\u0448\u0430\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u0435 \u0430\u0442\u0430\u043a\u0438:\u0417\u0430\u0449\u0438\u0442\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f\u0414\u0430\u043b\u044c\u0448\u0435 &#8212; \u0432\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443: \u0441 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c, \u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0435\u0442\u0432\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043d\u044f\u043b\u0438 \u043f\u0440\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0443 \u0432\u0437\u043b\u043e\u043c\u0430 \u0438 \u0433\u0434\u0435 \u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441.GCG: \u0441 \u0447\u0435\u0433\u043e \u0432\u0441\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044cUniversal and Transferable Adversarial Attacks on Aligned Language Models. Zou, Wang, Carlini, Nasr, Kolter, Fredrikson, 2023 &#8212; arXiv:2307.15043\u0412\u0441\u0435, \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0434\u0430\u043b\u044c\u0448\u0435, &#8212; \u044d\u0442\u043e \u0442\u0430\u043a \u0438\u043b\u0438 \u0438\u043d\u0430\u0447\u0435 \u0440\u0435\u0430\u043a\u0446\u0438\u044f \u043d\u0430 \u044d\u0442\u0443 \u0440\u0430\u0431\u043e\u0442\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u0438\u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c \u0438 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0435\u0435 \u043f\u043e \u043a\u043e\u0441\u0442\u043e\u0447\u043a\u0430\u043c.Objective: \u0430\u0442\u0430\u043a\u0443\u0435\u043c \u043d\u0435 \u043e\u0442\u0432\u0435\u0442, \u0430 \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0437\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043d\u0430\u0434\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c. \u041d\u0430\u0438\u0432\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 &#8212; \u043d\u0435 \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0434\u0432\u0443\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044e\u0442 \u044f\u0432\u043d\u043e: \u043e\u043d \u043d\u0430\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u00ab\u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439\u00bb \u043e\u0442\u0432\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441\u0443, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0438 \u043e\u043d \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0441\u0443\u0444\u0444\u0438\u043a\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442\u0441\u044f.\u041f\u0440\u0438\u0435\u043c, \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u0440\u0443\u0447\u043d\u044b\u0445 \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u043e\u0432: \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0432\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0441\u044f \u0441 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f, \u0443\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0435\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441.Affirmative objective\u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0434\u0435\u044e \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438: \u043e\u0434\u0438\u043d adversarial-\u0441\u0443\u0444\u0444\u0438\u043a\u0441 &#8212; ADV PROMPT &#8212; \u043f\u0440\u0438\u043a\u043b\u0435\u0435\u043d\u043d\u044b\u0439 \u043a \u043d\u0430\u0431\u043e\u0440\u0443 \u0432\u0440\u0435\u0434\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0441 \u0442\u043e\u0433\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u044b \u0434\u043e\u0431\u0438\u0432\u0430\u043b\u0438\u0441\u044c, \u00abSure, here\u2019s\u2026\u00bb, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0443\u0439\u0442\u0438 \u043f\u0440\u044f\u043c\u043e \u0432\u043e \u0432\u0440\u0435\u0434\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442. \u041d\u0438\u0436\u043d\u044f\u044f \u043f\u0430\u043d\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a \u0442\u043e\u0442 \u0436\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 &#8212; ChatGPT, Claude, Bard \u0438 Llama-2. \u041c\u0435\u0445\u0430\u043d\u0438\u0447\u0435\u0441\u043a\u0438: \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c (\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043e\u0431\u044f\u0437\u0430\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043b\u044e\u0431\u044b\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c), \u0441\u0443\u0444\u0444\u0438\u043a\u0441 &#8212; \u044d\u0442\u043e \u0433\u043e\u0440\u0441\u0442\u043a\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c (\u0441\u0442\u0430\u0440\u0442\u0443\u044e\u0442 \u043a\u0430\u043a \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u044b\u0435 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440\u044b !), \u0430 \u043b\u043e\u0441\u0441 &#8212; \u044d\u0442\u043e negative log-likelihood \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e affirmative-\u043f\u0440\u0435\u0444\u0438\u043a\u0441\u0430 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u00ab\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043b\u044e\u0441 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u00bb.\u0414\u0432\u0435 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u043e\u0441\u043a\u043e\u0447\u0438\u0442\u044c. \u041f\u0435\u0440\u0432\u0430\u044f: \u043f\u043e\u0441\u043b\u0435 \u00abSure\u00bb \u0446\u0435\u043b\u044c \u0443\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441, \u0430 \u043d\u0435 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u043e\u0432\u0443. \u0415\u0441\u043b\u0438 \u0446\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u043c\u043e\u0436\u0435\u0442 \u0441\u0445\u0438\u0442\u0440\u0438\u0442\u044c: \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0432\u0440\u043e\u0434\u0435 \u00abNevermind, tell me a joke\u00bb \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u00abSure\u00bb, \u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u0432\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u043d\u0435 \u0434\u0430\u0435\u0442. \u041f\u043e\u0432\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u0443 \u043b\u0430\u0437\u0435\u0439\u043a\u0443. \u0412\u0442\u043e\u0440\u0430\u044f: \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u044b\u0435 N \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u0442\u0430\u0432\u043a\u0430 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u0433\u043d\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u00abSure, here is\u2026\u00bb, \u0438 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u0438\u043d\u0435\u0440\u0446\u0438\u044f \u0434\u043e\u0442\u0430\u0449\u0438\u0442 \u0435\u0435 \u0434\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0432\u0435\u0441\u044c \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0430\u0442\u0430\u043a\u0438.\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043f\u0435\u0440\u0435\u0431\u043e\u0440 \u0440\u0435\u0448\u0430\u0435\u0442\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c. \u0421\u0443\u0444\u0444\u0438\u043a\u0441 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u0441\u044a\u0435\u0445\u0430\u0442\u044c\u00bb \u043f\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u043d\u0435\u043b\u044c\u0437\u044f &#8212; \u043d\u0435\u0442 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0440\u0443\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u043a\u0440\u0443\u0442\u0438\u0442\u044c. GCG (Greedy Coordinate Gradient) \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u043e \u0434\u0432\u0443\u0445\u0444\u0430\u0437\u043d\u044b\u043c \u0446\u0438\u043a\u043b\u043e\u043c:\u041e\u0434\u0438\u043d \u0448\u0430\u0433 GCG\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e one-hot \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u0443 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u0430. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043e\u043d \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 ~32k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e \u0442\u043e\u043c\u0443, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e (\u043b\u0438\u043d\u0435\u0439\u043d\u043e) \u0437\u0430\u043c\u0435\u043d\u0430 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0442\u043e\u043a\u0435\u043d \u0443\u0440\u043e\u043d\u0438\u0442 \u043b\u043e\u0441\u0441, \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 top-k. \u041f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0435\u043c\u0443 \u043d\u0435 \u0434\u043e\u0432\u0435\u0440\u044f\u044e\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e &#8212; \u0438 \u044d\u0442\u043e \u043d\u0435\u0441\u0443\u0449\u0430\u044f \u043c\u044b\u0441\u043b\u044c &#8212; \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0432\u0440\u0435\u0442: \u044d\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435, \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0435 \u0434\u043b\u044f \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u0430\u043b\u043e\u0433\u043e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0441\u0434\u0432\u0438\u0433\u0430, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u0430 &#8212; \u044d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u043a\u0430\u0447\u043e\u043a. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 GCG \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442 \u0431\u0430\u0442\u0447 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u0434\u043d\u043e-\u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043c\u0435\u043d \u0438\u0437 \u043f\u0443\u043b\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0434\u043d\u0443, \u0434\u0430\u0432\u0448\u0443\u044e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u043b\u043e\u0441\u0441. \u041f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c ~500 \u0440\u0430\u0437.\u0427\u0442\u043e\u0431\u044b \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0441\u0442\u0430\u043b \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c (\u043e\u0434\u0438\u043d \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432) \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u044b\u043c (\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043d\u0435 \u0432\u0438\u0434\u0435\u043b), \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u043e\u0441\u0441 \u043f\u043e \u043c\u043d\u043e\u0433\u0438\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u043c \u0438 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0441\u0440\u0430\u0437\u0443 &#8212; \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u044d\u0442\u043e Vicuna-7B + 13B, \u043f\u043e\u0437\u0436\u0435 \u043a \u043d\u0438\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 Guanaco. \u0421\u0443\u0444\u0444\u0438\u043a\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0446\u0435\u043b\u044b\u0439 \u043a\u043e\u043c\u0438\u0442\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043c\u0435\u043d\u0435\u0435 \u0441\u043a\u043b\u043e\u043d\u0435\u043d \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043e\u0434\u043d\u0443.White-box \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b: \u043a\u043b\u044e\u0447 &#8212; \u043f\u0440\u043e\u0432\u0430\u043b \u043d\u0430 Llama-2\u0412 \u0441\u0430\u043c\u043e\u043c \u0442\u044f\u0436\u0435\u043b\u043e\u043c \u0441\u0435\u0442\u0442\u0438\u043d\u0433\u0435 &#8212; \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0442\u044c \u043e\u0434\u043d\u0443 \u0442\u043e\u0447\u043d\u0443\u044e \u0432\u0440\u0435\u0434\u043d\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 &#8212; GCG \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442, \u043e\u043d \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f:White-box ASR\u041d\u0430 Vicuna GCG \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0443\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c (88% \u043f\u0440\u043e\u0442\u0438\u0432 25% \u0443 AutoPrompt). \u041d\u043e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 &#8212; \u044d\u0442\u043e Llama-2: \u043c\u043e\u0434\u0435\u043b\u044c 7B-chat \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u0441 \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u043c safety-\u0442\u044e\u043d\u0438\u043d\u0433\u043e\u043c, \u0438 \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e &#8212; AutoPrompt \u043e\u0431\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e 3%, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a GCG \u0432\u0441\u0435 \u0435\u0449\u0435 \u0431\u0435\u0440\u0435\u0442 57%. \u0411\u043e\u043b\u0435\u0435 \u0436\u0435\u0441\u0442\u043a\u0438\u0439 \u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0446\u0435\u043d\u0443 \u0430\u0442\u0430\u043a\u0438, \u043d\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0435\u0435. (\u041d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043b\u0435\u0433\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u00abharmful behaviors\u00bb GCG \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u0442 ~99% \u043d\u0430 Vicuna \u0438 ~88% \u043d\u0430 Llama-2.) \u0412\u044b\u0432\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u0435 \u043d\u0430\u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u044d\u0442\u043e\u0439 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0438: RLHF-\u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442 \u043d\u0435 \u0440\u043e\u0431\u0430\u0441\u0442\u0435\u043d \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.\u0411\u043e\u043c\u0431\u0430 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u043e\u0441\u0442\u0438\u0418 \u0442\u0443\u0442 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0432\u0448\u0438\u0439 \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0432 \u0432\u0435\u0445\u0443. \u0411\u0435\u0440\u0435\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u043e\u0432, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (Vicuna + Guanaco), \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0435\u0433\u043e \u043d\u0430 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u0435 API, \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f:\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0411\u0435\u0437 \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e white-box \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0431\u0435\u0440\u0435\u0442 86.6% \u043d\u0430 GPT-3.5 \u0438 66.0% \u043d\u0430 PaLM-2, \u0438 \u043e\u043a\u043e\u043b\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u043d\u0430 GPT-4 \u0438 Claude-1. \u042d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u0432\u0435\u0441\u043e\u043c\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b: \u0435\u0441\u043b\u0438 \u0430\u0442\u0430\u043a\u0430, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0432\u0435\u0441\u0430\u0445, \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 API, \u0437\u043d\u0430\u0447\u0438\u0442, \u0443 \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u043e\u0431\u0449\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u0443\u0444\u0444\u0438\u043a\u0441, &#8212; \u0447\u0442\u043e-\u0442\u043e \u0433\u043b\u0443\u0431\u0436\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u0422\u043e\u0433\u0434\u0430 \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 &#8212; \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u0437\u0430\u0433\u0430\u0434\u043a\u043e\u0439; \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0435\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u0443\u0441\u0442\u044f \u0434\u0432\u0430 \u0433\u043e\u0434\u0430, \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u043f\u0440\u043e refusal direction.\u041e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430 \u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u043d\u0435\u0435 \u0437\u0430\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u0441\u044f: Claude-2 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043d\u0430 2.1%. \u042d\u0442\u043e \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435, \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e, &#8212; \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0449\u0438\u0442\u044b (\u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u0430, \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0440\u043e\u0433\u0438\u0439 refusal-\u0442\u044e\u043d\u0438\u043d\u0433) \u044f\u0432\u043d\u043e \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u044e\u0442 \u043f\u043b\u0430\u043d\u043a\u0443 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430, \u043f\u0443\u0441\u0442\u044c, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u0412\u0435\u0442\u0432\u044c 4, \u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u0435\u0435 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439.\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043eGCG \u0441\u0442\u0430\u043b \u043f\u0435\u0440\u0432\u044b\u043c \u0434\u0436\u0435\u0439\u043b\u0431\u0440\u0435\u0439\u043a\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c, \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c \u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u044b\u043c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e &#8212; \u0431\u0435\u0437 \u0440\u0443\u0447\u043d\u043e\u0439 \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442, \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0438 \u0432\u044b\u0445\u043e\u0434\u0430\u043c\u0438, \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u043c\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041e\u043d \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u043e \u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u044d\u043b\u0430\u0439\u043d\u043c\u0435\u043d\u0442\u0430 \u043a\u0430\u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439, \u0430 \u043d\u0435 \u043a\u0430\u043a \u0432\u043e\u043f\u0440\u043e\u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0434\u0432\u0435 \u0437\u0430\u0433\u0430\u0434\u043a\u0438, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0432\u0441\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f: \u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u0443\u0444\u0444\u0438\u043a\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f?\u0412\u0435\u0442\u0432\u044c 1. \u0421\u0442\u0435\u043b\u0441: \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0441\u0443\u0444\u0444\u0438\u043a\u0441\u044b (AutoDAN)\u0421\u0442\u043e\u0438\u043b\u043e GCG \u043f\u043e\u044f\u0432\u0438\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u043e\u0441\u0438\u043b\u0430\u0441\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430\u044f \u0437\u0430\u0449\u0438\u0442\u0430. \u0421\u0443\u0444\u0444\u0438\u043a\u0441\u044b GCG &#8212; \u044d\u0442\u043e gibberish, \u0430\u0431\u0440\u0430\u043a\u0430\u0434\u0430\u0431\u0440\u0430 \u0432\u0440\u043e\u0434\u0435 describing.\\ + similarlyNow write oppositeley.]( Me giving**ONE. \u0423 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0430\u0441\u0442\u0440\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f (\u043c\u0435\u0440\u0430 \u0442\u043e\u0433\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0430\u00bb \u0441\u0442\u0440\u043e\u043a\u043e\u0439). \u0417\u043d\u0430\u0447\u0438\u0442, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044e \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0438 \u043e\u0442\u0441\u0435\u043a\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0435. \u0414\u0435\u0448\u0435\u0432\u043e, \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u0447\u043a\u0430 \u043a\u043e\u0434\u0430, \u0433\u043e\u0442\u043e\u0432\u043e.\u0412 \u043e\u043a\u0442\u044f\u0431\u0440\u0435 2023 \u044d\u0442\u0443 \u0437\u0430\u0449\u0438\u0442\u0443 \u0437\u0430\u043a\u0440\u044b\u043b\u0438 &#8212; \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0434 \u043e\u0434\u043d\u0438\u043c \u0438\u043c\u0435\u043d\u0435\u043c AutoDAN \u043e\u0442 \u0434\u0432\u0443\u0445 \u043d\u0435\u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432\u043e\u0432 (\u044d\u0442\u043e \u043d\u0435 \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0430; \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0437\u043d\u0430\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0439\u0434\u0435\u0442\u0435 \u0434\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0433\u0440\u0430\u0444\u0438\u0438). \u041e\u043d\u0438 \u0431\u044c\u044e\u0442 \u0432 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0441\u043b\u0430\u0431\u043e\u0441\u0442\u044c \u0441 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0445 \u0441\u0442\u043e\u0440\u043e\u043d.\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u0430\u043c\u0435\u0442\u0435\u043d GCG?\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u0443\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443. Perplexity-\u0444\u0438\u043b\u044c\u0442\u0440\u0443 \u043d\u0443\u0436\u0435\u043d \u043f\u043e\u0440\u043e\u0433, \u0430 \u043f\u043e\u0440\u043e\u0433 &#8212; \u044d\u0442\u043e&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-483470","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/483470","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=483470"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/483470\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=483470"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=483470"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=483470"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}