{"id":479245,"date":"2026-05-10T17:29:14","date_gmt":"2026-05-10T17:29:14","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=479245"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=479245","title":{"rendered":"\u041c\u0435\u0442\u0440\u0438\u043a\u0430 EICS \u2014 \u0438\u0449\u0435\u043c \u0443 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/821\/57c\/a21\/82157ca2106356ff1f181df6d4ca0f0a.png\" alt=\"\u041d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u0442\u0435\u0440\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0446\u0435\u043f\u0438\" title=\"\u041d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u0442\u0435\u0440\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0446\u0435\u043f\u0438\" width=\"1998\" height=\"787\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/821\/57c\/a21\/82157ca2106356ff1f181df6d4ca0f0a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/821\/57c\/a21\/82157ca2106356ff1f181df6d4ca0f0a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u0442\u0435\u0440\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0446\u0435\u043f\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0423 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0438 \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u00ab\u0441\u043e\u0431\u0440\u0430\u043b\u0430\u00bb \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u0443\u044e \u0446\u0435\u043f\u043e\u0447\u043a\u0443, \u0438 \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0434\u0430\u043b\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u2014 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438, conformal prediction \u2014 \u043f\u043e\u043b\u0435\u0437\u043d\u044b, \u043d\u043e \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u043d\u0430 \u0447\u0451\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0437\u0431\u0435\u0440\u0443 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434: \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u0432\u044b\u0445\u043e\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u043f\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0446\u0435\u043f\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u0420\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 <strong>EICS<\/strong> \u2014 <em>Effective Information Consistency Score<\/em>. \u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0437\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u044f\u043c\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0442\u043e\u0433\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u0430\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0446\u0435\u043f\u044c \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0451 \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0441\u0451\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043e\u0431 \u043e\u0446\u0435\u043d\u043a\u0435 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0445 \u0446\u0435\u043f\u044f\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0417\u0434\u0435\u0441\u044c \u044f \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0443\u0431\u0440\u0430\u043b \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043f\u043e\u0434\u0430\u0447\u0443, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e, \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f.<\/p>\n<h3>TL;DR<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043a\u0440\u0430\u0442\u043a\u043e:<\/p>\n<ul>\n<li>\n<p>\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0443\u044e \u0446\u0435\u043f\u044c \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u0434\u0433\u0440\u0430\u0444 \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438: \u0443\u0437\u043b\u044b \u2014 \u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 MLP-\u0431\u043b\u043e\u043a\u0438, \u0440\u0451\u0431\u0440\u0430 \u2014 \u043f\u043e\u0442\u043e\u043a \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430;<\/p>\n<\/li>\n<li>\n<p>\u044d\u0442\u0430 \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u0451\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p>\u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u2014 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043a\u0441\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438: \u043e\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0434\u0430\u0451\u0442 \u043b\u0438 \u0446\u0435\u043f\u044c \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0430, \u0447\u0435\u043c \u0441\u0443\u043c\u043c\u0430 \u0435\u0451 \u0447\u0430\u0441\u0442\u0435\u0439;<\/p>\n<\/li>\n<li>\n<p>\u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 EICS \u0440\u0430\u0441\u0442\u0451\u0442, \u043a\u043e\u0433\u0434\u0430 \u0446\u0435\u043f\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u0430 \u0438 \u0438\u043c\u0435\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0443\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{EICS}=\\frac{\\widetilde{\\Delta \\mathrm{EI}}_{G}}{1+C_{\\mathrm{sh}}}\" alt=\"\\mathrm{EICS}=\\frac{\\widetilde{\\Delta \\mathrm{EI}}_{G}}{1+C_{\\mathrm{sh}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93a\/93a3d629e7f2c661150699eefde62ae9.svg\" width=\"128\" height=\"48\" data-width=\"16.484\" data-height=\"6.065\" data-vertical-align=\"-2.467\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93a\/93a3d629e7f2c661150699eefde62ae9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93a\/93a3d629e7f2c661150699eefde62ae9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u044b\u0441\u043e\u043a\u0438\u0439 EICS \u2014 \u0441\u0438\u0433\u043d\u0430\u043b, \u0447\u0442\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u0430\u044f \u0446\u0435\u043f\u044c, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e. \u041d\u0438\u0437\u043a\u0438\u0439 EICS \u2014 \u043f\u043e\u0432\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u043d\u0435 \u0441\u043b\u043e\u043c\u0430\u043b\u0430\u0441\u044c \u043b\u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u044d\u0442\u043e\u0439 \u0446\u0435\u043f\u0438.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u0430\u043b\u043e<\/h3>\n<p>\u0412 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u043c\u044b \u0447\u0430\u0441\u0442\u043e \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 logprob, \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e \u0438\u043b\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\u044b. \u042d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u043e: \u0438\u0445 \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043e\u043d\u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043b\u043e\u0436\u0430\u0442\u0441\u044f \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443.<\/p>\n<p>\u041d\u043e \u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041e\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435, \u043d\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, <strong>\u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e<\/strong> \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 factual QA: \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0432\u044b\u0434\u0430\u0442\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u0444\u0430\u043a\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0446\u0435\u043f\u044c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0437\u043d\u0430\u043d\u0438\u044f \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0435\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e, \u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u043d\u043e.<\/p>\n<p>\u0412 mechanistic interpretability \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u043e\u043a\u0443\u0441. \u041c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438: \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, induction heads, \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0444\u0430\u043a\u0442\u043e\u0432, \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c\u0438. \u0422\u0430\u043a\u0438\u0435 \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <strong>Transformer Circuits<\/strong>.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0446\u0435\u043f\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u0430, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u0430 \u0432\u0435\u0434\u0451\u0442 \u043b\u0438 \u043e\u043d\u0430 \u0441\u0435\u0431\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0432\u0445\u043e\u0434\u0435?<\/p>\n<p>\u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u044c EICS: \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b uncertainty quantification, \u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043a \u043d\u0438\u043c white-box \u0441\u0438\u0433\u043d\u0430\u043b, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h3>\u0427\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u043e\u0439 \u0446\u0435\u043f\u044c\u044e<\/h3>\n<p>\u0411\u0443\u0434\u0435\u043c \u0433\u0440\u0443\u0431\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u043a\u0430\u043a \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0444:<\/p>\n<ul>\n<li>\n<p>\u0443\u0437\u043b\u044b \u2014 attention heads, MLP-\u0431\u043b\u043e\u043a\u0438 \u0438\u043b\u0438 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0441\u043b\u043e\u044f;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0451\u0431\u0440\u0430 \u2014 \u043f\u0443\u0442\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0434\u0433\u0440\u0430\u0444 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{C}\" alt=\"\\mathcal{C}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg\" width=\"12\" height=\"16\" data-width=\"1.192\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0446\u0435\u043f\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0443\u044e \u043d\u0430\u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u0432\u0445\u043e\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043a\u0430\u0436\u0434\u044b\u0439 \u0443\u0437\u0435\u043b <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u043c\u0435\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"a_v\" alt=\"a_v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg\" width=\"16\" height=\"12\" data-width=\"2.161\" data-height=\"1.355\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0440\u0435\u0431\u0440\u043e <img decoding=\"async\" class=\"formula inline\" source=\"u\\to v\" alt=\"u\\to v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7f2\/7f2fc9e142d4e1902879ef90f8ad76de.svg\" width=\"40\" height=\"16\" data-width=\"5.911\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7f2\/7f2fc9e142d4e1902879ef90f8ad76de.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7f2\/7f2fc9e142d4e1902879ef90f8ad76de.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"u\" alt=\"u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"J_{u\\to v}=\\left.\\frac{\\partial a_v}{\\partial a_u}\\right|_{x}\" alt=\"J_{u\\to v}=\\left.\\frac{\\partial a_v}{\\partial a_u}\\right|_{x}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3ea\/3ea5b57b7c13b627bb760e9f4746a092.svg\" width=\"112\" height=\"40\" data-width=\"14.183\" data-height=\"5.26\" data-vertical-align=\"-2.065\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3ea\/3ea5b57b7c13b627bb760e9f4746a092.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3ea\/3ea5b57b7c13b627bb760e9f4746a092.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043d\u0435 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0437\u0430\u043d\u043e\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u0441\u0435\u0440\u0438\u044e \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u041c\u044b \u0431\u0435\u0440\u0451\u043c \u043e\u0434\u0438\u043d forward pass, \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0446\u0435\u043f\u0438.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d43\/062\/272\/d430622727697544ec305088ca193450.png\" alt=\"\u0421\u0445\u0435\u043c\u0430: \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a DAG, \u0432\u043d\u0443\u0442\u0440\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043f\u043e\u0434\u0433\u0440\u0430\u0444 \" title=\"\u0421\u0445\u0435\u043c\u0430: \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a DAG, \u0432\u043d\u0443\u0442\u0440\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043f\u043e\u0434\u0433\u0440\u0430\u0444 \" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d43\/062\/272\/d430622727697544ec305088ca193450.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d43\/062\/272\/d430622727697544ec305088ca193450.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430: \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a DAG, \u0432\u043d\u0443\u0442\u0440\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043f\u043e\u0434\u0433\u0440\u0430\u0444 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{C}\" alt=\"\\mathcal{C}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg\" width=\"12\" height=\"16\" data-width=\"1.192\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figcaption><\/div>\n<\/figure>\n<h3>\u041f\u0435\u0440\u0432\u044b\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0446\u0435\u043f\u0438 \u043a\u0430\u043a \u00ab\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445\u00bb<\/h3>\n<p>\u0418\u0434\u0435\u044f \u0442\u0430\u043a\u0430\u044f: \u0435\u0441\u043b\u0438 \u0440\u0435\u0431\u0440\u043e <img decoding=\"async\" class=\"formula inline\" source=\"u\\to v\" alt=\"u\\to v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7f2\/7f2fc9e142d4e1902879ef90f8ad76de.svg\" width=\"40\" height=\"16\" data-width=\"5.911\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7f2\/7f2fc9e142d4e1902879ef90f8ad76de.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7f\/7f2\/7f2fc9e142d4e1902879ef90f8ad76de.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0442\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"a_v\" alt=\"a_v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg\" width=\"16\" height=\"12\" data-width=\"2.161\" data-height=\"1.355\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0431\u043b\u0438\u0437\u043a\u0430 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"J_{u\\to v}a_u\" alt=\"J_{u\\to v}a_u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/458\/4588dbff42b44a9467068fe8b611a31e.svg\" width=\"56\" height=\"16\" data-width=\"7.034\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/458\/4588dbff42b44a9467068fe8b611a31e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/458\/4588dbff42b44a9467068fe8b611a31e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0412\u0432\u0435\u0434\u0451\u043c \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043d\u0430 \u0440\u0435\u0431\u0440\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"r_{u\\to v}=J_{u\\to v}a_u-a_v\" alt=\"r_{u\\to v}=J_{u\\to v}a_u-a_v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7c\/7cc\/7cc318025b508177089553d99612cde3.svg\" width=\"152\" height=\"16\" data-width=\"19.476\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7c\/7cc\/7cc318025b508177089553d99612cde3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7c\/7cc\/7cc318025b508177089553d99612cde3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043c\u0430\u043b, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043e \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438. \u0415\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0432\u0435\u043b\u0438\u043a, \u0432 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0446\u0435\u043f\u0438 \u0447\u0442\u043e-\u0442\u043e \u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f: \u043b\u0438\u0431\u043e \u0446\u0435\u043f\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e, \u043b\u0438\u0431\u043e \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0443\u0447\u0442\u0451\u043d\u043d\u044b\u0439 \u043f\u0443\u0442\u044c, \u043b\u0438\u0431\u043e \u0441\u0430\u043c\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u043f\u043b\u043e\u0445\u0430.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u043f\u043e \u0432\u0441\u0435\u0439 \u0446\u0435\u043f\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u044d\u043d\u0435\u0440\u0433\u0438\u044e \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"C_{\\mathrm{sh}}(a)=\\frac{\\left(\\sum_{(u,v)\\in E_{\\mathcal{C}}}w_{uv}\\|J_{u\\to v}a_u-a_v\\|_2^2\\right)^{1\/2}}{\\varepsilon+\\left(\\sum_{(u,v)\\in E_{\\mathcal{C}}}w_{uv}(\\|a_u\\|_2^2+\\|a_v\\|_2^2)\\right)^{1\/2}}\" alt=\"C_{\\mathrm{sh}}(a)=\\frac{\\left(\\sum_{(u,v)\\in E_{\\mathcal{C}}}w_{uv}\\|J_{u\\to v}a_u-a_v\\|_2^2\\right)^{1\/2}}{\\varepsilon+\\left(\\sum_{(u,v)\\in E_{\\mathcal{C}}}w_{uv}(\\|a_u\\|_2^2+\\|a_v\\|_2^2)\\right)^{1\/2}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8ed\/8ed5af51076b464724340a085205488b.svg\" width=\"376\" height=\"80\" data-width=\"47.7\" data-height=\"10.255\" data-vertical-align=\"-4.562\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8ed\/8ed5af51076b464724340a085205488b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8ed\/8ed5af51076b464724340a085205488b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"E_{\\mathcal{C}}\" alt=\"E_{\\mathcal{C}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb8\/cb8822747aa89ff8b0c14c969404122c.svg\" width=\"16\" height=\"16\" data-width=\"2.701\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb8\/cb8822747aa89ff8b0c14c969404122c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb8\/cb8822747aa89ff8b0c14c969404122c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0451\u0431\u0435\u0440 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0446\u0435\u043f\u0438;<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"w_{uv}\" alt=\"w_{uv}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd6\/cd68754d806bc4e8aae8c542907361e7.svg\" width=\"24\" height=\"12\" data-width=\"3.499\" data-height=\"1.359\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd6\/cd68754d806bc4e8aae8c542907361e7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd6\/cd68754d806bc4e8aae8c542907361e7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0432\u0435\u0441 \u0440\u0435\u0431\u0440\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u043d\u043e\u0440\u043c\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438\u043b\u0438 \u0430\u0442\u0440\u0438\u0431\u0443\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u044c\u044e;<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b1c5a729a09649c275fca88976d8dd.svg\" width=\"12\" height=\"16\" data-width=\"1.054\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b1c5a729a09649c275fca88976d8dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b1c5a729a09649c275fca88976d8dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043c\u0430\u043b\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0434\u043b\u044f \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0431\u0435\u0437\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u0430. \u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u043b\u0438\u0437\u043a\u0430 \u043a \u043d\u0443\u043b\u044e, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u044e\u0442\u0441\u044f \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438. \u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0430\u0441\u0442\u0451\u0442, \u0446\u0435\u043f\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043c\u0435\u043d\u0435\u0435 \u0441\u0432\u044f\u0437\u043d\u043e.<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441 <code>sh<\/code>? \u041e\u043d \u043e\u0442\u0441\u044b\u043b\u0430\u0435\u0442 \u043a sheaf theory, \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u0443\u0447\u043a\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0443\u0437\u043b\u044b \u0433\u0440\u0430\u0444\u0430 \u0438\u043c\u0435\u044e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0440\u0451\u0431\u0440\u0430 \u0437\u0430\u0434\u0430\u044e\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438, \u0430 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432 \u043e\u0434\u043d\u043e \u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0414\u043b\u044f \u0446\u0435\u043b\u0435\u0439 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f: <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0446\u0435\u043f\u044c \u043d\u0435 \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u0442\u0441\u044f\u00bb.<\/p>\n<h3>\u0412\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0446\u0435\u043f\u0438<\/h3>\n<p>\u041e\u0434\u043d\u0430 \u043d\u0438\u0437\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0435\u0449\u0451 \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0446\u0435\u043f\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u044b\u0439, \u043d\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u043e\u0434\u0433\u0440\u0430\u0444. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u0435\u043d \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u0438 \u0446\u0435\u043f\u044c \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u0447\u0435\u043c \u0435\u0451 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043a\u0441\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0418\u0441\u0442\u0438\u043d\u043d\u0430\u044f effective information \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u0432\u0435\u043d\u0446\u0438\u0438, \u043d\u043e \u0437\u0434\u0435\u0441\u044c \u043d\u0443\u0436\u043d\u0430 \u043e\u0434\u043d\u043e\u043f\u0440\u043e\u0445\u043e\u0434\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"J\" alt=\"J\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff4\/ff44570aca8241914870afbc310cdb85.svg\" width=\"12\" height=\"12\" data-width=\"1.432\" data-height=\"1.595\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff4\/ff44570aca8241914870afbc310cdb85.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff4\/ff44570aca8241914870afbc310cdb85.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044f\u043a\u043e\u0431\u0438\u0430\u043d \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f. \u0414\u043b\u044f \u043c\u0430\u043b\u044b\u0445 \u0438\u0437\u043e\u0442\u0440\u043e\u043f\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u0443\u0449\u0435\u043d\u0438\u0439 \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0448\u0443\u043c\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u043e\u0433-\u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043d\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u043a\u0441\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{EI}_{G}(J;\\alpha)=\\frac{1}{2}\\log\\det(I+\\alpha JJ^{\\top})\" alt=\"\\mathrm{EI}_{G}(J;\\alpha)=\\frac{1}{2}\\log\\det(I+\\alpha JJ^{\\top})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1f3\/1f3d160bcde8f1892758faf342a46d69.svg\" width=\"256\" height=\"32\" data-width=\"32.537\" data-height=\"4.588\" data-vertical-align=\"-1.729\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1f3\/1f3d160bcde8f1892758faf342a46d69.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1f3\/1f3d160bcde8f1892758faf342a46d69.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg\" width=\"12\" height=\"16\" data-width=\"1.448\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0437\u0430\u0434\u0430\u0451\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0441\u0438\u0433\u043d\u0430\u043b\/\u0448\u0443\u043c. \u0415\u0441\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0441\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_i\" alt=\"\\sigma_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/65445646e7a531a2185d03b58b4d60e1.svg\" width=\"16\" height=\"16\" data-width=\"2.032\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/65445646e7a531a2185d03b58b4d60e1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/65445646e7a531a2185d03b58b4d60e1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u0430\u0442\u0440\u0438\u0446\u044b <img decoding=\"async\" class=\"formula inline\" source=\"J\" alt=\"J\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff4\/ff44570aca8241914870afbc310cdb85.svg\" width=\"12\" height=\"12\" data-width=\"1.432\" data-height=\"1.595\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff4\/ff44570aca8241914870afbc310cdb85.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff4\/ff44570aca8241914870afbc310cdb85.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{EI}_{G}(J;\\alpha)=\\frac{1}{2}\\sum_i\\log(1+\\alpha\\sigma_i^2)\" alt=\"\\mathrm{EI}_{G}(J;\\alpha)=\\frac{1}{2}\\sum_i\\log(1+\\alpha\\sigma_i^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3a\/b3abe5c1a6b8ee9db903b9edd8c08741.svg\" width=\"240\" height=\"40\" data-width=\"30.89\" data-height=\"5.733\" data-vertical-align=\"-2.301\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3a\/b3abe5c1a6b8ee9db903b9edd8c08741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3a\/b3abe5c1a6b8ee9db903b9edd8c08741.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0446\u0435\u043f\u044c \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u0438 \u0435\u0451 \u0447\u0430\u0441\u0442\u0438. \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"J_{\\mathcal{C}}\" alt=\"J_{\\mathcal{C}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b73\/b73fae1de9a6fb464292bf1ce3c101fb.svg\" width=\"16\" height=\"16\" data-width=\"2.287\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b73\/b73fae1de9a6fb464292bf1ce3c101fb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b73\/b73fae1de9a6fb464292bf1ce3c101fb.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043c\u0430\u043a\u0440\u043e-\u044f\u043a\u043e\u0431\u0438\u0430\u043d \u043e\u0442 \u0432\u0445\u043e\u0434\u043e\u0432 \u0446\u0435\u043f\u0438 \u043a \u0435\u0451 \u0432\u044b\u0445\u043e\u0434\u0430\u043c, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"J_k\" alt=\"J_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f2\/2f2630e8b009760d24c2d14bab9f0219.svg\" width=\"16\" height=\"12\" data-width=\"2.277\" data-height=\"1.902\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f2\/2f2630e8b009760d24c2d14bab9f0219.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f2\/2f2630e8b009760d24c2d14bab9f0219.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u044b \u0447\u0430\u0441\u0442\u0435\u0439 \u0438\u043b\u0438 \u0432\u0435\u0442\u0432\u0435\u0439 \u0446\u0435\u043f\u0438. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\widetilde{\\Delta \\mathrm{EI}}_{G}=\\frac{\\left[\\mathrm{EI}_{G}(J_{\\mathcal{C}})-\\sum_k \\mathrm{EI}_{G}(J_k)\\right]_+}{\\varepsilon+\\mathrm{EI}_{G}(J_{\\mathcal{C}})}\" alt=\"\\widetilde{\\Delta \\mathrm{EI}}_{G}=\\frac{\\left[\\mathrm{EI}_{G}(J_{\\mathcal{C}})-\\sum_k \\mathrm{EI}_{G}(J_k)\\right]_+}{\\varepsilon+\\mathrm{EI}_{G}(J_{\\mathcal{C}})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/134\/1347a476ab659607ab0ba644416af161.svg\" width=\"272\" height=\"40\" data-width=\"34.633\" data-height=\"5.784\" data-vertical-align=\"-2.326\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/134\/1347a476ab659607ab0ba644416af161.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/134\/1347a476ab659607ab0ba644416af161.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0440\u0443\u0431\u043e: \u0435\u0441\u043b\u0438 \u0432\u0441\u044f \u0446\u0435\u043f\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u0430\u0451\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0443\u043c\u043c\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0442\u0432\u0435\u0439, \u0442\u043e \u0432 \u043d\u0435\u0439 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u043d\u0435\u0442 \u2014 \u044d\u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0430\u043b\u044b\u043c.<\/p>\n<h3>\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c EICS<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u0441\u0438\u0433\u043d\u0430\u043b\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{EICS}=\\frac{\\widetilde{\\Delta \\mathrm{EI}}_{G}}{1+C_{\\mathrm{sh}}}\" alt=\"\\mathrm{EICS}=\\frac{\\widetilde{\\Delta \\mathrm{EI}}_{G}}{1+C_{\\mathrm{sh}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93a\/93a3d629e7f2c661150699eefde62ae9.svg\" width=\"128\" height=\"48\" data-width=\"16.484\" data-height=\"6.065\" data-vertical-align=\"-2.467\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93a\/93a3d629e7f2c661150699eefde62ae9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93a\/93a3d629e7f2c661150699eefde62ae9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0442\u0430\u043a\u0430\u044f:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0438\u0442\u0443\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u043e\u0442 EICS<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u0438\u0437\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f effective information<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0426\u0435\u043f\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u0432\u044f\u0437\u043d\u043e \u0438 \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u043d\u0435\u0441\u0451\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0441\u043e\u043a\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f effective information<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0415\u0441\u0442\u044c \u0441\u0438\u0433\u043d\u0430\u043b, \u043d\u043e \u0440\u0451\u0431\u0440\u0430 \u043f\u043b\u043e\u0445\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u0438\u0439 \u0438\u043b\u0438 \u043d\u0438\u0437\u043a\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u0438\u0437\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u043d\u0435\u0442 \u043c\u0430\u043a\u0440\u043e-\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0426\u0435\u043f\u044c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0430\u044f, \u043d\u043e \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0438\u0437\u043a\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0435\u0442 \u043c\u0430\u043a\u0440\u043e-\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0426\u0435\u043f\u044c \u043d\u0435\u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u0430\u043a \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0438\u0437\u043a\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: EICS \u2014 \u043d\u0435 \u00ab\u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440 \u0438\u0441\u0442\u0438\u043d\u044b\u00bb. \u042d\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <strong>\u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0446\u0435\u043f\u0438<\/strong>. \u0415\u0441\u043b\u0438 \u0446\u0435\u043f\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043f\u043b\u043e\u0445\u043e, \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0447\u0435\u0441\u0442\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0438\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u043b\u043e\u0445\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430.<\/p>\n<h3>\u041a\u0430\u043a \u044d\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/h3>\n<p>\u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a.<\/p>\n<ol>\n<li>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0446\u0435\u043f\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{C}\" alt=\"\\mathcal{C}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg\" width=\"12\" height=\"16\" data-width=\"1.192\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 circuit tracing, attribution graphs \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u043f\u0440\u044f\u043c\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0443\u0437\u043b\u043e\u0432 \u0446\u0435\u043f\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"a_v\" alt=\"a_v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg\" width=\"16\" height=\"12\" data-width=\"2.161\" data-height=\"1.355\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ec\/5ec430c5f5e5d5eb840cff1e407e1383.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0440\u0451\u0431\u0435\u0440 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 Jacobian-vector products\/vector-Jacobian products.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e \u043c\u0430\u043a\u0440\u043e-\u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0443 \u0446\u0435\u043f\u0438 \u0438 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0430\u043c \u0435\u0451 \u0447\u0430\u0441\u0442\u0435\u0439 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" alt=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg\" width=\"40\" height=\"24\" data-width=\"5.687\" data-height=\"3.192\" data-vertical-align=\"-1.031\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 EICS.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434\u0435:<\/p>\n<pre><code>input: model M, prompt x, circuit C, noise scale alphaoutput: EICS, C_sh, DeltaEI_G1. run forward pass M(x)2. record activations a_v for all nodes v in C3. for each edge u -&gt; v in C:       compute local JVP\/VJP for J_{u-&gt;v}       compute residual r_{u-&gt;v} = J_{u-&gt;v} a_u - a_v4. aggregate residuals into C_sh5. build macro-Jacobian J_C for the circuit6. compute EI_G(J_C) and EI_G(J_k) for circuit parts7. compute normalized positive DeltaEI_G8. return DeltaEI_G\/(1 + C_sh)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h3>\u0411\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u0442\u043e\u0447\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c\u044b<\/h3>\n<p>\u0423 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438: \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445 \u0438 \u043b\u043e\u0433-\u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043d\u0442 \u0434\u043b\u044f EI-\u043f\u0440\u043e\u043a\u0441\u0438.<\/p>\n<p>\u0414\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0442\u0440\u044e\u043a \u0441 JVP, \u0438\u043d\u0438\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0443\u0437\u043b\u0430\u043c\u0438. \u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 JVP \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0435 \u0440\u0435\u0431\u0440\u043e, \u043c\u043e\u0436\u043d\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0437\u043b\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c JVP \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0440\u0451\u0431\u0435\u0440. \u0414\u043b\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0446\u0435\u043f\u0435\u0439 \u044d\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u0437 \u00ab\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0440\u0451\u0431\u0435\u0440\u00bb \u0432 \u00ab\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432\u00bb.<\/p>\n<p>\u0414\u043b\u044f EI-\u043f\u0440\u043e\u043a\u0441\u0438 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0440\u0435\u0436\u0438\u043c\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0420\u0435\u0436\u0438\u043c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u044b\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0443\u0436\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0438\u043b\u0438 \u0446\u0435\u043f\u0435\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0430\u043b\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg\" width=\"12\" height=\"16\" data-width=\"1.448\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, top singular directions, Hutchinson\/Hutch++ \u0438\u043b\u0438 Lanczos<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u043e\u0447\u043d\u044b\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0430\u043b\u044b\u0435 \u0431\u043b\u043e\u043a\u0438, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0433\u043e\u043d, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">SVD, Cholesky \u0438\u043b\u0438 eigendecomposition<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u0431\u044b\u0441\u0442\u0440\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u044f\u0432\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0441\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0438\u0434\u0430 JVP\/VJP \u043d\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u043c \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u0435. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e: \u043f\u043e\u043b\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0430 \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 LLM \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e\u0439.<\/p>\n<h3>\u041a\u0430\u043a \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0440\u043e\u0433<\/h3>\n<p>EICS \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442: \u00ab\u043e\u0442\u0432\u0435\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439\u00bb \u0438\u043b\u0438 \u00ab\u043e\u0442\u0432\u0435\u0442 \u043b\u043e\u0436\u043d\u044b\u0439\u00bb. \u0415\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f factual QA \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0432\u0430 \u043d\u0430\u0431\u043e\u0440\u0430:<\/p>\n<ul>\n<li>\n<p>\u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u043c\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u043e\u0432\u043e\u0446\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0438\u043b\u0438 \u0430\u0434\u0432\u0435\u0440\u0441\u0430\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043b\u043e\u043d\u043d\u0430 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0446\u0435\u043f\u044c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u0430, \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f EICS \u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u043e\u0433 \u043f\u043e AUROC, F1 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0430\u0436\u043d\u043e \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 score, \u043d\u043e \u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0446\u0435\u043f\u044c \u0442\u0435\u0440\u044f\u0435\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" alt=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg\" width=\"40\" height=\"24\" data-width=\"5.687\" data-height=\"3.192\" data-vertical-align=\"-1.031\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: \u0435\u0441\u0442\u044c \u043b\u0438 \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u00ab\u0426\u0435\u043f\u044c \u0448\u0443\u043c\u043d\u0430\u044f\u00bb: \u0432\u044b\u0441\u043e\u043a\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u00ab\u0426\u0435\u043f\u044c \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u0430\u044f, \u043d\u043e \u043d\u0435 \u043d\u0435\u0441\u0451\u0442 \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u043c\u0430\u043a\u0440\u043e-\u0441\u0438\u0433\u043d\u0430\u043b\u0430\u00bb: \u043d\u0438\u0437\u043a\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" alt=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg\" width=\"40\" height=\"24\" data-width=\"5.687\" data-height=\"3.192\" data-vertical-align=\"-1.031\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435, \u0447\u0435\u043c \u043e\u0434\u0438\u043d \u0432\u043d\u0435\u0448\u043d\u0438\u0439 confidence score.<\/p>\n<h3>\u041f\u0440\u043e\u0441\u0442\u0430\u044f sanity-check \u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0443\u044e \u0446\u0435\u043f\u044c \u0438\u0437 6 \u0443\u0437\u043b\u043e\u0432 \u0441 \u0434\u0432\u0443\u043c\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0435\u0442\u0432\u044f\u043c\u0438.<\/p>\n<p>\u0418\u0434\u0435\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0432\u0435\u0442\u0432\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u044b;<\/p>\n<\/li>\n<li>\n<p>\u0437\u0430\u0442\u0435\u043c \u043c\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u0448\u0443\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6f\/a6f317b268ae825d94f832f970af607c.svg\" width=\"12\" height=\"16\" data-width=\"1.17\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6f\/a6f317b268ae825d94f832f970af607c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6f\/a6f317b268ae825d94f832f970af607c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u043c \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0442\u0432\u044f\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0447\u0438\u0442\u0430\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" alt=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg\" width=\"40\" height=\"24\" data-width=\"5.687\" data-height=\"3.192\" data-vertical-align=\"-1.031\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 EICS.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>\u0448\u0443\u043c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445, \u0437\u043d\u0430\u0447\u0438\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0430\u0441\u0442\u0451\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0435\u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0446\u0438\u044f \u0432\u0435\u0442\u0432\u0435\u0439 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0443\u044e effective information;<\/p>\n<\/li>\n<li>\n<p>\u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 EICS \u043f\u0430\u0434\u0430\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f0\/a66\/8e1\/3f0a668e1d5389cd77afe41558a9af98.png\" alt=\"\u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c: \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0448\u0443\u043c\u0430 \u043d\u0430 EICS\" title=\"\u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c: \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0448\u0443\u043c\u0430 \u043d\u0430 EICS\" width=\"1551\" height=\"1014\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3f0\/a66\/8e1\/3f0a668e1d5389cd77afe41558a9af98.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f0\/a66\/8e1\/3f0a668e1d5389cd77afe41558a9af98.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c: \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0448\u0443\u043c\u0430 \u043d\u0430 EICS<\/figcaption><\/div>\n<\/figure>\n<details class=\"spoiler\">\n<summary>\u041a\u043e\u0434 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import numpy as npimport matplotlib.pyplot as pltEPS = 1e-8D = 32N_SEEDS = 100TAUS = np.linspace(0.0, 2.0, 11)alpha = 1.0align = 0.9def rand_matrix(d, scale=0.8, rng=None):    rng = np.random.default_rng() if rng is None else rng    return scale * rng.normal(size=(d, d)) \/ np.sqrt(d)def ei_proxy(J, alpha):    # 0.5 * sum log(1 + alpha * sigma^2)    s = np.linalg.svd(J, compute_uv=False)    return 0.5 * np.sum(np.log1p(alpha * (s ** 2)))def build_branch_mats(d=32, align=0.9, rng=None):    rng = np.random.default_rng(123) if rng is None else rng    U = rand_matrix(d, 0.8, rng)    A = rand_matrix(d, 0.9, rng)    W = rand_matrix(d, 0.9, rng)    W13 = U    W23 = (1 - align) * rand_matrix(d, 0.8, rng) + align * U    W34 = A    W35 = (1 - align) * rand_matrix(d, 0.9, rng) + align * A    W46 = W    W56 = (1 - align) * rand_matrix(d, 0.9, rng) + align * W    return W13, W23, W34, W35, W46, W56def metrics_at_tau(tau, rng):    W13, W23, W34, W35, W46, W56 = build_branch_mats(D, align, rng)    # \u0414\u0435\u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c: \u0441 \u0440\u043e\u0441\u0442\u043e\u043c tau \u0432\u0435\u0442\u0432\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438.    h = min(1.0, tau \/ 2.0)    nrg = np.random.default_rng(rng.integers(10**9))    W56 = (1 - h) * W56 + h * rand_matrix(D, 0.9, nrg)    W35 = (1 - h) * W35 + h * rand_matrix(D, 0.9, nrg)    # \u0414\u0432\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0434\u0446\u0435\u043f\u0438, \u043c\u0430\u043a\u0440\u043e-\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u2014 \u0438\u0445 \u0441\u0443\u043c\u043c\u0430.    Jb1 = W46 @ W34 @ W13    Jb2 = W56 @ W35 @ W23    JM = Jb1 + Jb2    ei_macro = ei_proxy(JM, alpha)    ei_parts = ei_proxy(Jb1, alpha) + ei_proxy(Jb2, alpha)    delta_ei_g = max(0.0, ei_macro - ei_parts) \/ (EPS + ei_macro)    a1 = rng.normal(size=D)    a2 = rng.normal(size=D)    a3 = W13 @ a1 + W23 @ a2    a4 = W34 @ a3    a5 = W35 @ a3    a6 = W46 @ a4 + W56 @ a5    # \u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0435 \u0448\u0443\u043c\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438.    a1o = a1 + tau * rng.normal(size=D)    a2o = a2 + tau * rng.normal(size=D)    a3o = a3 + tau * rng.normal(size=D)    a4o = a4 + tau * rng.normal(size=D)    a5o = a5 + tau * rng.normal(size=D)    a6o = a6 + tau * rng.normal(size=D)    edges = [        (a1o, a3o, W13),        (a2o, a3o, W23),        (a3o, a4o, W34),        (a3o, a5o, W35),        (a4o, a6o, W46),        (a5o, a6o, W56),    ]    num = 0.0    den = 0.0    for au, av, W in edges:        r = W @ au - av        num += r @ r        den += au @ au + av @ av    c_sh = np.sqrt(num) \/ (EPS + np.sqrt(den))    eics = delta_ei_g \/ (1.0 + c_sh)    return c_sh, delta_ei_g, eicsc_mean, delta_mean, score_mean = [], [], []for tau in TAUS:    cs, ds, ss = [], [], []    for seed in range(N_SEEDS):        rng = np.random.default_rng(1000 + seed)        c_sh, delta_ei_g, eics = metrics_at_tau(tau, rng)        cs.append(c_sh)        ds.append(delta_ei_g)        ss.append(eics)    c_mean.append(np.mean(cs))    delta_mean.append(np.mean(ds))    score_mean.append(np.mean(ss))inv_c = 1.0 \/ (1.0 + np.array(c_mean))plt.figure(figsize=(6.2, 4.2))plt.plot(TAUS, score_mean, \"-o\", label=\"EICS\")plt.plot(TAUS, inv_c, \"--\", label=r\"$1\/(1+C_{\\mathrm{sh}})$\")plt.plot(TAUS, delta_mean, \":\", label=r\"$\\widetilde{\\Delta \\mathrm{EI}}_G$\")plt.xlabel(r\"Noise scale $\\tau$\")plt.ylabel(\"Dimensionless score\")plt.title(\"Toy sanity check: noise degrades EICS\")plt.grid(True, linewidth=0.5, alpha=0.5)plt.legend(frameon=False)plt.tight_layout()plt.show()<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<h3>\u0427\u0435\u043c \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 black-box UQ<\/h3>\n<p>Black-box \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0432\u044b\u0445\u043e\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u0438?\u00bb<\/p>\n<p>EICS \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0443\u0437\u043a\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0446\u0435\u043f\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0437\u0430 \u044d\u0442\u043e\u0442 \u0432\u044b\u0445\u043e\u0434?\u00bb<\/p>\n<p>\u042d\u0442\u043e \u043d\u0435 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0443\u0440\u043e\u0432\u043d\u0438. \u0418\u0445 \u043b\u0443\u0447\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0432\u0438\u0434\u0438\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0434\u0430\u0451\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Entropy\/logprob<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u044b\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 confidence<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Calibration<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 confidence \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u043e\u0448\u0438\u0431\u043e\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u0441\u0442\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Deep ensembles<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0446\u0435\u043d\u043a\u0443 \u044d\u043f\u0438\u0441\u0442\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Conformal prediction<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u044e\u0449\u0435\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Distribution-free \u043e\u0431\u043e\u043b\u043e\u0447\u043a\u0443 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">EICS<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0410\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u0446\u0435\u043f\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0435\u0445\u0430\u043d\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043c\u044b\u0441\u043b EICS \u2014 \u0434\u0430\u0442\u044c \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043b\u043e\u0439. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0448\u0438\u0431\u043b\u0430\u0441\u044c, \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u00ab\u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0443\u0432\u0435\u0440\u0435\u043d\u0430\u00bb, \u043d\u043e \u0438 \u043d\u0430 \u00ab\u043a\u0430\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0446\u0435\u043f\u0438 \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0430 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c\u00bb.<\/p>\n<h3>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0423 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0436\u0451\u0441\u0442\u043a\u0438\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439.<\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435: <strong>\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0446\u0435\u043f\u0438<\/strong>. \u0415\u0441\u043b\u0438 attribution graph \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u043d\u0435 \u0442\u043e\u0442 \u043f\u043e\u0434\u0433\u0440\u0430\u0444, EICS \u0431\u0443\u0434\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043d\u0435 \u0442\u043e\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0435: <strong>\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u044c<\/strong>. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u044b \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e forward pass. \u0415\u0441\u043b\u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0446\u0435\u043f\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u043d\u0430 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435, \u043f\u0440\u043e\u043a\u0441\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u043d\u0430\u0434\u0451\u0436\u043d\u044b\u043c.<\/p>\n<p>\u0422\u0440\u0435\u0442\u044c\u0435: <strong>\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c<\/strong>. \u0414\u0430\u0436\u0435 \u0441 JVP\/VJP \u044d\u0442\u043e \u043d\u0435 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 confidence score. \u0414\u043b\u044f production-\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u0446\u0435\u043f\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0440\u0435\u0436\u0438\u043c, \u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043d\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435.<\/p>\n<p>\u0427\u0435\u0442\u0432\u0451\u0440\u0442\u043e\u0435: <strong>EICS \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430<\/strong>. \u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0446\u0435\u043f\u0438 \u043c\u043e\u0436\u0435\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0430 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0432\u043d\u0435\u0448\u043d\u0438\u043c\u0438 baseline-\u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438.<\/p>\n<h3>\u0413\u0434\u0435 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u043e<\/h3>\n<p>\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>\u0430\u0443\u0434\u0438\u0442 factual QA \u0441\u0438\u0441\u0442\u0435\u043c;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0446\u0435\u043f\u0435\u0439, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 mechanistic interpretability;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0442\u043b\u0430\u0434\u043a\u0430 hallucination-prone \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u0430\u043d\u0430\u043b\u0438\u0437 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0434\u043e\u043c\u0435\u043d\u043d\u043e\u043c \u0441\u0434\u0432\u0438\u0433\u0435;<\/p>\n<\/li>\n<li>\n<p>research tooling \u0434\u043b\u044f circuit tracing.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u2014 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c EICS \u0434\u043b\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430, \u0430 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0435\u0433\u043e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0443 \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c \u0438\u043b\u0438 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043d\u044b\u043c \u0446\u0435\u043f\u044f\u043c. \u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u0440\u0442\u0443: \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0446\u0435\u043f\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0442\u0435\u0440\u044f\u0442\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c.<\/p>\n<h3>\u0427\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438<\/h3>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u044f \u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u0435\u0449\u0438.<\/p>\n<ol>\n<li>\n<p><strong>\u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0441 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438 factual QA.<\/strong> \u0411\u0435\u0440\u0451\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0441\u0447\u0438\u0442\u0430\u0435\u043c EICS \u0434\u043b\u044f \u0446\u0435\u043f\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u0430, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u0438 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 baseline.<\/strong> Logprob, entropy, ensembles, conformal-set size.<\/p>\n<\/li>\n<li>\n<p><strong>\u0410\u0431\u043b\u044f\u0446\u0438\u0438.<\/strong> \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\mathrm{sh}}\" alt=\"C_{\\mathrm{sh}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg\" width=\"24\" height=\"16\" data-width=\"3.325\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a03\/a03236ecafe517a86040ab080c4993b2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" alt=\"\\widetilde{\\Delta \\mathrm{EI}}_G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg\" width=\"40\" height=\"24\" data-width=\"5.687\" data-height=\"3.192\" data-vertical-align=\"-1.031\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6e\/e6eabfc40771ad7b9c3c8ceed5ca0995.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0432\u043c\u0435\u0441\u0442\u0435 EICS.<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0432\u044b\u0431\u043e\u0440\u0443 \u0446\u0435\u043f\u0438.<\/strong> \u0421\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u044b: \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439, \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439, \u0441 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u0440\u0451\u0431\u0440\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u043b\u0438 EICS \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u0443\u044e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u0434\u0430\u0432\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u0442\u0430\u043c, \u0433\u0434\u0435 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 confidence \u043d\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u0438 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0442\u043e\u0440\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c\u044b.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434<\/h3>\n<p>EICS \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c LLM \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043a \u043d\u0430 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043d\u043e \u0438 \u043a\u0430\u043a \u043d\u0430 \u043f\u043e\u0442\u0435\u0440\u044e \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u043e\u0439 \u0446\u0435\u043f\u0438.<\/p>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0434\u0432\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445 \u0446\u0435\u043f\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043a\u0441\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043d\u0430 \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u0437\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u0430\u044f \u043e\u0434\u043d\u043e\u043f\u0440\u043e\u0445\u043e\u0434\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a white-box \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u041e\u043d\u0430 \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0443, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0438 conformal prediction, \u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u043e, \u0447\u0435\u0433\u043e \u0438\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442: \u0441\u0432\u044f\u0437\u044c \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<blockquote>\n<p><a href=\"https:\/\/rdcu.be\/fbLkr\" rel=\"noopener noreferrer nofollow\">\u0421\u0441\u044b\u043b\u043a\u0430 <\/a>\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044e (<a href=\"https:\/\/www.alphaxiv.org\/abs\/2509.07149\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0435\u043f\u0440\u0438\u043d\u0442<\/a>, \u0435\u0441\u043b\u0438 \u043d\u0435 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f).<\/p>\n<\/blockquote>\n<h3>\u0427\u0442\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0435\u0449\u0451<\/h3>\n<ul>\n<li>\n<p><a href=\"https:\/\/transformer-circuits.pub\/2025\/attribution-graphs\/methods.html\" rel=\"noopener noreferrer nofollow\">Circuit Tracing: Revealing Computational Graphs in Language Models<\/a> \u2014 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b Anthropic \u043f\u043e attribution graphs\/circuit tracing.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2405.17969\" rel=\"noopener noreferrer nofollow\">Knowledge Circuits in Pretrained Transformers<\/a> \u2014 \u0440\u0430\u0431\u043e\u0442\u0430 \u043e \u0446\u0435\u043f\u044f\u0445, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0437\u043d\u0430\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2107.07511\" rel=\"noopener noreferrer nofollow\">A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification<\/a> \u2014 \u0432\u0432\u043e\u0434\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043f\u043e conformal prediction.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1612.01474\" rel=\"noopener noreferrer nofollow\">Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles<\/a> \u2014 deep ensembles \u043a\u0430\u043a baseline \u0434\u043b\u044f uncertainty.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/link.springer.com\/article\/10.1007\/s41468-019-00038-7\" rel=\"noopener noreferrer nofollow\">Toward a Spectral Theory of Cellular Sheaves<\/a> \u2014 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0444\u043e\u043d \u043f\u043e \u043a\u043b\u0435\u0442\u043e\u0447\u043d\u044b\u043c \u043f\u0443\u0447\u043a\u0430\u043c.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/journals.plos.org\/ploscompbiol\/article?id=10.1371\/journal.pcbi.1008289\" rel=\"noopener noreferrer nofollow\">Reconciling Emergences<\/a> \u2014 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e-\u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 causal emergence.<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1033580\/\">https:\/\/habr.com\/ru\/articles\/1033580\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u0442\u0435\u0440\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0446\u0435\u043f\u0438\u0423 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0438 \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u00ab\u0441\u043e\u0431\u0440\u0430\u043b\u0430\u00bb \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u0443\u044e \u0446\u0435\u043f\u043e\u0447\u043a\u0443, \u0438 \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0434\u0430\u043b\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u2014 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438, conformal prediction \u2014 \u043f\u043e\u043b\u0435\u0437\u043d\u044b, \u043d\u043e \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u043d\u0430 \u0447\u0451\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a.\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0437\u0431\u0435\u0440\u0443 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434: \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u0432\u044b\u0445\u043e\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u043f\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0446\u0435\u043f\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u0420\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 EICS \u2014 Effective Information Consistency Score. \u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0437\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u044f\u043c\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0442\u043e\u0433\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u0430\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0446\u0435\u043f\u044c \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0451 \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0441\u0451\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043e\u0431 \u043e\u0446\u0435\u043d\u043a\u0435 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0445 \u0446\u0435\u043f\u044f\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0417\u0434\u0435\u0441\u044c \u044f \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0443\u0431\u0440\u0430\u043b \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043f\u043e\u0434\u0430\u0447\u0443, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e, \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f.TL;DR\u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043a\u0440\u0430\u0442\u043a\u043e:\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0443\u044e \u0446\u0435\u043f\u044c \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u0434\u0433\u0440\u0430\u0444 \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438: \u0443\u0437\u043b\u044b \u2014 \u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 MLP-\u0431\u043b\u043e\u043a\u0438, \u0440\u0451\u0431\u0440\u0430 \u2014 \u043f\u043e\u0442\u043e\u043a \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438;\u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430;\u044d\u0442\u0430 \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u0451\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: ;\u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u2014 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043a\u0441\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438: \u043e\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0434\u0430\u0451\u0442 \u043b\u0438 \u0446\u0435\u043f\u044c \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0430, \u0447\u0435\u043c \u0441\u0443\u043c\u043c\u0430 \u0435\u0451 \u0447\u0430\u0441\u0442\u0435\u0439;\u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 EICS \u0440\u0430\u0441\u0442\u0451\u0442, \u043a\u043e\u0433\u0434\u0430 \u0446\u0435\u043f\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u0430 \u0438 \u0438\u043c\u0435\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0443\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:\u0412\u044b\u0441\u043e\u043a\u0438\u0439 EICS \u2014 \u0441\u0438\u0433\u043d\u0430\u043b, \u0447\u0442\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u0430\u044f \u0446\u0435\u043f\u044c, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e. \u041d\u0438\u0437\u043a\u0438\u0439 EICS \u2014 \u043f\u043e\u0432\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u043d\u0435 \u0441\u043b\u043e\u043c\u0430\u043b\u0430\u0441\u044c \u043b\u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u044d\u0442\u043e\u0439 \u0446\u0435\u043f\u0438.\u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u0430\u043b\u043e\u0412 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u043c\u044b \u0447\u0430\u0441\u0442\u043e \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 logprob, \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e \u0438\u043b\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\u044b. \u042d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u043e: \u0438\u0445 \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043e\u043d\u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043b\u043e\u0436\u0430\u0442\u0441\u044f \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443.\u041d\u043e \u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041e\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435, \u043d\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 factual QA: \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0432\u044b\u0434\u0430\u0442\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u0444\u0430\u043a\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0446\u0435\u043f\u044c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0437\u043d\u0430\u043d\u0438\u044f \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0435\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e, \u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u043d\u043e.\u0412 mechanistic interpretability \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u043e\u043a\u0443\u0441. \u041c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438: \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, induction heads, \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0444\u0430\u043a\u0442\u043e\u0432, \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c\u0438. \u0422\u0430\u043a\u0438\u0435 \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 Transformer Circuits.\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0446\u0435\u043f\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u0430, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u0430 \u0432\u0435\u0434\u0451\u0442 \u043b\u0438 \u043e\u043d\u0430 \u0441\u0435\u0431\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0432\u0445\u043e\u0434\u0435?\u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u044c EICS: \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b uncertainty quantification, \u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043a \u043d\u0438\u043c white-box \u0441\u0438\u0433\u043d\u0430\u043b, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.\u0427\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u043e\u0439 \u0446\u0435\u043f\u044c\u044e\u0411\u0443\u0434\u0435\u043c \u0433\u0440\u0443\u0431\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u043a\u0430\u043a \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0444:\u0443\u0437\u043b\u044b \u2014 attention heads, MLP-\u0431\u043b\u043e\u043a\u0438 \u0438\u043b\u0438 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0441\u043b\u043e\u044f;\u0440\u0451\u0431\u0440\u0430 \u2014 \u043f\u0443\u0442\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c\u0438;\u043f\u043e\u0434\u0433\u0440\u0430\u0444  \u2014 \u0446\u0435\u043f\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0443\u044e \u043d\u0430\u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u044e.\u0414\u043b\u044f \u0432\u0445\u043e\u0434\u0430  \u043a\u0430\u0436\u0434\u044b\u0439 \u0443\u0437\u0435\u043b  \u0438\u043c\u0435\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044e . \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0440\u0435\u0431\u0440\u043e , \u0442\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435  \u043d\u0430  \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u043e\u043c:\u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043d\u0435 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0437\u0430\u043d\u043e\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u0441\u0435\u0440\u0438\u044e \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u041c\u044b \u0431\u0435\u0440\u0451\u043c \u043e\u0434\u0438\u043d forward pass, \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0446\u0435\u043f\u0438.\u0421\u0445\u0435\u043c\u0430: \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a DAG, \u0432\u043d\u0443\u0442\u0440\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043f\u043e\u0434\u0433\u0440\u0430\u0444 \u041f\u0435\u0440\u0432\u044b\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0446\u0435\u043f\u0438 \u043a\u0430\u043a \u00ab\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445\u00bb\u0418\u0434\u0435\u044f \u0442\u0430\u043a\u0430\u044f: \u0435\u0441\u043b\u0438 \u0440\u0435\u0431\u0440\u043e  \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0442\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f  \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0431\u043b\u0438\u0437\u043a\u0430 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 .\u0412\u0432\u0435\u0434\u0451\u043c \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043d\u0430 \u0440\u0435\u0431\u0440\u0435:\u0415\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043c\u0430\u043b, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043e \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438. \u0415\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0432\u0435\u043b\u0438\u043a, \u0432 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0446\u0435\u043f\u0438 \u0447\u0442\u043e-\u0442\u043e \u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f: \u043b\u0438\u0431\u043e \u0446\u0435\u043f\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e, \u043b\u0438\u0431\u043e \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0443\u0447\u0442\u0451\u043d\u043d\u044b\u0439 \u043f\u0443\u0442\u044c, \u043b\u0438\u0431\u043e \u0441\u0430\u043c\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u043f\u043b\u043e\u0445\u0430.\u0427\u0442\u043e\u0431\u044b \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u043f\u043e \u0432\u0441\u0435\u0439 \u0446\u0435\u043f\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u044d\u043d\u0435\u0440\u0433\u0438\u044e \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438:\u0417\u0434\u0435\u0441\u044c: \u2014 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0451\u0431\u0435\u0440 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0446\u0435\u043f\u0438; \u2014 \u0432\u0435\u0441 \u0440\u0435\u0431\u0440\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u043d\u043e\u0440\u043c\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438\u043b\u0438 \u0430\u0442\u0440\u0438\u0431\u0443\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u044c\u044e; \u2014 \u043c\u0430\u043b\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0434\u043b\u044f \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438.\u042d\u0442\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0431\u0435\u0437\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u0430. \u0415\u0441\u043b\u0438  \u0431\u043b\u0438\u0437\u043a\u0430 \u043a \u043d\u0443\u043b\u044e, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u044e\u0442\u0441\u044f \u0441 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438. \u0415\u0441\u043b\u0438  \u0440\u0430\u0441\u0442\u0451\u0442, \u0446\u0435\u043f\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043c\u0435\u043d\u0435\u0435 \u0441\u0432\u044f\u0437\u043d\u043e.\u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441 sh? \u041e\u043d \u043e\u0442\u0441\u044b\u043b\u0430\u0435\u0442 \u043a sheaf theory, \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u0443\u0447\u043a\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0443\u0437\u043b\u044b \u0433\u0440\u0430\u0444\u0430 \u0438\u043c\u0435\u044e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0440\u0451\u0431\u0440\u0430 \u0437\u0430\u0434\u0430\u044e\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438, \u0430 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432 \u043e\u0434\u043d\u043e \u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0414\u043b\u044f \u0446\u0435\u043b\u0435\u0439 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f:  \u2014 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0446\u0435\u043f\u044c \u043d\u0435 \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u0442\u0441\u044f\u00bb.\u0412\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0446\u0435\u043f\u0438\u041e\u0434\u043d\u0430 \u043d\u0438\u0437\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0435\u0449\u0451 \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0446\u0435\u043f\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u044b\u0439, \u043d\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u043e\u0434\u0433\u0440\u0430\u0444. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u0435\u043d \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u0438 \u0446\u0435\u043f\u044c \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u0447\u0435\u043c \u0435\u0451 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043a\u0441\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0418\u0441\u0442\u0438\u043d\u043d\u0430\u044f effective information \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u0432\u0435\u043d\u0446\u0438\u0438, \u043d\u043e \u0437\u0434\u0435\u0441\u044c \u043d\u0443\u0436\u043d\u0430 \u043e\u0434\u043d\u043e\u043f\u0440\u043e\u0445\u043e\u0434\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c.\u041f\u0443\u0441\u0442\u044c  \u2014 \u044f\u043a\u043e\u0431\u0438\u0430\u043d \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f. \u0414\u043b\u044f \u043c\u0430\u043b\u044b\u0445 \u0438\u0437\u043e\u0442\u0440\u043e\u043f\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u0443\u0449\u0435\u043d\u0438\u0439 \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0448\u0443\u043c\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u043e\u0433-\u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043d\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u043a\u0441\u0438:\u0417\u0434\u0435\u0441\u044c  \u0437\u0430\u0434\u0430\u0451\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0441\u0438\u0433\u043d\u0430\u043b\/\u0448\u0443\u043c. \u0415\u0441\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0441\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f  \u043c\u0430\u0442\u0440\u0438\u0446\u044b , \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430:\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0446\u0435\u043f\u044c \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u0438 \u0435\u0451 \u0447\u0430\u0441\u0442\u0438. \u041f\u0443\u0441\u0442\u044c  \u2014 \u043c\u0430\u043a\u0440\u043e-\u044f\u043a\u043e\u0431\u0438\u0430\u043d \u043e\u0442 \u0432\u0445\u043e\u0434\u043e\u0432 \u0446\u0435\u043f\u0438 \u043a \u0435\u0451 \u0432\u044b\u0445\u043e\u0434\u0430\u043c, \u0430  \u2014 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u044b \u0447\u0430\u0441\u0442\u0435\u0439 \u0438\u043b\u0438 \u0432\u0435\u0442\u0432\u0435\u0439 \u0446\u0435\u043f\u0438. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438:\u0413\u0440\u0443\u0431\u043e: \u0435\u0441\u043b\u0438 \u0432\u0441\u044f \u0446\u0435\u043f\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u0430\u0451\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0443\u043c\u043c\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0442\u0432\u0435\u0439, \u0442\u043e \u0432 \u043d\u0435\u0439 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u043d\u0435\u0442 \u2014 \u044d\u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0430\u043b\u044b\u043c.\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c EICS\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u0441\u0438\u0433\u043d\u0430\u043b\u0430:\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0442\u0430\u043a\u0430\u044f:\u0421\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u0427\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u043e\u0442 EICS\u041d\u0438\u0437\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f effective information\u0426\u0435\u043f\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u0432\u044f\u0437\u043d\u043e \u0438 \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u043d\u0435\u0441\u0451\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b\u0412\u044b\u0441\u043e\u043a\u0438\u0439\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f effective information\u0415\u0441\u0442\u044c \u0441\u0438\u0433\u043d\u0430\u043b, \u043d\u043e \u0440\u0451\u0431\u0440\u0430 \u043f\u043b\u043e\u0445\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u044b\u0421\u0440\u0435\u0434\u043d\u0438\u0439 \u0438\u043b\u0438 \u043d\u0438\u0437\u043a\u0438\u0439\u041d\u0438\u0437\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u043d\u0435\u0442 \u043c\u0430\u043a\u0440\u043e-\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438\u0426\u0435\u043f\u044c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0430\u044f, \u043d\u043e \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b\u041d\u0438\u0437\u043a\u0438\u0439\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0435\u0442 \u043c\u0430\u043a\u0440\u043e-\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438\u0426\u0435\u043f\u044c \u043d\u0435\u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u0430\u043a \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430\u041d\u0438\u0437\u043a\u0438\u0439\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: EICS \u2014 \u043d\u0435 \u00ab\u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440 \u0438\u0441\u0442\u0438\u043d\u044b\u00bb. \u042d\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0446\u0435\u043f\u0438. \u0415\u0441\u043b\u0438 \u0446\u0435\u043f\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043f\u043b\u043e\u0445\u043e, \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0447\u0435\u0441\u0442\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0438\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u043b\u043e\u0445\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430.\u041a\u0430\u043a \u044d\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435\u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a.\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0446\u0435\u043f\u044c . \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 circuit tracing, attribution graphs \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430.\u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u043f\u0440\u044f\u043c\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 .\u0414\u043b\u044f \u0443\u0437\u043b\u043e\u0432 \u0446\u0435\u043f\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 .\u0414\u043b\u044f \u0440\u0451\u0431\u0435\u0440 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 Jacobian-vector products\/vector-Jacobian products.\u041f\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f .\u041f\u043e \u043c\u0430\u043a\u0440\u043e-\u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0443 \u0446\u0435\u043f\u0438 \u0438 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0430\u043c \u0435\u0451 \u0447\u0430\u0441\u0442\u0435\u0439 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f .\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 EICS.\u0412 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434\u0435:input: model M, prompt x, circuit C, noise scale alphaoutput: EICS, C_sh, DeltaEI_G1. run forward pass M(x)2. record activations a_v for all nodes v in C3. for each edge u -&gt; v in C:       compute local JVP\/VJP for J_{u-&gt;v}       compute residual r_{u-&gt;v} = J_{u-&gt;v} a_u &#8212; a_v4. aggregate residuals into C_sh5. build macro-Jacobian J_C for the circuit6. compute EI_G(J_C) and EI_G(J_k) for circuit parts7. compute normalized positive DeltaEI_G8. return DeltaEI_G\/(1 + C_sh)\u0411\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u0442\u043e\u0447\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c\u044b\u0423 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438: \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445 \u0438 \u043b\u043e\u0433-\u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043d\u0442 \u0434\u043b\u044f EI-\u043f\u0440\u043e\u043a\u0441\u0438.\u0414\u043b\u044f  \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0442\u0440\u044e\u043a \u0441 JVP, \u0438\u043d\u0438\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0443\u0437\u043b\u0430\u043c\u0438. \u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 JVP \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0435 \u0440\u0435\u0431\u0440\u043e, \u043c\u043e\u0436\u043d\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0437\u043b\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c JVP \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0440\u0451\u0431\u0435\u0440. \u0414\u043b\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0446\u0435\u043f\u0435\u0439 \u044d\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u0437 \u00ab\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0440\u0451\u0431\u0435\u0440\u00bb \u0432 \u00ab\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432\u00bb.\u0414\u043b\u044f EI-\u043f\u0440\u043e\u043a\u0441\u0438 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0440\u0435\u0436\u0438\u043c\u0430:\u0420\u0435\u0436\u0438\u043c\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u041a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0411\u044b\u0441\u0442\u0440\u044b\u0439\u041d\u0443\u0436\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0438\u043b\u0438 \u0446\u0435\u043f\u0435\u0439\u041c\u0430\u043b\u043e\u0435 , top singular directions, Hutchinson\/Hutch++ \u0438\u043b\u0438 Lanczos\u0422\u043e\u0447\u043d\u044b\u0439\u041c\u0430\u043b\u044b\u0435 \u0431\u043b\u043e\u043a\u0438, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0433\u043e\u043d, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044bSVD, Cholesky \u0438\u043b\u0438 eigendecomposition\u0412 \u0431\u044b\u0441\u0442\u0440\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u044f\u0432\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0441\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0438\u0434\u0430 JVP\/VJP \u043d\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u043c \u043f\u043e\u0434\u0433\u0440\u0430\u0444\u0435. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e: \u043f\u043e\u043b\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0430 \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 LLM \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e\u0439.\u041a\u0430\u043a \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0440\u043e\u0433EICS \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442: \u00ab\u043e\u0442\u0432\u0435\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439\u00bb \u0438\u043b\u0438 \u00ab\u043e\u0442\u0432\u0435\u0442 \u043b\u043e\u0436\u043d\u044b\u0439\u00bb. \u0415\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435.\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f factual QA \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0432\u0430 \u043d\u0430\u0431\u043e\u0440\u0430:\u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u043c\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438;\u043f\u0440\u043e\u0432\u043e\u0446\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0438\u043b\u0438 \u0430\u0434\u0432\u0435\u0440\u0441\u0430\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043b\u043e\u043d\u043d\u0430 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c.\u0414\u0430\u043b\u044c\u0448\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0446\u0435\u043f\u044c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u0430, \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f EICS \u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u043e\u0433 \u043f\u043e AUROC, F1 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0430\u0436\u043d\u043e \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 score, \u043d\u043e \u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b:: \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0446\u0435\u043f\u044c \u0442\u0435\u0440\u044f\u0435\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c;: \u0435\u0441\u0442\u044c \u043b\u0438 \u043c\u0430\u043a\u0440\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.\u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f:\u00ab\u0426\u0435\u043f\u044c \u0448\u0443\u043c\u043d\u0430\u044f\u00bb: \u0432\u044b\u0441\u043e\u043a\u0438\u0439 .\u00ab\u0426\u0435\u043f\u044c \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u0430\u044f, \u043d\u043e \u043d\u0435 \u043d\u0435\u0441\u0451\u0442 \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u043c\u0430\u043a\u0440\u043e-\u0441\u0438\u0433\u043d\u0430\u043b\u0430\u00bb: \u043d\u0438\u0437\u043a\u0438\u0439 .\u0414\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435, \u0447\u0435\u043c \u043e\u0434\u0438\u043d \u0432\u043d\u0435\u0448\u043d\u0438\u0439 confidence score.\u041f\u0440\u043e\u0441\u0442\u0430\u044f sanity-check \u043c\u043e\u0434\u0435\u043b\u044c\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0443\u044e \u0446\u0435\u043f\u044c \u0438\u0437 6 \u0443\u0437\u043b\u043e\u0432 \u0441 \u0434\u0432\u0443\u043c\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0435\u0442\u0432\u044f\u043c\u0438.\u0418\u0434\u0435\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430:\u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0432\u0435\u0442\u0432\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u044b;\u0437\u0430\u0442\u0435\u043c \u043c\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u0448\u0443\u043c ;\u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u043c &#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-479245","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/479245","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=479245"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/479245\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=479245"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=479245"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=479245"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}