{"id":479101,"date":"2026-05-08T18:29:19","date_gmt":"2026-05-08T18:29:19","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=479101"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=479101","title":{"rendered":"C\u043e\u0431\u0440\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0434\u043b\u044f XAI \u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0431\u044b\u0442\u044c \u043e\u043d\u043b\u0430\u0439\u043d"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p><strong>\u041f\u0440\u0438\u0432\u0435\u0442, \u0434\u0440\u0443\u0437\u044c\u044f! <\/strong>\u042f, \u043f\u043e\u0445\u043e\u0436\u0435, \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u0435\u0440\u0435\u0436\u0438\u043b\u0430 \u043a\u0440\u0438\u0437\u0438\u0441 \u043f\u0440\u0438\u0448\u0435\u0441\u0442\u0432\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0432 \u043d\u0430\u0448\u0443 \u0436\u0438\u0437\u043d\u044c. \u041c\u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0435\u0437\u0443\u043c\u043d\u043e \u043d\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u2014\u00a0\u044d\u0442\u0430\u043a\u0438\u0439 \u043b\u0438\u0447\u043d\u044b\u0439, \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u0440, \u0434\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 \u0442\u044b \u0443\u0436\u0435 \u0437\u043d\u0430\u0435\u0448\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u041b\u043e\u043f\u0438\u0442\u0430\u043b\u044f\/Modus ponens\/\u0432\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u0442\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u043e \u0432\u0430\u0441 \u0441\u043c\u0435\u044f\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0438. <\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0432\u044b\u043f\u0430\u0441\u0442\u044c \u0438\u0437 \u0436\u0438\u0437\u043d\u0438, \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0441\u0442\u043e <strong>\u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f<\/strong> \u0440\u0435\u0448\u0430\u0442\u044c <strong>\u0441 \u043a\u0435\u043c-\u0442\u043e<\/strong>. \u0418 \u044d\u0442\u043e\u0442 \u043a\u0442\u043e-\u0442\u043e<em> LLM-Agent.<\/em> <\/p>\n<p>\u041f\u043e \u0436\u0438\u0437\u043d\u0438 \u044f \u2014\u00a0XAI Researcher, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u0441\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0447\u0438\u0445, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u0430\u043c \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 &#171;\u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 ML \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u044d\u043a\u0440\u0430\u043d, \u0434\u0443\u043c\u0430\u044f \u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u0445 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438&#187;. <\/p>\n<p><em>\u0418\u043b\u0438 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f?<\/em><br \/>\u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u0430 \u043b\u0435\u0436\u0438\u0442 \u0437\u0434\u0435\u0441\u044c: <a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/tree\/main\/naive_agent_and_xai\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/SadSabrina\/XAI-open_materials\/tree\/main\/naive_agent_and_xai<\/a><\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/11d\/85b\/a1f\/11d85ba1f8a55ad76165763194e79794.jpg\" alt=\"source: unsplash\" title=\"source: unsplash\" width=\"6000\" height=\"4000\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/11d\/85b\/a1f\/11d85ba1f8a55ad76165763194e79794.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/11d\/85b\/a1f\/11d85ba1f8a55ad76165763194e79794.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>source: unsplash<\/figcaption><\/div>\n<\/figure>\n<h2>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0445\u043e\u0434\u0438\u0442\u044c \u0434\u0430\u043b\u0435\u043a\u043e, \u043f\u043e\u0434\u0442\u044f\u043d\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f. <\/p>\n<p><strong>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:<\/strong><\/p>\n<p><strong><em>LLM Agent<\/em> <\/strong>\u2014\u00a0\u0441\u0438\u0441\u0442\u0435\u043c\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u0432\u0438\u0433\u0430\u0442\u0435\u043b\u0435\u043c. \u041a\u0442\u043e \u043a\u0430\u043a \u2014 \u0430 \u044f \u0432\u0438\u0436\u0443 \u0430\u0433\u0435\u043d\u0442\u0430 \u043a\u0430\u043a \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 4\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: <img decoding=\"async\" class=\"formula inline\" source=\"\\{M, T, S, R\\}\" alt=\"\\{M, T, S, R\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b4a\/b4af8f523d9c8a9aa3039af929d2e3d3.svg\" width=\"96\" height=\"16\" data-width=\"12.428\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b4a\/b4af8f523d9c8a9aa3039af929d2e3d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b4a\/b4af8f523d9c8a9aa3039af929d2e3d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>* <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg\" width=\"16\" height=\"12\" data-width=\"2.378\" data-height=\"1.545\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0441\u0430\u043c\u0430 LLM;<\/p>\n<p>* <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg\" width=\"12\" height=\"12\" data-width=\"1.593\" data-height=\"1.532\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 (tools), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0433\u0435\u043d\u0442 \u0443\u043c\u0435\u0435\u0442 \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c;<\/p>\n<p>* <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5dbc98dcc983a70728bd082d1a47546e.svg\" width=\"12\" height=\"12\" data-width=\"1.459\" data-height=\"1.645\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5dbc98dcc983a70728bd082d1a47546e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5dbc98dcc983a70728bd082d1a47546e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b: \u043f\u0430\u043c\u044f\u0442\u044c, \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b;<\/p>\n<p>* <img decoding=\"async\" class=\"formula inline\" source=\"R\" alt=\"R\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e1e\/e1e1d3d40573127e9ee0480caf1283d6.svg\" width=\"12\" height=\"12\" data-width=\"1.717\" data-height=\"1.593\" data-vertical-align=\"-0.048\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e1e\/e1e1d3d40573127e9ee0480caf1283d6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e1e\/e1e1d3d40573127e9ee0480caf1283d6.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 reasoning loop, \u0442\u043e \u0435\u0441\u0442\u044c \u0446\u0438\u043a\u043b \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439.<\/p>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0430 \u044d\u0442\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430\u0441\u044c, \u043d\u043e \u044d\u0442\u0443 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443, \u0432\u0441\u0451 \u0436\u0435, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043c. <\/p>\n<p><strong><em>Explainable AI<\/em> <\/strong>\u2014 \u043d\u0430\u0431\u043e\u0440 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (LLM \u0438 ML, \u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 ML). \u041c\u0430\u0442\u0435\u043c\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u0438\u043c \u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0431\u0443\u0434\u0435\u043c.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b85\/63b\/eeb\/b8563beeb274b3e132bfb906e4c57e98.jpg\" alt=\"source: unsplash\" title=\"source: unsplash\" width=\"3428\" height=\"1510\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b85\/63b\/eeb\/b8563beeb274b3e132bfb906e4c57e98.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b85\/63b\/eeb\/b8563beeb274b3e132bfb906e4c57e98.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>source: unsplash<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442:<\/strong><\/p>\n<p>\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e (\u043b\u0430\u0434\u043d\u043e, \u0432\u0441\u0435) XAI-\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u041c\u044b \u0441\u0438\u0434\u0435\u043b\u0438 \u0438 \u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0427\u0430\u0441\u0442\u043d\u044b\u0435 ML-\u043c\u0435\u0442\u043e\u0434\u044b: <a href=\"https:\/\/shap.readthedocs.io\/en\/latest\/example_notebooks\/overviews\/An%20introduction%20to%20explainable%20AI%20with%20Shapley%20values.html\" rel=\"noopener noreferrer nofollow\">SHAP values<\/a>, <a href=\"https:\/\/scikit-learn.org\/stable\/auto_examples\/ensemble\/plot_forest_importances.html\" rel=\"noopener noreferrer nofollow\">feature importance<\/a>, <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/partial_dependence.html\" rel=\"noopener noreferrer nofollow\">partial dependence plots, ICE<\/a> \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043c\u0435\u0435\u0442 \u0434\u0443\u043c\u0430\u0442\u044c, \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0438\/\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0438 \u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.  <\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f, \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 step-by-step <em>(\u0438 \u043e\u043d \u043d\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0448\u0430\u0433 \u0432\u043f\u0440\u0430\u0432\u043e \u2014\u00a0\u0438 \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0437\u0430\u0448\u0438\u0432\u0430\u0442\u044c (\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u0435))<\/em>, \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u042d\u0442\u043e \u0436\u0435 \u043a\u043e\u0441\u043d\u0443\u043b\u043e\u0441\u044c \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438, \u043d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e &#171;\u0440\u043e\u0434\u0438\u0432&#187; agentic XAI \u2014 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 LLM \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c.  <\/p>\n<p>\u0423\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438: <\/p>\n<ul>\n<li>\n<p>\u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430: \u0432\u044b\u0439\u0442\u0438 \u043f\u043e\u0433\u0443\u043b\u044f\u0442\u044c \u0438 \u0437\u0430\u0439\u0442\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u044f LLM:  \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 reasoning \u0446\u0438\u043a\u043b\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430: \u043d\u0430\u0439\u0442\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0441 \u043d\u0438\u043c \u0431\u0440\u0435\u0439\u043d\u0448\u0442\u043e\u0440\u043c;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u044f LLM: \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u0440\u0438\u0442\u0438\u043a\u0443 \u0441\u0432\u043e\u0435\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f. <\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u2014\u00a0\u043d\u0435 \u0440\u0430\u0432\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e &#8212; \u043d\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043e \u0438 \u0441\u0435\u0440\u0434\u0438\u0442\u043e. \u0423 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0440\u0435\u0436\u0438\u043c\u044b \u043f\u0440\u043e\u0432\u0430\u043b\u0430 \u2014\u00a0\u0442\u043e \u0435\u0441\u0442\u044c \u043c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u0432\u0441\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0442\u0430\u043a, \u043a\u0430\u043a \u043d\u0430\u0434\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/www.andrewcwmyers.com\/asher_et_al_LLM_sycophancy.pdf\" rel=\"noopener noreferrer nofollow\"><em>p-hacking <\/em><\/a>(LLM-\u0430\u0433\u0435\u043d\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442),<a href=\"https:\/\/arxiv.org\/pdf\/2604.11003\" rel=\"noopener noreferrer nofollow\"> <em>missing sanity checks <\/em><\/a>(\u0430\u0433\u0435\u043d\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438), \u0438\u043b\u0438, \u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430\u044f \u0442\u0440\u0443\u0434\u043e\u0432\u044b\u043c \u0431\u0443\u0434\u043d\u044f\u043c \u2014\u00a0<em>unreliable LLM-driven annotation<\/em> (LLM \u043d\u0435\u043d\u0430\u0434\u0435\u0436\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u044f \u0448\u0443\u043c, bias \u0438\u043b\u0438 \u0444\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b). <\/p>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0437\u0430\u0434\u0443\u043c\u0430\u043d\u0430 \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440 &#171;\u043d\u043e\u0440\u043c&#187; interpretability pipeline \u043d\u0430 \u0431\u0430\u0437\u0435 \u0430\u0433\u0435\u043d\u0442\u0430. \u041c\u044b:<\/p>\n<ol>\n<li>\n<p>\u043e\u0431\u0443\u0447\u0438\u043c baseline-\u043c\u043e\u0434\u0435\u043b\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043e\u0431\u0430\u0432\u0438\u043c SHAP \u0438 feature attribution;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043d\u0430\u0438\u0432\u043d\u043e\u0433\u043e, \u043d\u043e \u0432\u0441\u0451 \u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e, interpretability-agent;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043c\u0435\u043d\u0435\u0435 \u043d\u0430\u0438\u0432\u043d\u044b\u0439 multi agent pipeline;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 failure mode (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0441\u0430\u043c\u0438).<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u043e\u0435\u0445\u0430\u043b\u0438. <\/p>\n<h2>\u0414\u0438\u0437\u0430\u0439\u043d: \u0430\u0433\u0435\u043d\u0442<\/h2>\n<p>\u041c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/github.com\/langchain-ai\/langchain\" rel=\"noopener noreferrer nofollow\">LangChain<\/a> \u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u0440\u0438\u044f\u0442\u043d\u0435\u0435 \u044d\u0442\u043e\u0433\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u043d\u0435\u0442. \u0422\u0430\u043a \u0447\u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u043e\u0434 (\u0443\u0440\u0430, \u0442\u0430\u0432\u0442\u043e\u043b\u043e\u0433\u0438\u044f), \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u0435\u0431\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0423 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0434\u0432\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p><strong>\u041f\u0435\u0440\u0432\u0430\u044f \u2014 baseline:<\/strong> \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <code>breast_cancer<\/code>. \u041d\u0430 \u043d\u0435\u0439 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043b\u0438 agentic pipeline \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0439 XAI-\u043e\u0442\u0447\u0435\u0442: \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c feature importance, SHAP \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u2014 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435.<\/p>\n<p><strong>\u0412\u0442\u043e\u0440\u0430\u044f \u2014 batch artifact:<\/strong>  \u0442\u0430 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0430, \u043d\u043e \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u0442 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0441\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u044d\u0442\u043e \u043c\u043e\u0433 \u0431\u044b \u0431\u044b\u0442\u044c \u043d\u043e\u043c\u0435\u0440 \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u044b, \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438, \u043f\u0440\u0438\u0431\u043e\u0440\u0430, \u043f\u0430\u0440\u0442\u0438\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 target \u043d\u0435 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043d \u043d\u0435\u0441\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, \u0430 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0430\u043a \u0431\u044b\u043b\u0438 \u0441\u043e\u0431\u0440\u0430\u043d\u044b. \u0412 \u0445\u043e\u0440\u043e\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0443\u0436 \u043c\u044b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0430\u0448 ML \u0430\u0433\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u044d\u0442\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c. <\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043a\u0436\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 pipeline.<\/p>\n<h2>Naive agent<\/h2>\n<p>Naive agent &#8212; \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0441 tools. \u041c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0435\u0433\u043e \u0432 \u0434\u0432\u0443\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u2014\u00a0\u0441 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u043c\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c\u0438 (<a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/02.1_naive_interpretability_agent.py\" rel=\"noopener noreferrer nofollow\">02.1_naive_interpretability_agent.py<\/a>), \u0438 \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c\u0438 zero-shot \u0432\u0438\u0434\u0430 (<a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/02.0%5C_naive%5C_interpretability%5C_agent.py\" rel=\"noopener noreferrer nofollow\">02.0_naive_interpretability_agent.py<\/a>). \u0414\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0430\u0433\u0435\u043d\u0442 \u0441\u043c\u043e\u0436\u0435\u0442 \u0441\u0430\u043c \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a, sanity checks, feature importance, SHAP \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0438\u0434 \u043e\u0431\u043e\u0438\u0445:<\/p>\n<p><code>LLM + tools + \u0441\u0432\u043e\u0431\u043e\u0434\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (\u043d\u0435 \u0448\u0438\u0431\u043a\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 system prompt)<\/code><\/p>\n<p><code>LLM + tools + \u0441\u0432\u043e\u0431\u043e\u0434\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 system prompt)<\/code><\/p>\n<p>\u041f\u043e\u043b\u0430\u0433\u0430\u044f \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e system prompt, \u0430\u0433\u0435\u043d\u0442 \u0440\u0435\u0448\u0430\u0435\u0442 \u043a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0432\u044b\u0437\u0432\u0430\u0442\u044c, \u0432 \u043a\u0430\u043a\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435, \u043a\u043e\u0433\u0434\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 interpretability report.<\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a:<\/p>\n<pre><code>python 02.*_naive_interpretability_agent.py<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u043d\u0443\u0442\u0440\u0438 \u0430\u0433\u0435\u043d\u0442\u0443 \u0434\u0430\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 tools (\u0444\u0430\u0439\u043b\u044b <a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/tool_helpers.py\" rel=\"noopener noreferrer nofollow\"><code>tool_helpers.py<\/code><\/a>, <a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/agent.py\" rel=\"noopener noreferrer nofollow\"><code>agent.py<\/code><\/a>):<\/p>\n<ol>\n<li>\n<p>model_performance \u2014 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 train\/test quality \u0438 generalization gap (\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0442\u0440\u0435\u0439\u043d \u0438 \u0442\u0435\u0441\u0442 \u043a\u0430\u0447\u0435\u0442\u0441\u0432\u043e\u043c);<\/p>\n<\/li>\n<li>\n<p>sanity_checks \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0430 \u043c\u044b \u0441 \u0432\u0430\u043c\u0438 \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442\u044b \u0441\u0442\u0440\u0430\u0434\u0430\u044e\u0442 \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0448\u0430\u0433\u0430);<\/p>\n<\/li>\n<li>\n<p>feature_importance \u2014 \u0434\u043e\u0441\u0442\u0430\u0435\u0442 impurity-based importance \u0438\u0437 \u043b\u0435\u0441\u0430;<\/p>\n<\/li>\n<li>\n<p>shap_explanation \u2014 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 global\/local SHAP;<\/p>\n<\/li>\n<li>\n<p>explain_single_prediction \u2014 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f LangChain \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e tool-calling pipeline: LLM \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442 reasoning trace. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f XAI \u2014\u00a0tools \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u043b\u044f \u043b\u0435\u0441\u0430 \u0432 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435.<\/p>\n<blockquote>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0435\u043d\u0438\u0435:<\/em><\/p>\n<p><em>\u0411\u0443\u0434\u0435\u0442\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434, \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <\/em><code><em>recursion limit<\/em><\/code><em>\u0432 \u0444\u0430\u0439\u043b\u0430\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 (02-04).<\/em> <em>\u041e\u043d \u0440\u0435\u0436\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0433\u0435\u043d\u0442 \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0448\u0430\u0433\u0438, \u0432\u0435\u0434\u044c \u0430\u0433\u0435\u043d\u0442 \u2014\u00a0\u044d\u0442\u043e \u043a\u0430\u043a \u0432\u043e\u0441\u043a\u0440\u0435\u0441\u0435\u043d\u044c\u0435 \u043f\u0435\u0440\u0435\u0434 \u043f\u043e\u043d\u0435\u0434\u0435\u043b\u044c\u043d\u0438\u043a\u043e\u043c \u043d\u0430 \u0434\u0438\u0435\u0442\u0435 \u2014\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043f\u043e\u043d\u0447\u0438\u043a \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0438 \u0431\u0435\u0440\u0435\u0436\u0435\u043c\u0441\u044f \u043e\u0442 \u043f\u043e\u043a\u0443\u043f\u043a\u0438 \u043d\u043e\u0432\u044b\u0445 \u0448\u0442\u0430\u043d\u0438\u0448\u0435\u043a: <\/em><code><em>config={\"recursion_limit\": 12}<\/em><\/code><em>. <\/em><\/p>\n<\/blockquote>\n<p><strong>\u0418\u0434\u0435\u044f \u0448\u0430\u0433\u0430 <\/strong>\u2014 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0434\u0430\u0442\u044c LLM-\u0430\u0433\u0435\u043d\u0442\u0443 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0441\u043a\u0430\u0437\u0430\u0442\u044c: \u201c\u041f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u201d. \u042d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0438 \u043d\u0430\u0448\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043a \u043d\u0435\u043c\u0443 : &#171;<em>\u041a\u0430\u043a \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b tools?&#187;, &#171;\u0423\u0432\u0438\u0434\u0435\u043b \u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0432 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445<\/em>?&#187; \u0438 &#171;<em>\u041a\u0430\u043a \u0441\u043b\u0435\u043f\u0438\u043b \u043e\u0442\u0447\u0435\u0442?&#187;<\/em><\/p>\n<h2>Manual agent pipeline<\/h2>\n<p>\u0422\u0443\u0442 \u0432\u0441\u0435 tools \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e (\u0444\u0430\u0439\u043b <a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/03_manual_pipeline_with_shap.py\" rel=\"noopener noreferrer nofollow\">03_manual_pipeline_with_shap.py<\/a>), \u0430 LLM \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0438\u0448\u0435\u0442 \u043e\u0442\u0447\u0435\u0442.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u2014 \u0442\u043e\u0436\u0435 baseline, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0436\u0435 \u0434\u043b\u044f pipeline c \u0430\u0433\u0435\u043d\u0442\u043e\u043c. \u0421\u043f\u0443\u0441\u043a\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0438\u0436\u0435, \u0443\u0431\u0438\u0440\u0430\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c: \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p><code>LLM + \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 + \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c (summarization + interpretation + writing)<\/code><\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a:<\/p>\n<pre><code>python 03_manual_pipeline_with_shap.py<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441 \u0442\u0443\u0442: \u041f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043b\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0438\u043b\u0438 \u0440\u0435\u0436\u0438\u043c &#171;\u0433\u0443\u043b\u044f\u0439 \u0441\u0430\u043c&#187; \u2014\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439? <\/p>\n<h2>Multi agent pipeline<\/h2>\n<p>Multi-agent pipeline &#8212;  \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u043a\u0430\u043a \u0432\u044b, \u0443\u0432\u0435\u0440\u0435\u043d\u0430, \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0434\u043e\u0433\u0430\u0434\u0430\u043b\u0438\u0441\u044c \u2014\u00a0 \u0438\u0437 3 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 (<a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/04_multi_agent_system.py\" rel=\"noopener noreferrer nofollow\">04_multi_agent_system.py<\/a>). \u041e\u0434\u0438\u043d \u2014 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a, \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u043a\u0440\u0438\u0442\u0438\u043a, \u0442\u0440\u0435\u0442\u0438\u0439 \u2014 \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0435 \u043b\u0438\u0446\u043e. \u041d\u0443 \u0438 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e  \u2014\u00a0\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0440\u0438\u0442\u0438\u043a \u0438\u0449\u0435\u0442 \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430, \u0430 \u043e\u0442\u0447\u0435\u0442\u043d\u0438\u043a \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u0412\u0441\u0435 \u0440\u043e\u043b\u0438 \u0437\u0430\u0434\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442. <\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a:<\/p>\n<pre><code>python 04_multi_agent_system.py<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0418\u0434\u0435\u044f \u2014 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0440\u043e\u043b\u0435\u0439. \u0415\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u0430\u0433\u0435\u043d\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442, \u043a\u0440\u0438\u0442\u0438\u043a\u0443\u0435\u0442 \u0438 \u043f\u0438\u0448\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0447\u0435\u0442, \u0435\u043c\u0443, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438. Multi-agent pipeline \u0434\u0435\u043b\u0430\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u043a\u0443 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 (\u0438 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0435, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0443\u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u0441\u0442\u043e\u043b\u0435 \u043d\u0435 \u0441\u0442\u043e\u044f\u043b\u043e!). \u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0441\u044e\u0434\u0430: \u043f\u043e\u0439\u043c\u0430\u043b \u043b\u0438 critic-agent batch artifact \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0441\u044f \u043b\u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0447\u0435\u0442? <\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u0434\u0438\u0437\u0430\u0439\u043d XAI<\/strong><\/p>\n<blockquote>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0430\u0433\u0435\u043d\u0442\u0443 \u0434\u0430\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u0442\u0443\u043b\u044b \u0438 \u043d\u0435 \u0434\u0430\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435? \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u041c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 RandomForestClassifier, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u0440\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u2014 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u043d\u043e \u044d\u0442\u043e\u0439 \u043f\u0430\u0440\u044b \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n<p>feature_importance \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043b\u0435\u0441\u0430 \u2014 \u044d\u0442\u043e impurity-based importance: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u043e\u043c\u043e\u0433\u0430\u043b \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u041c\u0435\u0442\u043e\u0434 \u0431\u044b\u0441\u0442\u0440\u044b\u0439, \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043d\u0430 \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e. \u0415\u0433\u043e \u043d\u044e\u0430\u043d\u0441\u044b: importance \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439 \u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445, \u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (\u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u0442\u0430\u043a\u0436\u0435 \u2014 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u043a\u0430\u0440\u0434\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e) \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043d\u0443\u044e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>SHAP values \u2014 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u043c\u0435\u0442\u043e\u0434, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430. \u0423\u043f\u0440\u043e\u0449\u0430\u044f \u2014 \u043c\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u043a\u043b\u0430\u0434 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0438 \u0443\u0434\u0430\u043b\u044f\u044f \u0438\u0445 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430. SHAP \u0442\u0430\u043a\u0436\u0435 \u0434\u0430\u0435\u0442 \u043d\u0430\u043c \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f \u2014\u00a0\u0432\u043a\u043b\u0430\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 global SHAP \u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u041d\u0430\u044e\u043d\u0441\u044b SHAP \u0442\u0430\u043a\u043e\u0432\u044b: \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b \u043a \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c (\u0445\u043e\u0442\u044f \u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043b\u0435\u0441\u0430) \u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 background distribution. \u042d\u0442\u043e \u0442\u043e\u0436\u0435 \u043d\u0430\u0434\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u2014\u00a0\u0438 \u043a\u043b\u0430\u0441\u0441\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u044d\u0442\u043e \u0443\u043c\u0435\u0442\u044c. <\/p>\n<p>\u0414\u0430\u043b\u0435\u0435, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. <\/p>\n<ol>\n<li>\n<p>global interpretation \u2192 \u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c (\u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 36.6);<\/p>\n<\/li>\n<li>\n<p>local interpretation \u2192 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043d\u044f\u043b\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<\/blockquote>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u0432\u043e\u043e\u0440\u0443\u0436\u0438\u0432\u0448\u0438\u0441\u044c \u044d\u0442\u0438\u043c \u0431\u0430\u0433\u0430\u0436\u043e\u043c, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0446\u0435\u043d\u0438\u043c, \u0447\u0442\u043e \u0434\u0430\u0434\u0443\u0442 \u0430\u0433\u0435\u043d\u0442\u044b \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435. <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9cb\/f65\/8d5\/9cbf658d5d430d34e09f06c7fa8af8f4.jpg\" alt=\"source: unsplash\" title=\"source: unsplash\" width=\"3508\" height=\"1923\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9cb\/f65\/8d5\/9cbf658d5d430d34e09f06c7fa8af8f4.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9cb\/f65\/8d5\/9cbf658d5d430d34e09f06c7fa8af8f4.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>source: unsplash<\/figcaption><\/div>\n<\/figure>\n<h2>\u0410\u043d\u0430\u043b\u0438\u0437<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432, \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f 7 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0438 \u043f\u0430\u043f\u043a\u0438 repots \u0438 artifacts \u043d\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u0414\u043e run \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0432\u0430\u043c \u043d\u0430\u0434\u043e \u043f\u0440\u043e\u0439\u0442\u0438 \u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0444\u0438\u043a\u0441 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0442\u0440\u0435\u0439\u043d \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0444\u0430\u0439\u043b\u044b<a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/01_train_model.py\" rel=\"noopener noreferrer nofollow\"> 01_train_model.py<\/a>, <a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/blob\/main\/naive_agent_and_xai\/steps\/05_batch_exp.py\" rel=\"noopener noreferrer nofollow\">05_batch_exp.py<\/a>). <\/p>\n<pre><code>python 01_train_model.pypython 05_batch_exp.py<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0432 artifacts\/ \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f: <\/p>\n<ol>\n<li>\n<p>\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c;<\/p>\n<\/li>\n<li>\n<p> train\/test \u0434\u0430\u043d\u043d\u044b\u0435;<\/p>\n<\/li>\n<li>\n<p>metadata;<\/p>\n<\/li>\n<li>\n<p>\u0431\u0430\u0437\u043e\u0432\u044b\u0435 performance-\u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u043d\u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0443\u0442 \u0430\u0433\u0435\u043d\u0442\u0430\u043c. <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6de\/66f\/e66\/6de66fe6687bdc1bf824709bc439db8f.png\" alt=\"\u0410\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432\" title=\"\u0410\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432\" width=\"1464\" height=\"508\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/6de\/66f\/e66\/6de66fe6687bdc1bf824709bc439db8f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6de\/66f\/e66\/6de66fe6687bdc1bf824709bc439db8f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0410\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<h2>Baseline<\/h2>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0439\u0441\u044f \u0444\u0430\u0439\u043b\u0438\u043a \u0434\u043b\u044f <code>baseline<\/code> \u043d\u0430\u0438\u0432\u043d\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 \u0441 \u043d\u0430\u0438\u0432\u043d\u044b\u043c \u043f\u0440\u043e\u043c\u0442\u043e\u043c <code>reports\/02_naive_agent_report_zero_shot_baseline.md<\/code>. <\/p>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u0432 \u043e\u0442\u0447\u0435\u0442\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u044b \u0441\u0435\u043a\u0446\u0438\u0438. \u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 (\u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u0430\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u043c):<\/p>\n<p><code>sanity checks \u2192 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u2192 feature importance \u2192 SHAP<\/code><\/p>\n<p>\u041d\u0430 shap \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u043e\u043c\u0430\u043b\u0441\u044f. \u0414\u043b\u044f \u0447\u0438\u0441\u0442\u043e\u0442\u044b \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0447\u0438\u043d\u0438\u0442\u044c \u043c\u044b \u044d\u0442\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u043c, \u043d\u043e \u0432\u0441\u0451 \u0436\u0435 \u043e\u0442\u043c\u0435\u0442\u0438\u043c. <\/p>\n<p>\u0418\u0442\u043e\u0433\u043e \u0438\u0437 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0443 \u043d\u0430\u0441 \u0442\u043e, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u0431\u0435\u0437 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b tools \u0438 \u0441\u043e\u0431\u0440\u0430\u043b \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 (\u0432 \u0437\u0430\u0440\u043e\u0434\u044b\u0448\u0435, \u043d\u043e!) \u043e\u0442\u0447\u0435\u0442. <\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u044b\u043c \u2014 \u0441\u043b\u043e\u043c\u0430\u043d\u043d\u044b\u0439 shap \u043d\u0430\u0441 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438 \u043d\u0435 \u0443\u0441\u0442\u0440\u043e\u0438\u043b \u0431\u044b. \u0423 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u0432\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u2014\u00a0\u0441\u043e\u043f\u043e\u0441\u0431\u043d\u043e\u0441\u0442\u0438 \u0430\u0433\u0435\u043d\u0442\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u044d\u0442\u043e \u043f\u043e\u0444\u0438\u043a\u0441\u0438\u0442\u044c, \u0438 \u0434\u0430\u0434\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. <\/p>\n<h2>Baseline + system prompt<\/h2>\n<p>Naive agent \u0441 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u043c prompt \u0443\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043b\u0443\u0447\u0448\u0435 zero-shot \u0432\u0435\u0440\u0441\u0438\u0438. \u041e\u043d \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b: \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 importance \u0441 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u043c\u044b\u0441\u043b\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 impurity importance \u0438 SHAP, \u043f\u0438\u0448\u0435\u0442 \u043f\u0440\u043e generalization gap \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041d\u0430 \u043c\u043e\u0439 \u0432\u043a\u0443\u0441 &#8212; \u0430\u0433\u0435\u043d\u0442 \u0448\u0438\u043a\u0430\u0440\u043d\u043e \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u2014\u00a0potential collinearity, single\u2011model view, feature\u2011importance bias \u2014\u00a0\u0438 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u0443\u043d\u043a\u0442\u044b 1-6 \u2014 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b..<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0435\u0441\u0442\u044c \u0438 \u043c\u0438\u043d\u0443\u0441\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0431\u043b\u043e\u043a\u0435 3 (\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f), \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u044f\u0432\u043b\u044f\u0435\u0442:<\/p>\n<p><em>These are known clinically to be strong discriminators between malignant and benign breast lesions<\/em> <\/p>\n<p>\u042d\u0442\u043e, \u0432 \u0446\u0435\u043b\u043e\u043c, \u0440\u0430\u0437\u0443\u043c\u043d\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u0439, \u043e\u0434\u043d\u0430\u043a\u043e \u0442\u0443\u0442 \u0430\u0433\u0435\u043d\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u043b\u0435\u0437 \u0437\u0430 \u043f\u043e\u043b\u043d\u043e\u043c\u043e\u0447\u0438\u044f \u2014\u00a0\u0438\u0433\u0440\u0430\u0442\u044c \u0432 \u043c\u0435\u0434\u0438\u043a\u0430 \u0435\u0433\u043e \u043c\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0438\u043b\u0438. \u041f\u0440\u043e\u0441\u0442\u0438\u043c \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e, \u0433\u0434\u0435 \u0443 \u0430\u0433\u0435\u043d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h2>Baseline + system prompt + controlled tool calling<\/h2>\n<p>\u0416\u0438\u0437\u043d\u044c \u043d\u0430\u0441 \u0443\u0436\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043c \u0443 \u0430\u0433\u0435\u043d\u0442\u0430 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0441\u0435\u043a\u0446\u0438\u0438 \u0441\u0440\u0430\u0437\u0443: <\/p>\n<ol>\n<li>\n<p>Short summary &#8212; summary: \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0435\u0439 \u0432 \u0446\u0435\u043b\u043e\u043c \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>Performance &#8212; \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438: train\/test metrics, generalization gap, \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p> Sanity checks &#8212; \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p>Global interpretation &#8212; \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 feature importance: \u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u201c\u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u201d.<\/p>\n<\/li>\n<li>\n<p>SHAP interpretation &#8212;  \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 SHAP explanations: \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432\u043d\u043e\u0441\u044f\u0442 \u0432\u043a\u043b\u0430\u0434 \u0432 predictions.<\/p>\n<\/li>\n<li>\n<p>Local explanation &#8212; \u0440\u0430\u0437\u0431\u043e\u0440 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438 \u043f\u0440\u0438\u0447\u0438\u043d \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p> Limitations &#8212;  \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0433\u0440\u043e\u0437\u044b \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0432\u043e\u0434\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p> What to check next &#8212;  \u043a\u0430\u043a\u0438\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438, \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438\u043b\u0438 validation steps \u0441\u0442\u043e\u0438\u043b\u043e \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435, \u0447\u0435\u043c \u0432 \u043d\u0430\u0441 \u043f\u043b\u044e\u043d\u0443\u043b \u0430\u0433\u0435\u043d\u0442 \u2014\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0432 \u0432\u0438\u0434\u0435 \u0434\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440\u0430:<\/p>\n<p><em>Prepared by the interpretability analysis agent, using only the supplied model diagnostics.<\/em><\/p>\n<p>\u0418 \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e. \u0412\u043e\u043e\u0431\u0449\u0435, \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438 \u043d\u0435 \u0440\u0435\u0434\u043a\u043e \u043f\u043b\u044e\u044e\u0442 \u0434\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440\u044b, \u0447\u0442\u043e \u0441\u043f\u0430\u0441\u0430\u0435\u0442 \u043d\u0430\u0441 \u043e\u0442 \u0437\u0430\u0431\u044b\u0432\u0430\u043d\u0438\u044f \u043e \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0438. \u0412 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u043c, \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0433\u043e\u043d \u0442\u043e\u0436\u0435 \u0445\u043e\u0440\u043e\u0448 &#8212; \u0430\u0433\u0435\u043d\u0442 \u043d\u0435 \u043d\u0430\u0447\u0430\u043b \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b performance, SHAP, local explanations \u0438 limitations. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043e\u043d \u043e\u043f\u044f\u0442\u044c (\u0435\u0449\u0451 \u0431\u044b \u2014\u00a0\u0442\u0430 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c) \u0432\u0435\u0440\u043d\u043e \u043f\u043e\u0434\u043d\u044f\u043b \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b feature-importance bias, potential collinearity, calibration \u0438 external validation.<\/p>\n<p>\u041d\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441 \u044d\u0442\u0438\u043c \u2014\u00a0\u0443\u0440\u0430, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0434\u0438\u0440\u0430\u0442\u044c\u0441\u044f. \u0410\u0433\u0435\u043d\u0442 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0438 \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0445\u043e\u0440\u043e\u0448\u0430 \u2014 \u0441\u043e\u0432\u0435\u0442\u044b \u043f\u0440\u043e calibration \u0438\u043b\u0438 PDP\/ICE plots \u0432\u043f\u043e\u043b\u043d\u0435 \u0440\u0430\u0437\u0443\u043c\u043d\u044b. \u041d\u043e \u0432\u043e\u0442 PCA \u0442\u0443\u0442 \u0443\u0436\u0435 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e, \u043f\u0440\u043e\u0449\u0435. \u0420\u0435\u0448\u0438\u0442 \u043b\u0438 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0438\u043a?<\/p>\n<h2>Multi-agent pipeline + system prompt<\/h2>\n<p>\u041d\u0430\u043f\u043e\u043c\u043d\u044e, \u0447\u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0438\u0448\u0435\u0442 \u0432\u044b\u0432\u043e\u0434\u044b \u0438 \u0441\u0430\u043c \u0441\u0435\u0431\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u0440\u043e\u043b\u0438:<\/p>\n<ul>\n<li>\n<p>analyst-agent \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c;<\/p>\n<\/li>\n<li>\n<p> critic-agent \u0438\u0449\u0435\u0442 \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>reporter-agent \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 narrative.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e \u043e\u0442\u0447\u0435\u0442\u0443 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u043a \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 &#171;\u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u0438 \u0442\u043e\u043d&#187; \u0432\u044b\u0432\u043e\u0434\u043e\u0432. \u041f\u0440\u043e\u0432\u043e\u0434\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044e \u2014 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u0440\u043e\u043b\u0438 \u0434\u0443\u0448\u043d\u043e\u0433\u043e \u0441\u043a\u0435\u043f\u0442\u0438\u043a\u0430, \u043a\u0435\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0432 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0410 \u0435\u0449\u0451 \u043a\u0440\u0438\u0442\u0438\u043a \u0432\u0438\u0434\u0438\u0442 \u0432\u0441\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0435 \u0440\u0430\u043d\u0435\u0435 \u0438 \u043e\u0447\u0435\u043d\u044c \u0448\u0438\u0440\u043e\u043a\u043e \u0438\u0445 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442. \u042d\u0442\u043e \u0438 \u043f\u043b\u044e\u0441 \u0438 \u043c\u0438\u043d\u0443\u0441. \u0421\u043b\u043e\u0436\u043d\u0435\u0435 \u0447\u0438\u0442\u0430\u0442\u044c, \u043b\u0435\u0433\u0447\u0435 \u0437\u0430\u043f\u0443\u0442\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u043e\u043b\u0435\u0439 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442 interpretability pipeline \u043b\u0443\u0447\u0448\u0435. \u041d\u043e \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u044d\u0442\u0438\u043c, \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438 complexity,  latency, \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c reasoning&#8230;<\/p>\n<\/li>\n<\/ul>\n<p>\u0438 \u043d\u0430\u043b\u0438\u043b\u0438 \u0432\u043e\u0434\u044b. <\/p>\n<h2> \u0417\u0430\u043a\u0438\u043d\u0435\u043c \u044f\u0432\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443: batch artifact<\/h2>\n<p>\u0412 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0445\u0438\u0442\u0440\u043e\u043c\u0443 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044e. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u043d\u0430\u0448 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u043c\u043e\u0433 \u0431\u044b \u0431\u044b\u0442\u044c \u0447\u0435\u043c \u0443\u0433\u043e\u0434\u043d\u043e \u2014\u00a0\u043e\u0442 \u043d\u043e\u043c\u0435\u0440\u0430 \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u044b, \u0434\u043e \u0442\u0438\u043f\u0430 \u0441\u043a\u0430\u043d\u0435\u0440\u0430. \u041f\u043e \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043e\u043f\u0430\u0441\u043d\u044b \u2014\u00a0\u044d\u0442\u043e \u043b\u0438\u043a, \u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a \u043d\u0435\u043b\u044c\u0437\u044f. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0441\u043a\u0430\u0436\u0443\u0442 \u0430\u0433\u0435\u043d\u0442\u044b. \u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0443 \u043d\u0430\u0441 \u0441\u043d\u043e\u0432\u0430 \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u0444\u0430\u0439\u043b\u0438\u043a\u0430:<\/p>\n<pre><code>reports\/02_naive_agent_report_batch_artifact.mdreports\/03_manual_pipeline_report_batch_artifact.mdreports\/04_multi_agent_report_batch_artifact.md <\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0421\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u2014 \u0432\u0441\u0435 \u0442\u0440\u0438 pipeline \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u0414\u0430\u0436\u0435 naive-agent \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0447\u0430\u043b \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u0442\u044c, \u0447\u0442\u043e collection_batch \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0435 \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u0430 \u043a\u0430\u043a \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0441\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0442\u043b\u0438\u0447\u0438\u044f \u043b\u0438\u0448\u044c \u0432 \u0440\u0437\u0430\u043c\u0435\u0440\u0435 \u043e\u0442\u0447\u0435\u0442\u0430 \u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0433\u0434\u0435 multi-agent pipeline \u043d\u0430\u043f\u0430\u0440\u0430\u043d\u043e\u0438\u043b \u043e\u0442 \u0434\u0443\u0448\u0438. \u041d\u0430\u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u043c \u043d\u0430\u043c \u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c group-aware validation \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 performance across batches. \u041f\u043e\u0442\u043e\u043c \u0435\u0433\u043e \u043f\u043e\u043f\u0440\u0430\u0432\u0438\u043b \u043d\u0430\u0448 reporter, \u043d\u043e \u043e\u043f\u044f\u0442\u044c \u0436\u0435 \u2014\u00a0\u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0442\u043e\u043d\u043d\u0443 \u0432\u043e\u0434\u044b, \u0430 \u0435\u0449\u0451 \u043a\u043e\u0434 \u0434\u043b\u044f \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0446\u0435.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6c8\/d0c\/3f1\/6c8d0c3f10fa2714a3a393f3fa14a68f.png\" alt=\"source: https:\/\/simonw.substack.com\/p\/i-think-agent-may-finally-have-a\" title=\"source: https:\/\/simonw.substack.com\/p\/i-think-agent-may-finally-have-a\" width=\"1292\" height=\"742\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/6c8\/d0c\/3f1\/6c8d0c3f10fa2714a3a393f3fa14a68f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6c8\/d0c\/3f1\/6c8d0c3f10fa2714a3a393f3fa14a68f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>source: <a href=\"https:\/\/simonw.substack.com\/p\/i-think-agent-may-finally-have-a\" rel=\"noopener noreferrer nofollow\">https:\/\/simonw.substack.com\/p\/i-think-agent-may-finally-have-a<\/a><\/figcaption><\/div>\n<\/figure>\n<h2>\u0412\u044b\u0432\u043e\u0434\u044b<\/h2>\n<p>\u0418\u0442\u0430\u043a, \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u044b \u0441 \u0432\u0430\u043c\u0438 \u0443\u0432\u0438\u0434\u0435\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438.<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0434\u0430\u0436\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 agentic XAI pipelines \u0443\u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u043f\u043e\u043b\u043d\u0435 \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u0435 interpretability reports. \u0423\u0447\u0442\u0435\u043c \u0442\u0430\u043a\u0436\u0435, \u0447\u0442\u043e \u0432\u0441\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0432\u044b\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u0430 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u0439 <code>gpt-oss-120b<\/code> \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 OpenRouter. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043d\u0438 frontier-\u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 research-agent. \u0411\u0430\u0437\u043e\u0432\u0430\u044f open-weight LLM \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 interpretability workflow \u043f\u043e\u0432\u0435\u0440\u0445 tabular ML.<\/p>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, orchestration layer \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0430\u043c\u0438 XAI-\u043c\u0435\u0442\u043e\u0434\u044b.<\/p>\n<ul>\n<li>\n<p>naive-agent \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c, \u0440\u0430\u0431\u043e\u0447\u0438\u043c, \u043d\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c;<\/p>\n<\/li>\n<li>\n<p> manual pipeline \u2014 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0438 \u0441\u0443\u0445\u0438\u043c, \u043d\u043e \u0441\u044a\u0435\u043b \u0447\u0430\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p>multi-agent pipeline \u2014 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u0438 \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u044b\u043c, \u043d\u043e \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u0432\u043e\u0434\u044f\u043d\u0438\u0441\u0442\u044b\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>Critic-agent \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u043b \u043e\u0442\u0447\u0435\u0442: \u0447\u0430\u0449\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441\u044b collinearity, calibration, leakage \u0438 limits of interpretation. \u041d\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442 \u043e\u0447\u0435\u043d\u044c \u043b\u0435\u0433\u043a\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043b\u0438\u0448\u043d\u0435\u0435, \u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043b\u0443\u0447\u0448\u0435. \u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0441 batch artifact: \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438 \u0432\u0441\u0435 pipeline, \u043d\u043e \u0441\u0430\u043c\u044b\u0439 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 pipeline \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u043b\u0430\u043a\u043e\u043d\u0438\u0447\u043d\u044b\u043c.<\/p>\n<h2>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0412\u044b\u0448\u0435 \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438 \u0430\u0433\u0435\u043d\u0442\u0430 \u043a\u0430\u043a \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442. \u0417\u043d\u0430\u0447\u0438\u0442, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u2014 \u043f\u043e\u043b\u043d\u043e\u0435 \u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0435 \u2014 \u0431\u0443\u0434\u0435\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u0430\u0436\u043d\u043e:<\/p>\n<ol>\n<li>\n<p>\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0438 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c tools \u0434\u043b\u044f XAI-\u0441\u0438\u0441\u0442\u0435\u043c\u044b;<\/p>\n<\/li>\n<li>\n<p> \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 backbone \u0430\u0433\u0435\u043d\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p> \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b;<\/p>\n<\/li>\n<li>\n<p> \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c reasoning loop.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0443 \u0438 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e. \u0421\u043b\u043e\u0436\u043d\u0435\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u0435\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044e \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u043d\u0435 \u0434\u0430\u0439 \u0431\u043e\u0433 \u0437\u0430\u0445\u043e\u0442\u0435\u0442\u044c \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0430\u0433\u0435\u043d\u0442 \u0432\u044b\u0437\u0432\u0430\u043b \u0442\u0443 \u0438\u043b\u0438 \u0438\u043d\u0443\u044e \u0442\u0443\u043b\u0443 =)<\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0432\u0430\u0448\u0435 \u0432\u0440\u0435\u043c\u044f, \u0434\u0440\u0443\u0437\u044c\u044f! \u0414\u0440\u0443\u0433\u0438\u0435 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u044b \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u044e \u0432 \u0431\u043b\u043e\u0433\u0435: <a href=\"https:\/\/t.me\/jdata%5C_blog\" rel=\"noopener noreferrer nofollow\">https:\/\/t.me\/jdata\\_blog<\/a> \u0438 \u043d\u0430 \u0433\u0438\u0442\u0445\u0430\u0431: <a href=\"https:\/\/github.com\/SadSabrina\/XAI-open_materials\/tree\/main\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/SadSabrina\/XAI-open_materials\/tree\/main<\/a>!<\/p>\n<p>\u0423\u0434\u0430\u0447\u0438 \u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0437\u0430 \u043c\u0435\u043d\u044f \u0438 \u0432\u0430\u0441,<br \/>\u0412\u0430\u0448 \u0414\u0430\u0442\u0430-\u0430\u0432\u0442\u043e\u0440!<\/p>\n<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1033184\/\">https:\/\/habr.com\/ru\/articles\/1033184\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0434\u0440\u0443\u0437\u044c\u044f! \u042f, \u043f\u043e\u0445\u043e\u0436\u0435, \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u0435\u0440\u0435\u0436\u0438\u043b\u0430 \u043a\u0440\u0438\u0437\u0438\u0441 \u043f\u0440\u0438\u0448\u0435\u0441\u0442\u0432\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0432 \u043d\u0430\u0448\u0443 \u0436\u0438\u0437\u043d\u044c. \u041c\u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0435\u0437\u0443\u043c\u043d\u043e \u043d\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u2014\u00a0\u044d\u0442\u0430\u043a\u0438\u0439 \u043b\u0438\u0447\u043d\u044b\u0439, \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u0440, \u0434\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 \u0442\u044b \u0443\u0436\u0435 \u0437\u043d\u0430\u0435\u0448\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u041b\u043e\u043f\u0438\u0442\u0430\u043b\u044f\/Modus ponens\/\u0432\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u0442\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u043e \u0432\u0430\u0441 \u0441\u043c\u0435\u044f\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0438. \u0410 \u0442\u0435\u043f\u0435\u0440\u044c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0432\u044b\u043f\u0430\u0441\u0442\u044c \u0438\u0437 \u0436\u0438\u0437\u043d\u0438, \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0441 \u043a\u0435\u043c-\u0442\u043e. \u0418 \u044d\u0442\u043e\u0442 \u043a\u0442\u043e-\u0442\u043e LLM-Agent. \u041f\u043e \u0436\u0438\u0437\u043d\u0438 \u044f \u2014\u00a0XAI Researcher, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u0441\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0447\u0438\u0445, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u0430\u043c \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 &#171;\u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 ML \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u044d\u043a\u0440\u0430\u043d, \u0434\u0443\u043c\u0430\u044f \u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u0445 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438&#187;. \u0418\u043b\u0438 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f?\u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u0430 \u043b\u0435\u0436\u0438\u0442 \u0437\u0434\u0435\u0441\u044c: https:\/\/github.com\/SadSabrina\/XAI-open_materials\/tree\/main\/naive_agent_and_xaisource: unsplash\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0445\u043e\u0434\u0438\u0442\u044c \u0434\u0430\u043b\u0435\u043a\u043e, \u043f\u043e\u0434\u0442\u044f\u043d\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:LLM Agent \u2014\u00a0\u0441\u0438\u0441\u0442\u0435\u043c\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u0432\u0438\u0433\u0430\u0442\u0435\u043b\u0435\u043c. \u041a\u0442\u043e \u043a\u0430\u043a \u2014 \u0430 \u044f \u0432\u0438\u0436\u0443 \u0430\u0433\u0435\u043d\u0442\u0430 \u043a\u0430\u043a \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 4\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442: \u0433\u0434\u0435:*  \u2014 \u0441\u0430\u043c\u0430 LLM;*  \u2014 \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 (tools), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0433\u0435\u043d\u0442 \u0443\u043c\u0435\u0435\u0442 \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c;*  \u2014 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b: \u043f\u0430\u043c\u044f\u0442\u044c, \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b;*  \u2014 reasoning loop, \u0442\u043e \u0435\u0441\u0442\u044c \u0446\u0438\u043a\u043b \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439.\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0430 \u044d\u0442\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430\u0441\u044c, \u043d\u043e \u044d\u0442\u0443 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443, \u0432\u0441\u0451 \u0436\u0435, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043c. Explainable AI \u2014 \u043d\u0430\u0431\u043e\u0440 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (LLM \u0438 ML, \u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 ML). \u041c\u0430\u0442\u0435\u043c\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u0438\u043c \u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0431\u0443\u0434\u0435\u043c.source: unsplash\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442:\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e (\u043b\u0430\u0434\u043d\u043e, \u0432\u0441\u0435) XAI-\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u041c\u044b \u0441\u0438\u0434\u0435\u043b\u0438 \u0438 \u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0427\u0430\u0441\u0442\u043d\u044b\u0435 ML-\u043c\u0435\u0442\u043e\u0434\u044b: SHAP values, feature importance, partial dependence plots, ICE \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043c\u0435\u0435\u0442 \u0434\u0443\u043c\u0430\u0442\u044c, \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0438\/\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0438 \u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.  \u0421\u0435\u0433\u043e\u0434\u043d\u044f, \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 step-by-step (\u0438 \u043e\u043d \u043d\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0448\u0430\u0433 \u0432\u043f\u0440\u0430\u0432\u043e \u2014\u00a0\u0438 \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0437\u0430\u0448\u0438\u0432\u0430\u0442\u044c (\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u0435)), \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u042d\u0442\u043e \u0436\u0435 \u043a\u043e\u0441\u043d\u0443\u043b\u043e\u0441\u044c \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438, \u043d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e &#171;\u0440\u043e\u0434\u0438\u0432&#187; agentic XAI \u2014 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 LLM \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c.  \u0423\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438: \u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430: \u0432\u044b\u0439\u0442\u0438 \u043f\u043e\u0433\u0443\u043b\u044f\u0442\u044c \u0438 \u0437\u0430\u0439\u0442\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e;\u0434\u043b\u044f LLM:  \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 reasoning \u0446\u0438\u043a\u043b\u043e\u0432.\u0434\u043b\u044f \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430: \u043d\u0430\u0439\u0442\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0441 \u043d\u0438\u043c \u0431\u0440\u0435\u0439\u043d\u0448\u0442\u043e\u0440\u043c;\u0434\u043b\u044f LLM: \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u0440\u0438\u0442\u0438\u043a\u0443 \u0441\u0432\u043e\u0435\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u2014\u00a0\u043d\u0435 \u0440\u0430\u0432\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e &#8212; \u043d\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043e \u0438 \u0441\u0435\u0440\u0434\u0438\u0442\u043e. \u0423 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0440\u0435\u0436\u0438\u043c\u044b \u043f\u0440\u043e\u0432\u0430\u043b\u0430 \u2014\u00a0\u0442\u043e \u0435\u0441\u0442\u044c \u043c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u0432\u0441\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0442\u0430\u043a, \u043a\u0430\u043a \u043d\u0430\u0434\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, p-hacking (LLM-\u0430\u0433\u0435\u043d\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442), missing sanity checks (\u0430\u0433\u0435\u043d\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438), \u0438\u043b\u0438, \u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430\u044f \u0442\u0440\u0443\u0434\u043e\u0432\u044b\u043c \u0431\u0443\u0434\u043d\u044f\u043c \u2014\u00a0unreliable LLM-driven annotation (LLM \u043d\u0435\u043d\u0430\u0434\u0435\u0436\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u044f \u0448\u0443\u043c, bias \u0438\u043b\u0438 \u0444\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b). \u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0437\u0430\u0434\u0443\u043c\u0430\u043d\u0430 \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440 &#171;\u043d\u043e\u0440\u043c&#187; interpretability pipeline \u043d\u0430 \u0431\u0430\u0437\u0435 \u0430\u0433\u0435\u043d\u0442\u0430. \u041c\u044b:\u043e\u0431\u0443\u0447\u0438\u043c baseline-\u043c\u043e\u0434\u0435\u043b\u044c;\u0434\u043e\u0431\u0430\u0432\u0438\u043c SHAP \u0438 feature attribution;\u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043d\u0430\u0438\u0432\u043d\u043e\u0433\u043e, \u043d\u043e \u0432\u0441\u0451 \u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e, interpretability-agent;\u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043c\u0435\u043d\u0435\u0435 \u043d\u0430\u0438\u0432\u043d\u044b\u0439 multi agent pipeline;\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 failure mode (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0441\u0430\u043c\u0438).\u041f\u043e\u0435\u0445\u0430\u043b\u0438. \u0414\u0438\u0437\u0430\u0439\u043d: \u0430\u0433\u0435\u043d\u0442\u041c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c LangChain \u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u0440\u0438\u044f\u0442\u043d\u0435\u0435 \u044d\u0442\u043e\u0433\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u043d\u0435\u0442. \u0422\u0430\u043a \u0447\u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u043e\u0434 (\u0443\u0440\u0430, \u0442\u0430\u0432\u0442\u043e\u043b\u043e\u0433\u0438\u044f), \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u0435\u0431\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0423 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0434\u0432\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438.\u041f\u0435\u0440\u0432\u0430\u044f \u2014 baseline: \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 breast_cancer. \u041d\u0430 \u043d\u0435\u0439 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043b\u0438 agentic pipeline \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0439 XAI-\u043e\u0442\u0447\u0435\u0442: \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c feature importance, SHAP \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u2014 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435.\u0412\u0442\u043e\u0440\u0430\u044f \u2014 batch artifact:  \u0442\u0430 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0430, \u043d\u043e \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u0442 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0441\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u044d\u0442\u043e \u043c\u043e\u0433 \u0431\u044b \u0431\u044b\u0442\u044c \u043d\u043e\u043c\u0435\u0440 \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u044b, \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438, \u043f\u0440\u0438\u0431\u043e\u0440\u0430, \u043f\u0430\u0440\u0442\u0438\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 target \u043d\u0435 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043d \u043d\u0435\u0441\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, \u0430 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0430\u043a \u0431\u044b\u043b\u0438 \u0441\u043e\u0431\u0440\u0430\u043d\u044b. \u0412 \u0445\u043e\u0440\u043e\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0443\u0436 \u043c\u044b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0430\u0448 ML \u0430\u0433\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u044d\u0442\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043a\u0436\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 pipeline.Naive agentNaive agent &#8212; \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0441 tools. \u041c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0435\u0433\u043e \u0432 \u0434\u0432\u0443\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u2014\u00a0\u0441 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u043c\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c\u0438 (02.1_naive_interpretability_agent.py), \u0438 \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c\u0438 zero-shot \u0432\u0438\u0434\u0430 (02.0_naive_interpretability_agent.py). \u0414\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0430\u0433\u0435\u043d\u0442 \u0441\u043c\u043e\u0436\u0435\u0442 \u0441\u0430\u043c \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a, sanity checks, feature importance, SHAP \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0438\u0434 \u043e\u0431\u043e\u0438\u0445:LLM + tools + \u0441\u0432\u043e\u0431\u043e\u0434\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (\u043d\u0435 \u0448\u0438\u0431\u043a\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 system prompt)LLM + tools + \u0441\u0432\u043e\u0431\u043e\u0434\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 system prompt)\u041f\u043e\u043b\u0430\u0433\u0430\u044f \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e system prompt, \u0430\u0433\u0435\u043d\u0442 \u0440\u0435\u0448\u0430\u0435\u0442 \u043a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0432\u044b\u0437\u0432\u0430\u0442\u044c, \u0432 \u043a\u0430\u043a\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435, \u043a\u043e\u0433\u0434\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 interpretability report.\u0417\u0430\u043f\u0443\u0441\u043a:python 02.*_naive_interpretability_agent.py\u0412\u043d\u0443\u0442\u0440\u0438 \u0430\u0433\u0435\u043d\u0442\u0443 \u0434\u0430\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 tools (\u0444\u0430\u0439\u043b\u044b tool_helpers.py, agent.py):model_performance \u2014 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 train\/test quality \u0438 generalization gap (\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0442\u0440\u0435\u0439\u043d \u0438 \u0442\u0435\u0441\u0442 \u043a\u0430\u0447\u0435\u0442\u0441\u0432\u043e\u043c);sanity_checks \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0430 \u043c\u044b \u0441 \u0432\u0430\u043c\u0438 \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0430\u0433\u0435\u043d\u0442\u044b \u0441\u0442\u0440\u0430\u0434\u0430\u044e\u0442 \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0448\u0430\u0433\u0430);feature_importance \u2014 \u0434\u043e\u0441\u0442\u0430\u0435\u0442 impurity-based importance \u0438\u0437 \u043b\u0435\u0441\u0430;shap_explanation \u2014 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 global\/local SHAP;explain_single_prediction \u2014 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f LangChain \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e tool-calling pipeline: LLM \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442 reasoning trace. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f XAI \u2014\u00a0tools \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u043b\u044f \u043b\u0435\u0441\u0430 \u0432 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435.\u041f\u0440\u0438\u043c\u0435\u0447\u0435\u043d\u0438\u0435:\u0411\u0443\u0434\u0435\u0442\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434, \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 recursion limit\u0432 \u0444\u0430\u0439\u043b\u0430\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 (02-04). \u041e\u043d \u0440\u0435\u0436\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0433\u0435\u043d\u0442 \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0448\u0430\u0433\u0438, \u0432\u0435\u0434\u044c \u0430\u0433\u0435\u043d\u0442 \u2014\u00a0\u044d\u0442\u043e \u043a\u0430\u043a \u0432\u043e\u0441\u043a\u0440\u0435\u0441\u0435\u043d\u044c\u0435 \u043f\u0435\u0440\u0435\u0434 \u043f\u043e\u043d\u0435\u0434\u0435\u043b\u044c\u043d\u0438\u043a\u043e\u043c \u043d\u0430 \u0434\u0438\u0435\u0442\u0435 \u2014\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043f\u043e\u043d\u0447\u0438\u043a \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0438 \u0431\u0435\u0440\u0435\u0436\u0435\u043c\u0441\u044f \u043e\u0442 \u043f\u043e\u043a\u0443\u043f\u043a\u0438 \u043d\u043e\u0432\u044b\u0445 \u0448\u0442\u0430\u043d\u0438\u0448\u0435\u043a: config={&#171;recursion_limit&#187;: 12}. \u0418\u0434\u0435\u044f \u0448\u0430\u0433\u0430 \u2014 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0434\u0430\u0442\u044c LLM-\u0430\u0433\u0435\u043d\u0442\u0443 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0441\u043a\u0430\u0437\u0430\u0442\u044c: \u201c\u041f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u201d. \u042d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0438 \u043d\u0430\u0448\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043a \u043d\u0435\u043c\u0443 : &#171;\u041a\u0430\u043a \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b tools?&#187;, &#171;\u0423\u0432\u0438\u0434\u0435\u043b \u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0432 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445?&#187; \u0438 &#171;\u041a\u0430\u043a \u0441\u043b\u0435\u043f\u0438\u043b \u043e\u0442\u0447\u0435\u0442?&#187;Manual agent pipeline\u0422\u0443\u0442 \u0432\u0441\u0435 tools \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e (\u0444\u0430\u0439\u043b 03_manual_pipeline_with_shap.py), \u0430 LLM \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0438\u0448\u0435\u0442 \u043e\u0442\u0447\u0435\u0442.\u042d\u0442\u043e\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u2014 \u0442\u043e\u0436\u0435 baseline, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0436\u0435 \u0434\u043b\u044f pipeline c \u0430\u0433\u0435\u043d\u0442\u043e\u043c. \u0421\u043f\u0443\u0441\u043a\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0438\u0436\u0435, \u0443\u0431\u0438\u0440\u0430\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c: \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. LLM + \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 + \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c (summarization + interpretation + writing)\u0417\u0430\u043f\u0443\u0441\u043a:python 03_manual_pipeline_with_shap.py\u0412\u043e\u043f\u0440\u043e\u0441 \u0442\u0443\u0442: \u041f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043b\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0438\u043b\u0438 \u0440\u0435\u0436\u0438\u043c &#171;\u0433\u0443\u043b\u044f\u0439 \u0441\u0430\u043c&#187; \u2014\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439? Multi agent pipelineMulti-agent pipeline &#8212;  \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u043a\u0430\u043a \u0432\u044b, \u0443\u0432\u0435\u0440\u0435\u043d\u0430, \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0434\u043e\u0433\u0430\u0434\u0430\u043b\u0438\u0441\u044c \u2014\u00a0 \u0438\u0437 3 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 (04_multi_agent_system.py). \u041e\u0434\u0438\u043d \u2014 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a, \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u043a\u0440\u0438\u0442\u0438\u043a, \u0442\u0440\u0435\u0442\u0438\u0439 \u2014 \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0435 \u043b\u0438\u0446\u043e. \u041d\u0443 \u0438 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e  \u2014\u00a0\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0440\u0438\u0442\u0438\u043a \u0438\u0449\u0435\u0442 \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430, \u0430 \u043e\u0442\u0447\u0435\u0442\u043d\u0438\u043a \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u0412\u0441\u0435 \u0440\u043e\u043b\u0438 \u0437\u0430\u0434\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442. \u0417\u0430\u043f\u0443\u0441\u043a:python 04_multi_agent_system.py\u0418\u0434\u0435\u044f \u2014 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0440\u043e\u043b\u0435\u0439. \u0415\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u0430\u0433\u0435\u043d\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442, \u043a\u0440\u0438\u0442\u0438\u043a\u0443\u0435\u0442 \u0438 \u043f\u0438\u0448\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0447\u0435\u0442, \u0435\u043c\u0443, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438. Multi-agent pipeline \u0434\u0435\u043b\u0430\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u043a\u0443 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 (\u0438 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0435, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0443\u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u0441\u0442\u043e\u043b\u0435 \u043d\u0435 \u0441\u0442\u043e\u044f\u043b\u043e!). \u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0441\u044e\u0434\u0430: \u043f\u043e\u0439\u043c\u0430\u043b \u043b\u0438 critic-agent batch artifact \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0441\u044f \u043b\u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0447\u0435\u0442? \u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u0434\u0438\u0437\u0430\u0439\u043d XAI\u041f\u043e\u0447\u0435\u043c\u0443 \u0430\u0433\u0435\u043d\u0442\u0443 \u0434\u0430\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u0442\u0443\u043b\u044b \u0438 \u043d\u0435 \u0434\u0430\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435? \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u041c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 RandomForestClassifier, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u0440\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u2014 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u043d\u043e \u044d\u0442\u043e\u0439 \u043f\u0430\u0440\u044b \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.feature_importance \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043b\u0435\u0441\u0430 \u2014 \u044d\u0442\u043e impurity-based importance: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u043e\u043c\u043e\u0433\u0430\u043b \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u041c\u0435\u0442\u043e\u0434 \u0431\u044b\u0441\u0442\u0440\u044b\u0439, \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043d\u0430 \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e. \u0415\u0433\u043e \u043d\u044e\u0430\u043d\u0441\u044b: importance \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439 \u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445, \u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (\u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u0442\u0430\u043a\u0436\u0435 \u2014 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u043a\u0430\u0440\u0434\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e) \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043d\u0443\u044e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c.SHAP values \u2014 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u043c\u0435\u0442\u043e\u0434, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430. \u0423\u043f\u0440\u043e\u0449\u0430\u044f \u2014 \u043c\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u043a\u043b\u0430\u0434 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0438 \u0443\u0434\u0430\u043b\u044f\u044f \u0438\u0445 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430. SHAP \u0442\u0430\u043a\u0436\u0435 \u0434\u0430\u0435\u0442 \u043d\u0430\u043c \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f \u2014\u00a0\u0432\u043a\u043b\u0430\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 global SHAP \u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u041d\u0430\u044e\u043d\u0441\u044b SHAP \u0442\u0430\u043a\u043e\u0432\u044b: \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b \u043a \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c (\u0445\u043e\u0442\u044f \u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043b\u0435\u0441\u0430) \u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 background distribution. \u042d\u0442\u043e \u0442\u043e\u0436\u0435 \u043d\u0430\u0434\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u2014\u00a0\u0438 \u043a\u043b\u0430\u0441\u0441\u043d\u044b\u0439 \u0430\u0433\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u044d\u0442\u043e \u0443\u043c\u0435\u0442\u044c. \u0414\u0430\u043b\u0435\u0435, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. global interpretation \u2192 \u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c (\u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 36.6);local interpretation \u2192 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043d\u044f\u043b\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430.\u0422\u0435\u043f\u0435\u0440\u044c, \u0432\u043e\u043e\u0440\u0443\u0436\u0438\u0432\u0448\u0438\u0441\u044c \u044d\u0442\u0438\u043c \u0431\u0430\u0433\u0430\u0436\u043e\u043c, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0446\u0435\u043d\u0438\u043c, \u0447\u0442\u043e \u0434\u0430\u0434\u0443\u0442 \u0430\u0433\u0435\u043d\u0442\u044b \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435. source: unsplash\u0410\u043d\u0430\u043b\u0438\u0437\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432, \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f 7 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0438 \u043f\u0430\u043f\u043a\u0438 repots \u0438 artifacts \u043d\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u0414\u043e run \u0430\u0433\u0435\u043d\u0442\u0441\u043a\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0432\u0430\u043c \u043d\u0430\u0434\u043e \u043f\u0440\u043e\u0439\u0442\u0438 \u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0444\u0438\u043a\u0441 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0442\u0440\u0435\u0439\u043d \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0444\u0430\u0439\u043b\u044b 01_train_model.py, 05_batch_exp.py). python 01_train_model.pypython 05_batch_exp.py\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0432 artifacts\/ \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f: \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c; train\/test&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-479101","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/479101","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=479101"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/479101\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=479101"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=479101"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=479101"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}