{"id":327942,"date":"2022-01-13T15:00:46","date_gmt":"2022-01-13T15:00:46","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=327942"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=327942","title":{"rendered":"<span>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445: LIME, SHAP \u0438 Shapley Flow<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0431\u0437\u043e\u0440\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043c\u0435\u0442\u043e\u0434\u044b LIME \u0438 SHAP \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u0434\u0432\u0438\u0433\u0430 \u0438 \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0442\u044c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 production \u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u043c\u0435\u0442\u043e\u0434\u0430 SHAP \u0438 \u0435\u0433\u043e \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0438 \u0432 \u0432\u0438\u0434\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h2>\n<p><a href=\"#1\">\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.1\">\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.2\">\u0421\u0434\u0432\u0438\u0433 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.3\">\u0423\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.4\">\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/a><br \/> <a href=\"#2\">LIME: Local Interpretable Model-agnostic Explanations<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.1\">\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.2\">\u041e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.3\">\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.4\">LIME-SP: \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0439 \u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0443\u044e<\/a><br \/> <a href=\"#3\">SHAP: Shapley Additive Explanation Values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.1\">Shapley values \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u0433\u0440<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.2\">Shapley regression values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.3\">SHAP values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.4\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f SHAP values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.5\">Independent SHAP<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.6\">Kernel SHAP<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.7\">Tree SHAP<\/a><br \/> <a href=\"#4\">SHAP \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.1\">Waterfall plot<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.2\">Summary plot<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.3\">Dependence plot<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.4\">\u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP loss values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.5\">Supervised-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP<\/a><br \/> <a href=\"#5\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b SHAP values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.1\">SHAP values \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.2\">\u0421\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u043d\u0438\u0446 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> <a href=\"#6\">Shapley Flow<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.1\">\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.2\">\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow<\/a><br \/> <a href=\"#7\">\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/a><br \/> <a href=\"#8\">\u0421\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/a><\/p>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<h2>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h2>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (\u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043c\u0430\u0448\u0438\u043d\u044b \u043e\u043f\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432) \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f &#171;\u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u043c\u0438&#187; \u0432 \u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b. \u041d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0447\u0430\u0441\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043b\u043e\u0445\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b. \u0417\u0434\u0435\u0441\u044c \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0443 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0443 \u0444\u043e\u0440\u043c\u0435, \u0442\u043e \u0435\u0441\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438\u043b\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0435\u0441\u0442\u044c<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u043c \u0432\u0438\u0434\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0441 \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0441\u0445\u0435\u043c \u0438\u043b\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432)<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u043e\u0441\u0442\u0438\u0447\u044c \u043f\u043e\u043b\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u0434\u0430\u0436\u0435 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u043c\u043e\u0447\u044c. \u041e\u0431\u0437\u043e\u0440 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <a href=\"https:\/\/www.semanticscholar.org\/paper\/Explainable-AI%3A-A-Review-of-Machine-Learning-Linardatos-Papastefanopoulos\/f156ecbbb9243522275490d698c6825f4d2e01af\">Linardatos et al., 2020<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2103.10689\">Li et al., 2021<\/a>. \u0427\u0435\u043c \u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438?<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442).<\/p>\n<blockquote>\n<p>The need to explain predictions from tree models is widespread. It is particularly important in medical applications, where the patterns uncovered by a model are often even more important than the model\u2019s prediction performance. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. \u0415\u0441\u043b\u0438 \u043c\u044b \u0443\u0437\u043d\u0430\u0435\u043c, \u043d\u0430 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u0430\u043a\u0438\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438, \u0442\u043e \u0441\u043c\u043e\u0436\u0435\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b.<\/p>\n<blockquote>\n<p>Humans usually have prior knowledge about the application domain, which they can use to accept (trust) or reject a prediction if they understand the reasoning behind it. (<a href=\"https:\/\/arxiv.org\/abs\/1602.04938\">Ribeiro et al., 2016<\/a>)<\/p>\n<\/blockquote>\n<p>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u0440\u0430\u0437\u0432\u0435 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435? \u0427\u0430\u0441\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0440\u044f\u0434\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0441\u0434\u0432\u0438\u0433 \u0438 \u0443\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><a class=\"anchor\" name=\"1.1\" id=\"1.1\"><\/a><\/p>\n<h3>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u041d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 \u0432\u0441\u0435\u0433\u043e \u043e\u0431\u0437\u043e\u0440\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043d\u044f\u0442\u0438\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/966\/c3c\/662\/966c3c662cbdc0556922d55cf1b556ba.svg\"\/> \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b32\/d79\/633\/b32d7963334853ba30d6b14a4b2c8ce7.svg\"\/>-\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"X_i\" alt=\"X_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/29e\/a1e\/706\/29ea1e70663a6ead2d6b3f2cdea64f99.svg\"\/>, \u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0440\u0430\u0432\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"X = X_1 \\times X_2 \\times \\dots \\times X_N\" alt=\"X = X_1 \\times X_2 \\times \\dots \\times X_N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7fe\/06b\/20c\/7fe06b20ca395d515686e7d10ecccb2a.svg\"\/>. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043b\u0438\u0448\u044c \u043c\u0430\u043b\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0a4\/e36\/97f\/0a4e3697f1c33f3284fd93e11bd27dda.svg\"\/>.<\/p>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 (statistical learning framework), \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u043c\u0435\u044e\u0449\u0438\u0439\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"D = \\{x_i, y_i\\}_{i=1}^\\ell\" alt=\"D = \\{x_i, y_i\\}_{i=1}^\\ell\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a2e\/9d1\/c8f\/a2e9d1c8f0ff8104dc1c05aa9d2d0264.svg\"\/> \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u0437 <em>\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/em> <img decoding=\"async\" class=\"formula inline\" source=\"P(x, y) = P(x) P(y|x)\" alt=\"P(x, y) = P(x) P(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/170\/193\/e51\/170193e518551d61af8c0704c628dced.svg\"\/>, \u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0442\u0430\u043a\u0436\u0435 <em>\u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c\u044e<\/em>.  \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"D\" alt=\"D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1e\/52a\/333\/b1e52a333e9635f96e3b055681b02510.svg\"\/> \u043a\u0430\u043a \u0432\u0437\u044f\u0442\u043e\u0433\u043e \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"P(x, y)\" alt=\"P(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f92\/11f\/917\/f9211f917e25bb2bdf447f530023b00b.svg\"\/> \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043b\u0438\u0448\u044c \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u043d\u0435 \u0438\u043c\u0435\u0435\u043c \u0441\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"P(x, y)\" alt=\"P(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d9\/522\/b47\/7d9522b47e313215a23efc99cd63777a.svg\"\/>. \u041d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"P(x)\" alt=\"P(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a4\/b78\/7b9\/2a4b787b93b0a82f4d076dab8ef2c38f.svg\"\/> \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u043b\u0438\u043a\u043e \u0434\u043b\u044f &#171;\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445&#187; \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d4\/89c\/dc0\/0d489cdc0ca6c1d8ec3cbc0ada81b514.svg\"\/>, \u0438 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e \u0434\u043b\u044f \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. <img decoding=\"async\" class=\"formula inline\" source=\"P(x, y)\" alt=\"P(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b39\/842\/74b\/b3984274baf23cc77a4c14197bfeff4d.svg\"\/> \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u0434\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u043e\u0436\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u043e \u043f\u0440\u043e\u0434\u0430\u0436\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u0435\u0439. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u0435\u0440\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;Lada Granta&#187; \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&#187;<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;\u041f\u043e\u0431\u0435\u0434\u0430&#187; \u0441 \u0434\u0432\u0438\u0433\u0430\u0442\u0435\u043b\u0435\u043c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c\u044e 500 \u043b. \u0441. \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"P(x)\" alt=\"P(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46a\/e91\/f21\/46ae91f212c3994ba010eac79ca1cb49.svg\"\/> \u0432\u0435\u0440\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p> <img class=\"formula inline\" source=\"P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;Lada Granta&quot;}) > P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&quot;})&#187; alt=&#187;P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;Lada Granta&quot;}) > P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&quot;})&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a55\/b46\/561\/a55b46561c0e8ab7c42cd45613668180.svg&#187;\/><\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041f\u043e\u0431\u0435\u0434\u0430&quot;}\\ \\&amp;\\ \\text{\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c}(x) \\approx \\text{&quot;500 \u043b. \u0441.&quot;}) \\approx 0\" alt=\"P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041f\u043e\u0431\u0435\u0434\u0430&quot;}\\ \\&amp;\\ \\text{\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c}(x) \\approx \\text{&quot;500 \u043b. \u0441.&quot;}) \\approx 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ee\/ef6\/19d\/4eeef619d62a14df6ff7b2f3cfa96151.svg\"\/><\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, <img decoding=\"async\" class=\"formula inline\" source=\"P\" alt=\"P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a52\/fab\/0b3\/a52fab0b3871964bface104bfcbba82d.svg\"\/> \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"P\" alt=\"P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/012\/518\/9e0\/0125189e0e6630b4f271367c96db4f5f.svg\"\/>. \u041d\u0430 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0445 \u0438\u043b\u0438 \u0438\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043d\u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u044e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"P(x)\" alt=\"P(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bdd\/b02\/4d1\/bddb024d1e0738e83a36f686f8d5acbb.svg\"\/> \u0438\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"P(x, y)\" alt=\"P(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fb4\/75a\/59e\/fb475a59eca626b8b0b11e0aff363e78.svg\"\/>, \u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 &#8212; \u0442\u043e\u043b\u044c\u043a\u043e <img decoding=\"async\" class=\"formula inline\" source=\"P(y|x)\" alt=\"P(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/129\/373\/c9a\/129373c9aa6e6707776a875cf4993b7f.svg\"\/>, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0443\u043f\u0440\u043e\u0449\u0430\u044f \u0435\u0433\u043e \u0434\u043e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"E_{x \\sim P(x)}[y|x]\" alt=\"E_{x \\sim P(x)}[y|x]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de1\/2a8\/e51\/de12a8e51fa0d8a1a6a7fa5612fbe4f9.svg\"\/>. \u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c &#8212; \u0442\u043e \u044d\u0442\u043e \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u041d\u043e \u0442\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u044e\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"P(x)\" alt=\"P(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/91d\/dea\/90d\/91ddea90db590a54dcdf358941bcf76e.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u043e \u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043b\u0435\u0436\u0438\u0442 \u043b\u0438 \u043e\u043d\u043e \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0430\u043c\u043e \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f.<\/p>\n<p><a class=\"anchor\" name=\"1.2\" id=\"1.2\"><\/a><\/p>\n<h3>\u0421\u0434\u0432\u0438\u0433 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u0421\u0434\u0432\u0438\u0433 \u0434\u0430\u043d\u043d\u044b\u0445 (data shift) \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f, \u0441\u0440\u0435\u0434\u043d\u0435\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0442\u0435\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438: <img decoding=\"async\" class=\"formula inline\" source=\"P_{test}(X, Y) \\neq P_{usage}(X, Y)\" alt=\"P_{test}(X, Y) \\neq P_{usage}(X, Y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7aa\/29c\/b9e\/7aa29cb9e04a949592e95832b52f4278.svg\"\/>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"P(X, Y) = P(Y|X)P(X)\" alt=\"P(X, Y) = P(Y|X)P(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/958\/d47\/7c3\/958d477c3b0c01f4ebcce62529c898c2.svg\"\/>, \u0442\u043e \u0434\u0432\u0443\u043c\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f:<\/p>\n<ol>\n<li>\n<p>\u0421\u0434\u0432\u0438\u0433 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"P(X)\" alt=\"P(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab4\/185\/66b\/ab418566b2aef90acbc6c357ba84ee76.svg\"\/><\/p>\n<\/li>\n<li>\n<p>\u0421\u0434\u0432\u0438\u0433 \u0432 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"P(Y|X)\" alt=\"P(Y|X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/31f\/4b9\/fa8\/31f4b9fa8a70c6ce03fcee0e15de7724.svg\"\/><\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 1.<\/strong> \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u0440\u0438\u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (accuracy, MSE, logloss, F1 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435) \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"P(X)\" alt=\"P(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a78\/251\/422\/a782514228881d2262573aef90c9844e.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c, \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u0442 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c 80% \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0431\u044b\u043b\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (HQ), \u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0431\u0443\u0434\u0435\u0442 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u043a\u043e\u0433\u0434\u0430, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, 80% \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0443\u0442 \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (LQ). \u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0434\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: \u043d\u0430 HQ-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0439, \u0430 \u043d\u0430 LQ-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u0439. \u0415\u0441\u043b\u0438 \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0431\u044b\u043b\u0438 HQ, \u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0443\u0447\u0448\u0435, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043b\u0443\u0447\u0448\u0435 \u0431\u044b\u043b\u0430 \u0431\u044b \u0432\u0442\u043e\u0440\u0430\u044f.<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 2.<\/strong> \u0412 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u044b \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u0445 \u043f\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044e, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0440\u044b\u0431, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443 \u043d\u0430\u0441 \u0438\u043c\u0435\u044e\u0442\u0441\u044f, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0442\u0430\u043a\u0436\u0435 \u043f\u0430\u043b\u044c\u0446\u044b \u0440\u044b\u0431\u0430\u043a\u0430 (\u044d\u0442\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438). \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0440\u044b\u0431\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0435\u0435 \u043f\u0430\u043b\u044c\u0446\u044b, \u0447\u0442\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 (<a href=\"https:\/\/arxiv.org\/abs\/1904.00760\">Brendel and Bethge, 2019<\/a>).<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 3.<\/strong> \u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0432\u0441\u0435 \u0442\u0435 \u0442\u0438\u043f\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043b\u0438\u0431\u043e \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0438\u0445 \u0432 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0442\u0430\u043a\u0438\u0445 \u0442\u0438\u043f\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438\u043b\u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u0440\u0435\u0434\u043a\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u043b\u0435\u0436\u0430\u043b\u0438 \u0432\u043d\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/99f\/30d\/62f\/99f30d62f435c13638ea0b9d56eac34f.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"P_{test}\" alt=\"P_{test}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ccb\/e90\/3cb\/ccbe903cbeef68e2b6477738ce18be92.svg\"\/> (<strong>out-of-distribution<\/strong>, OOD). \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, <img class=\"formula inline\" source=\"\\{x | P_{train}(x) > 0\\} \\subsetneq \\{x | P_{usage}(x) > 0\\} \\subsetneq X&#187; alt=&#187;\\{x | P_{train}(x) > 0\\} \\subsetneq \\{x | P_{usage}(x) > 0\\} \\subsetneq X&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d3\/db0\/254\/0d3db025497c2d8987b11677b3200f10.svg&#187;\/> (<em>\u0440\u0438\u0441. 1<\/em>), \u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f\u0441\u044f \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a0c\/890\/bb1\/a0c890bb14c588d4ceb96b28872a4499.svg\"\/>, \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P_{usage}\" alt=\"P_{usage}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff1\/8bd\/635\/ff18bd6351ed7615442cd0ede24e96b2.svg\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, g\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u0430\u0442\u0430\u043a, &#171;\u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u044e\u0449\u0438\u0445&#187; \u043c\u043e\u0434\u0435\u043b\u044c (<em>\u0440\u0438\u0441. 1<\/em>) (c\u043c. <a href=\"https:\/\/arxiv.org\/abs\/1712.09665\">Brown et al., 2017<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1801.00553\">Akhtar and Mian, 2018<\/a>).<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0438\u0437 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0439 \u0441\u043e\u0431\u0430\u043a\u0438, \u043f\u043e\u043a\u0440\u0430\u0448\u0435\u043d\u043d\u043e\u0439 \u0432 \u0440\u0430\u0434\u0443\u0436\u043d\u044b\u0435 \u0446\u0432\u0435\u0442\u0430, \u0438\u043b\u0438 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0439 \u043b\u0438\u0446\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043d\u0430 \u043b\u043e\u0431 \u043f\u0440\u0438\u043a\u043b\u0435\u0435\u043d\u043e \u0444\u043e\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u0422\u0430\u043a\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f OOD-\u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u0422\u0430\u043a\u0436\u0435 OOD-\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u043e\u0447\u0435\u043d\u044c \u0440\u0435\u0434\u043a\u0438\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u0430\u043a\u0438\u0445-\u043b\u0438\u0431\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u043c\u0430\u043b\u043e \u0448\u0430\u043d\u0441\u043e\u0432 \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443. \u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 (<a href=\"https:\/\/arxiv.org\/abs\/2110.11334\">Yang et al., 2021<\/a>), \u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439, \u0447\u0435\u043c \u0442\u0435, \u0447\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u0435\u0442\u0440\u0438\u043a &#171;\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438&#187; \u043c\u043e\u0434\u0435\u043b\u0438 (<a href=\"https:\/\/arxiv.org\/abs\/2108.13624\">Shen et al., 2021<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/2011.15091\">Goyal and Bengio, 2020<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1806.01261\">Battaglia et al., 2018<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1911.01547\">Chollet, 2019<\/a>).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/36a\/35f\/822\/36a35f8227dff3ddeb7f814a65463730.jpg\" alt=\"\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u0430\u0442\u0430\u043a, &quot;\u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u044e\u0449\u0438\u0445&quot; \u043c\u043e\u0434\u0435\u043b\u044c.\" title=\"\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u0430\u0442\u0430\u043a, &quot;\u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u044e\u0449\u0438\u0445&quot; \u043c\u043e\u0434\u0435\u043b\u044c.\" width=\"1051\" height=\"473\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/36a\/35f\/822\/36a35f8227dff3ddeb7f814a65463730.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u0430\u0442\u0430\u043a, &#171;\u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u044e\u0449\u0438\u0445&#187; \u043c\u043e\u0434\u0435\u043b\u044c.<\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"1.3\" id=\"1.3\"><\/a><\/p>\n<h3>\u0423\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u0423\u0442\u0435\u0447\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 (data leakage, \u0438\u043b\u0438 target leakage) \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u043a\u0438\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ID \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0434\u0438\u0430\u0433\u043d\u043e\u0437\u043e\u043c, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0434\u0435\u043b\u0435\u043d \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c). \u041c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0430\u044f \u0434\u0438\u0430\u0433\u043d\u043e\u0437 \u043f\u043e ID, \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u043d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0435\u043d \u0438 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0423\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u043d\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c ID <img decoding=\"async\" class=\"formula inline\" source=\"\\to\" alt=\"\\to\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d1\/70a\/b95\/3d170ab95ee800b063c98cecdcf292b7.svg\"\/> \u0434\u0438\u0430\u0433\u043d\u043e\u0437 \u0431\u044b\u043b\u0430 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/797\/e2d\/321\/797e2d321e700cc3ee4aacc02df0a83d.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"P_{test}\" alt=\"P_{test}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd1\/8b9\/7cc\/bd18b97cce1e58ed21884d345b6aeb6e.svg\"\/>, \u043d\u043e \u0435\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"P_{usage}\" alt=\"P_{usage}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/34f\/296\/2b3\/34f2962b3972d473e5ff61c0043c30e1.svg\"\/>. \u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0442\u0435\u0447\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e.<\/p>\n<blockquote>\n<p>\u0415xample for this is KDD-Cup 2008 breast cancer prediction competition, where the patient ID contained an obvious leak. It is by no means obvious that removing this feature would leave a leakage-free dataset, however. Assuming different ID ranges correspond to different health care facilities (in different geographical locations, with different equipment), there may be additional traces of this in the data. If for instance the imaging equipment&#8217;s grey scale is slightly different and in particular grey levels are higher in the location with high cancer rate, the model without ID could pick up this leaking signal from the remaining data, and the performance estimate<br \/> would still be optimistic (the winners show evidence of this in their report). (<a href=\"https:\/\/www.researchgate.net\/publication\/221653692_Leakage_in_Data_Mining_Formulation_Detection_and_Avoidance\">Kaufman et al., 2011<\/a>)<\/p>\n<\/blockquote>\n<p>\u0415\u0441\u043b\u0438 \u0443\u0434\u0430\u0441\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c (\u0445\u043e\u0442\u044f \u0431\u044b \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e), \u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0434\u0435\u0436\u043d\u0435\u0435 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439 \u0443\u0442\u0435\u0447\u043a\u0438 \u0438 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><a class=\"anchor\" name=\"1.4\" id=\"1.4\"><\/a><\/p>\n<h3>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h3>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/17a\/e96\/bca\/17ae96bcad1cc7892232b1964dd1f857.svg\"\/> \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b4a\/eda\/884\/b4aeda884a7f27e34c0cf8f09583b731.svg\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u043b\u0430 \u0441\u043e\u0431\u0430\u043a\u0443, \u0442\u043e \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u043b\u0430 \u0441\u043e\u0431\u0430\u043a\u0443? \u041a\u0430\u043a\u0438\u0435 \u0447\u0430\u0441\u0442\u0438 \u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u0432\u043b\u0438\u044f\u043b\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438?<\/p>\n<blockquote>\n<p>Local explanations have a distinct advantage over global explanations because by only focusing on a single sample they can remain more faithful to the original model. We anticipate that in the future local explanations will become foundational building blocks for many downstream tasks in machine learning. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p>\u0414\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/251\/df2\/a63\/251df2a6356b0f0f75e809ab5771423f.svg\"\/> \u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0438\u0437\u0443\u0447\u0430\u0435\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f(x_0 + \\Delta x)\" alt=\"f(x_0 + \\Delta x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b5b\/8c4\/c3a\/b5b8c4c3a2df2df9686084f9ed408c0b.svg\"\/> \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/636\/98e\/de6\/63698ede67df1a54d58f2a5c17983231.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u0441\u0442\u0441\u044f \u0441 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"g(\\Delta x)\" alt=\"g(\\Delta x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/827\/7fb\/d52\/8277fbd52677dc358f9e4f19d6aa12f7.svg\"\/>. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0447\u043a\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65d\/75c\/c84\/65d75cc848b576998c13ed356da06676.svg\"\/>.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\nabla f(x)\" alt=\"\\nabla f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/249\/a74\/809\/249a7480986deab79e1222833fdcdb8e.svg\"\/> \u0432 \u0442\u043e\u0447\u043a\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f97\/49e\/756\/f9749e75625775cec396719c0fc8c0e8.svg\"\/> \u043c\u044b \u0443\u0437\u043d\u0430\u0435\u043c, \u043a\u0430\u043a \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0438 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/152\/5b8\/3fd\/1525b83fd7db759f6e83a54d56db1ad7.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e (\u0432 \u043a\u0443\u0440\u0441\u0435 \u0432\u044b\u0441\u0448\u0435\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0442\u0430\u043a\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/37f\/b44\/b6a\/37fb44b6a2aea0b4deba72d2fa2d37c9.svg\"\/>). \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 saliency maps \u0432 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u043c \u0437\u0440\u0435\u043d\u0438\u0438 (<a href=\"https:\/\/arxiv.org\/abs\/1312.6034\">Simonyan et al., 2013<\/a>) &#8212; \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0441\u0435\u0442\u0438 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0438\u043a\u0441\u0435\u043b\u044f\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f. \u041d\u043e \u0442\u0430\u043a\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u0430:<\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430 \u0438 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ed\/dfb\/264\/2eddfb264b03870ddd8f11a9a1e62b9c.svg\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u043e\u0441\u0442\u0438\u0433 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f &#171;\u043d\u0430\u0441\u044b\u0449\u0435\u043d\u0438\u044f&#187;, \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0432\u044b\u0432\u043e\u0434 \u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e \u043d\u0435\u043c\u0443 \u043f\u043e\u0447\u0442\u0438 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e. \u042d\u0444\u0444\u0435\u043a\u0442 \u0431\u0443\u0434\u0435\u0442 \u043b\u0438\u0448\u044c \u0435\u0441\u043b\u0438 \u043c\u044b \u0441\u0438\u043b\u044c\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (\u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445) \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043b\u0438\u0431\u043e \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u043b\u0438\u0431\u043e \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u0430, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u0430\u043b\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432\u0435\u0434\u0435\u0442 \u0432 &#171;\u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0443\u044e&#187; \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043d\u0435\u0446\u0435\u043b\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e.<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/331\/888\/32e\/33188832e8bc4add30c4a687187e1c5e.svg\"\/> \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435\u043a\u0438\u0439 \u043d\u0430\u0431\u043e\u0440 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0445, \u043d\u0435 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u0430\u043b\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 <strong>LIME <\/strong>(<a href=\"https:\/\/arxiv.org\/abs\/1602.04938\">Ribeiro et al., 2016<\/a>).<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u0430\u043c\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"f(x_0)\" alt=\"f(x_0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c47\/3d2\/052\/c473d2052045653b671677cfa7786b03.svg\"\/>, \u0430 \u043e\u0434\u043d\u0443 \u0438\u0437 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d:<\/p>\n<ol>\n<li>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta y = f(x_0) - f(x_{background})\" alt=\"\\Delta y = f(x_0) - f(x_{background})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d4f\/c33\/69c\/d4fc3369ce6c3d9f4a7e88b8613e5890.svg\"\/><\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta y = f(x_0) - E[f(x)]\" alt=\"\\Delta y = f(x_0) - E[f(x)]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b0\/9b5\/0b7\/5b09b50b70935343040639314f2880fe.svg\"\/>.<\/p>\n<\/li>\n<\/ol>\n<p>\u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c <em>\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438, \u0432\u044b\u0437\u0432\u0430\u043d\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/em> (\u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435) \u0438\u043b\u0438 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 (\u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c <em>\u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta y\" alt=\"\\Delta y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1c\/e0c\/024\/c1ce0c024ddd44b5c96365d958f80e69.svg\"\/><\/em>. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 <strong>SHAP <\/strong>(<a href=\"https:\/\/arxiv.org\/abs\/1705.07874\">Lundberg and Lee, 2017<\/a>).<\/p>\n<p>\u041c\u0435\u0442\u043e\u0434\u044b LIME \u0438 SHAP \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043a \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u043d\u0438 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c &#171;\u0438\u0437\u043d\u0443\u0442\u0440\u0438&#187;, \u0442\u043e \u0435\u0441\u0442\u044c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f <em>model-agnostic<\/em> \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 (\u0445\u043e\u0442\u044f \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a Tree SHAP).<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0442\u0430\u043a\u0436\u0435 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta y\" alt=\"\\Delta y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1c\/a43\/f49\/f1ca43f49f59e7a39c0c4c8417eb2934.svg\"\/> \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 DeepLIFT (<a href=\"https:\/\/arxiv.org\/abs\/1704.02685\">Shrikumar et al., 2017<\/a>) \u0438 Integrated Gradients (<a href=\"https:\/\/arxiv.org\/abs\/1703.01365\">Sundararajan et al., 2017<\/a>) \u0434\u043b\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 (\u0442. \u0435. \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439). \u042d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u043e\u0431\u0437\u043e\u0440\u0435 \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c. \u041e\u0431\u0437\u043e\u0440 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b &#171;Methods 7&#187;.<\/p>\n<p><a class=\"anchor\" name=\"2\" id=\"2\"><\/a><\/p>\n<h2>LIME: Local Interpretable Model-agnostic Explanations<\/h2>\n<p>LIME (<a href=\"https:\/\/arxiv.org\/abs\/1602.04938\">Ribeiro et al., 2016<\/a>) &#8212; \u044d\u0442\u043e \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f(x_0)\" alt=\"f(x_0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ba\/b0b\/220\/4bab0b22012b4debe5eb51bd88c8b09e.svg\"\/> \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d5\/c55\/9c0\/7d5c559c07cb02e3901853ae8d3d0688.svg\"\/> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"f(x_0 + \\Delta x)\" alt=\"f(x_0 + \\Delta x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41f\/4ef\/6ff\/41f4ef6ffb1bbe77dbc25262a9e9f2ba.svg\"\/> \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67f\/e8e\/69e\/67fe8e69ecd2879d3d1173ffc85a55ad.svg\"\/>. \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 LIME \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u0430 \u043d\u0430 <em>\u0440\u0438\u0441. 2<\/em>. \u0427\u0442\u043e\u0431\u044b \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434 LIME, \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u0432\u0432\u0435\u0441\u0442\u0438 \u0440\u044f\u0434 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0447\u0430\u0441\u0442\u044f\u0445 \u043e\u0431\u0437\u043e\u0440\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/2d2\/c6e\/2cd\/2d2c6e2cded89aac4ce8c5858cd1a6d8.jpg\" alt=\"\u0420\u0438\u0441. 2. \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 LIME.\" title=\"\u0420\u0438\u0441. 2. \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 LIME.\" width=\"953\" height=\"675\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d2\/c6e\/2cd\/2d2c6e2cded89aac4ce8c5858cd1a6d8.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 2. \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 LIME.<\/figcaption><\/figure>\n<p>\u041c\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1b\/77a\/635\/a1b77a63506e446028607516c9d41da3.svg\"\/> \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ee\/071\/155\/2ee071155105dc25b447bb942a9c403d.svg\"\/>:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"f: X \\to Y\" alt=\"f: X \\to Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/593\/b66\/d97\/593b66d97523a24744d4abce2d668014.svg\"\/> &#8212; \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"x_0 \\in X\" alt=\"x_0 \\in X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dae\/999\/deb\/dae999debd18f732eedfc2c3687cfea6.svg\"\/> &#8212; \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"f(x_0)\" alt=\"f(x_0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a16\/1c3\/b3b\/a161c3b3b8b5567a91d6e71abff8b9ef.svg\"\/> \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f<\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"2.1\" id=\"2.1\"><\/a><\/p>\n<h3>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/07f\/a94\/0f4\/07fa940f4550828cf768b826e9a4e00a.svg\"\/> \u0432\u0432\u043e\u0434\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/954\/ae8\/f1c\/954ae8f1c3d3c708087a20b1a0053fa2.svg\"\/> \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0445, \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5a\/e7f\/d4a\/f5ae7fd4a830ff7d4b6a52deb88b5832.svg\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0442\u0430\u043a\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u044f, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043a\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0445\u043e\u0436\u0438\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u044b\u043c \u0438 \u0447\u0435\u0442\u043a\u0438\u043c\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u0430\u043c\u0438 (<em>\u0440\u0438\u0441. 1b<\/em>). \u041a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043d\u043e \u043b\u0438\u0431\u043e \u0435\u0441\u0442\u044c, \u043b\u0438\u0431\u043e \u043d\u0435\u0442. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"2^M\" alt=\"2^M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f01\/657\/e6b\/f01657e6b33ea676bb1534cf6884aba6.svg\"\/> \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c4\/848\/31f\/8c484831f2f709b8f32cd2e7e5f63b12.svg\"\/>. \u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u0438\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u043e\u043c 0 \u0438\u043b\u0438 1: \u0438\u0437 \u044d\u0442\u0438\u0445 \u0447\u0438\u0441\u0435\u043b \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e0e\/e29\/f80\/e0ee29f80adaafdb65bae4ca64d121e0.svg\"\/> \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/152\/cd9\/a23\/152cd9a237a8c1fc28c6386da5a43d38.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c <em>\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c<\/em> (<em>\u0440\u0438\u0441. 1c<\/em>).<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\{ \\Delta_i \\}_{i=1}^M\" alt=\"\\{ \\Delta_i \\}_{i=1}^M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f0\/841\/34b\/8f084134b506a3a504ba2a9a0ff6c907.svg\"\/> &#8212; \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/995\/90d\/a2a\/99590da2a7934b125ec1067c7001c668.svg\"\/><\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"z_i \\in \\{0, 1\\}\" alt=\"z_i \\in \\{0, 1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c5\/bd4\/8da\/3c5bd48daa84b28c6480be6f1a697a3a.svg\"\/> &#8212; \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/742\/436\/b4a\/742436b4aff52314702fdb0737933cc6.svg\"\/><\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"z \\in \\{0, 1\\}^M\" alt=\"z \\in \\{0, 1\\}^M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f51\/6aa\/9f4\/f516aa9f4dc7a424c467f0e8d5f5f60e.svg\"\/> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"h: \\{0, 1\\}^M \\to X\" alt=\"h: \\{0, 1\\}^M \\to X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5a\/dc1\/00f\/f5adc100f414734019111ae66374cdf9.svg\"\/> &#8212; \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0449\u0430\u044f \u0432\u0435\u043a\u0442\u043e\u0440 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a21\/b59\/259\/a21b59259ad881f900de11d707cae21a.svg\"\/> \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"x_0 + \\Delta x\" alt=\"x_0 + \\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a42\/903\/40a\/a4290340a192b1b863c02830cc672268.svg\"\/><\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430 <em>\u0440\u0438\u0441. 1<\/em> \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e3\/fca\/b8f\/9e3fcab8ff0c6bd7cee9dbf3bfcfec27.svg\"\/> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u0432\u0441\u0435 &#171;\u043f\u0440\u0438\u0441\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435&#187; \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438 (<img decoding=\"async\" class=\"formula inline\" source=\"z_i = 1\" alt=\"z_i = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d54\/f62\/6fd\/d54f626fdaedcf03424e390fb0495e80.svg\"\/>) \u0440\u0438\u0441\u0443\u044e\u0442\u0441\u044f \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u0412\u0441\u0435 &#171;\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435&#187; \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438 (<img decoding=\"async\" class=\"formula inline\" source=\"z_i = 0\" alt=\"z_i = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/554\/77c\/4bd\/55477c4bd483bdbe3bad3848847ed12c.svg\"\/>) \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0431\u0435\u043b\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c (\u043b\u0438\u0431\u043e, \u043a\u0430\u043a \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"h([1, 1, \\dots, 1]) = x_0\" alt=\"h([1, 1, \\dots, 1]) = x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/272\/3b0\/dc1\/2723b0dc1e7119d01c785d961425ddfe.svg\"\/>, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 \u0435\u0434\u0438\u043d\u0438\u0446 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0432\u0441\u0435\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0431\u043e\u0440 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8bc\/9f5\/84c\/8bc9f584cd757a6904de88255370c21c.svg\"\/> \u0440\u0430\u0432\u043d\u043e\u0441\u0438\u043b\u0435\u043d \u0432\u044b\u0431\u043e\u0440\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a2f\/3ab\/eb8\/a2f3abeb80a815a8d5dd80716526b001.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0438 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bbd\/3fc\/280\/bbd3fc280f0b45b92ca414f4b35d2895.svg\"\/> \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e, \u043d\u043e \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c19\/569\/56f\/c1956956f66ae5d36e906621fbadffe1.svg\"\/> \u0431\u044b\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u043d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c3\/ded\/303\/9c3ded30383c7035193f5948cda04073.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438\u0437\u0443\u0447\u0430\u044f, \u043a\u0430\u043a \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u044d\u0442\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d5e\/5a0\/2e3\/d5e5a02e34a59322ec324e531aada8b6.svg\"\/> \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0441\u0442\u0438\u043b\u044c \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u043a\u0430\u043a &#171;\u0440\u0435\u0442\u0440\u043e&#187; \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043e\u0442\u0442\u0435\u043d\u043a\u0430 &#171;\u0441\u0435\u043f\u0438\u044f&#187;, \u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439 \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c. \u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/63b\/d10\/940\/63bd10940692e763ca1da8ff556c6722.svg\"\/> \u0431\u044b\u043b\u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u044b \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e, \u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/89b\/947\/066\/89b9470661f633f6d0aff3a22d5a31d7.svg\"\/>.<\/p>\n<p>\u0414\u043b\u044f \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/60c\/def\/e86\/60cdefe8685bc9fb1c10e1eba10d0351.svg\"\/> \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0437\u0430\u043c\u0435\u043d\u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u043d\u043e\u043b\u044c, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438\u043b\u0438 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443.<\/p>\n<p><a class=\"anchor\" name=\"2.2\" id=\"2.2\"><\/a><\/p>\n<h3>\u041e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b0\/429\/10c\/2b042910c24d29ab9272ba5d57531f8f.svg\"\/> \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"f(h(z))\" alt=\"f(h(z))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/118\/c18\/145\/118c181453935b145369045db41c041f.svg\"\/> \u043f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/175\/f1a\/cb9\/175f1acb939d2b3c08c8b06c30eda520.svg\"\/>.  \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fb\/634\/d38\/3fb634d386cc512dc169d985d4c96f87.svg\"\/> \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0439 (\u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0441\u043c\u044b\u0441\u043b \u043c\u0435\u0442\u043e\u0434\u0430 LIME \u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e. \u0427\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7fc\/57c\/a96\/7fc57ca96eed239e76a1026f44a37e1c.svg\"\/> \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed0\/619\/495\/ed06194956ed2cbaf2bb36be0ba20b64.svg\"\/> (\u0442\u043e \u0435\u0441\u0442\u044c \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x_0 + \\Delta x\" alt=\"x_0 + \\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbc\/634\/7a3\/cbc6347a3799205bb684552e13dd2684.svg\"\/>, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f24\/749\/d93\/f24749d93583097b6c8e2e5ae7fa428a.svg\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a36\/9d1\/679\/a369d1679dd673b2b93b9d16ab99638d.svg\"\/>) \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b3\/613\/0ca\/5b36130caf86f0058103cb8e0ae6fba8.svg\"\/>.<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"g: \\{0, 1\\}^M \\to Y\" alt=\"g: \\{0, 1\\}^M \\to Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/243\/3e0\/334\/2433e0334ef00d01177d1e8a3e828058.svg\"\/> &#8212; \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\big\\{ z^{(i)}, f(h(z^{(i)})) \\big\\}_{i=1}^N\" alt=\"\\big\\{ z^{(i)}, f(h(z^{(i)})) \\big\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/52d\/6d0\/328\/52d6d03281333ec7d0acd7a1a3afa1ea.svg\"\/> &#8212; \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0434\u043b\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0440\u0430\u0432\u0435\u043d <img decoding=\"async\" class=\"formula inline\" source=\"2^M\" alt=\"2^M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b7\/77e\/078\/0b777e0782d5e44fbce9e1341551a2f8.svg\"\/>, \u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b3\/581\/c2c\/1b3581c2ca371f1ee59a4e11472955b1.svg\"\/> \u0432\u0435\u043b\u0438\u043a\u043e, \u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u043e\u043c \u043b\u0438\u0448\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49c\/0ca\/c30\/49c0cac30a5dc89f09c5718e0e9791e8.svg\"\/>. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0443\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u0430\u043a\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e45\/255\/f30\/e45255f3090d687a6d26d10c3587684d.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u043b\u0438\u0437\u043a\u0438 \u043a \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u0438\u0437 \u0435\u0434\u0438\u043d\u0438\u0446: \u044d\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/553\/053\/c62\/553053c627c852c165c260eec42a9ae5.svg\"\/> (\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0443\u043b\u0435\u0439 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dc5\/00e\/80f\/dc500e80f9522ba26341e02109e7592f.svg\"\/>, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e9b\/db8\/a10\/e9bdb8a1008f7151186885fb84beae76.svg\"\/> \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c). \u0412\u0432\u0435\u0434\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"\\pi(z)\" alt=\"\\pi(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/581\/b87\/b6c\/581b87b6cf652c7e5c221c0d57f30fc4.svg\"\/>, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0443\u044e \u043c\u0435\u0440\u0443 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"h(z)\" alt=\"h(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5d\/ebf\/e61\/a5debfe611107f94d2c2cdbdaa1d531b.svg\"\/> \u043a <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e01\/2d9\/63c\/e012d963c7b24ee6de4c6a0aa470bc53.svg\"\/>, \u0438 \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u043c \u0432\u0435\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\pi(z^{(i)})\" alt=\"\\pi(z^{(i)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2df\/ec1\/62e\/2dfec162e2fbc70908a98c1bed4dffe7.svg\"\/> \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438.<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\pi: \\{0, 1\\}^M \\to \\mathbb{R}\" alt=\"\\pi: \\{0, 1\\}^M \\to \\mathbb{R}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c8\/c10\/afe\/0c8c10afe17e4c9a4266ebe92aee1b97.svg\"\/> &#8212; \u043c\u0435\u0440\u0430 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"h(z)\" alt=\"h(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41c\/ec0\/70d\/41cec070d98998dbfe54b10cb312825d.svg\"\/> \u043a <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/84e\/122\/ce1\/84e122ce178f4d8b529df2114f306ac9.svg\"\/><\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\big\\{ w^{(i)} = \\pi(z^{(i)}) \\big\\}_{i=1}^N\" alt=\"\\big\\{ w^{(i)} = \\pi(z^{(i)}) \\big\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f4\/e51\/35e\/1f4e5135ee705c66264219508291e7ec.svg\"\/> &#8212; \u0432\u0435\u0441\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438<\/p>\n<\/li>\n<\/ul>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435.<\/em> \u0412 kernel SHAP, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\pi\" alt=\"\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76a\/077\/b4f\/76a077b4faa03043c3fe35570f4efa64.svg\"\/> \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u044e\u0449\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0432\u0435\u0441\u0430 \u043a\u0430\u043a \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0435\u0434\u0438\u043d\u0438\u0446, \u0442\u0430\u043a \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u0443\u043b\u0435\u0439. \u0422\u0430\u043a \u043c\u044b \u0430\u043a\u0446\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/738\/869\/bb7\/738869bb75879c757a6305124d9329c4.svg\"\/> \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u0443\u043b\u0435\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u0445 (\u043d\u0430\u043f\u0440\u043c\u0435\u0440, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u044f\u0445 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439).<\/p>\n<p>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fa\/f01\/a5f\/4faf01a5f022eb7e701bb8561d0f215a.svg\"\/> \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c &#8212; \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435. \u042d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c3b\/c23\/22e\/c3bc2322e5e94b1d3a0cbf90ee565a8f.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e04\/00e\/bfb\/e0400ebfb48a374f86596b497d486b23.svg\"\/>. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c &#171;\u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c&#187; <img decoding=\"async\" class=\"formula inline\" source=\"\\Omega(g)\" alt=\"\\Omega(g)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba5\/74e\/203\/ba574e203b577b54aa40d6b172de8330.svg\"\/> &#8212; \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0415\u0441\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435, \u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\sum\\limits_{i=1}^N w^{(i)} \\Big( g(z^{(i)}) - f(h(z^{(i)})) \\Big)^2 + \\Omega(g) \\to \\min\\limits_g\" alt=\"\\sum\\limits_{i=1}^N w^{(i)} \\Big( g(z^{(i)}) - f(h(z^{(i)})) \\Big)^2 + \\Omega(g) \\to \\min\\limits_g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/005\/fe8\/188\/005fe81883f4d7f4ba96c98e50fbc02a.svg\"\/><\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g(z^{(i)})\" alt=\"g(z^{(i)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c1\/906\/2a2\/5c19062a293e7b755b325e79e0d120c6.svg\"\/> \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f(h(z^{(i)}))\" alt=\"f(h(z^{(i)}))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/21e\/54b\/2eb\/21e54b2eb0174e6efa96a034db0f55d8.svg\"\/>, \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u043f\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0432\u0435\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"w^{(i)}\" alt=\"w^{(i)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/066\/0a4\/664\/0660a4664e2106a79b6ccae6dab5b225.svg\"\/>. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e \u043c\u044b \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Omega(g)\" alt=\"\\Omega(g)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e81\/fd2\/497\/e81fd2497beb71b9b389f30f5020dc1d.svg\"\/>.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u0443\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0430 LIME \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/537\/a77\/4d6\/537a774d6952bc911673d7b7f7aee490.svg\"\/> \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b6f\/852\/961\/b6f85296104560321278afde76d9d7f6.svg\"\/> \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043b\u0435\u0433\u043a\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/33a\/3bd\/389\/33a3bd38969ad183ad54a8accbcedfdf.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2bd\/cc3\/818\/2bdcc3818537907703292b53f9f2f4a4.svg\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/355\/b21\/dec\/355b21dec950bfc21e2dc2afc61af60c.svg\"\/> \u043b\u0438\u043d\u0435\u0439\u043d\u0430, \u0442\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01f\/ee9\/524\/01fee952474239f2430cd6f121128713.svg\"\/> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u044e \u0432 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438) \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u043a\u0438\u0439 \u0432\u0435\u0441.<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u043d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/011\/343\/e27\/011343e2752e90a12f470368a7b7d3e3.svg\"\/>-\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/24b\/3a2\/270\/24b3a22709accd48ff6f3aa96baa7753.svg\"\/>. \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0442\u0430\u043a, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97f\/6d3\/d7a\/97f6d3d7ae7db66fc7d9395cddbb46f0.svg\"\/> \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f (\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0441\u0442\u0435\u043d\u0435\u0442\u0441\u044f \u0432\u044b\u0441\u043e\u043a\u043e\u0439). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c, \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0443\u0434\u0430\u043b\u044f\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0435 \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u0430 \u043d\u0430 \u0446\u0432\u0435\u0442 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u0446\u0435\u043b\u043e\u043c. \u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u0431 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u043d\u043e\u043c \u0446\u0432\u0435\u0442\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 LIME \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0438\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ad\/0e1\/c1a\/3ad0e1c1a60f6fde370e43a6013a5c5b.svg\"\/> (\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438 \u0442. \u0434.) \u0438 \u043d\u0438\u043a\u0430\u043a \u044f\u0432\u043d\u043e \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 &#171;\u0438\u0437\u043d\u0443\u0442\u0440\u0438&#187;, \u0442\u043e \u0435\u0441\u0442\u044c LIME \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f &#171;model-agnostic&#187; \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438.<\/p>\n<p><a class=\"anchor\" name=\"2.3\" id=\"2.3\"><\/a><\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 3<\/em> \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 Inception (<a href=\"https:\/\/arxiv.org\/abs\/1409.4842\">Szegedy et al., 2014<\/a>). \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043a\u043b\u0430\u0441\u0441\u0443 &#171;Electric guitar&#187;, \u0438 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u044d\u0442\u043e\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88a\/ebc\/1c1\/88aebc1c161b53c2f0c0f53f4681a275.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0438\u043b\u0438 \u043e\u0442\u0441\u0442\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439 (<img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a87\/095\/4d9\/a870954d94aa825501371a33f459fc7b.svg\"\/> \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/37d\/186\/da0\/37d186da0a7b2d7cc60b5ee38561ae63.svg\"\/> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439). \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u044f \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0435\u0441, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u043a\u043b\u0430\u0434 \u044d\u0442\u043e\u0433\u043e \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u044f \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 &#171;Electric guitar&#187;, \u0438 \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0432\u0435\u0441\u043e\u043c. \u0414\u0430\u043b\u0435\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u0442\u043e\u0442 \u0436\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u043c &#171;Acoustic guitar&#187; \u0438 &#171;Labrador&#187;. \u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c LIME \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/050\/a5c\/b01\/050a5cb01fa6ef30b37882644cf9b277.jpg\" alt=\"\u0420\u0438\u0441. 3. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 LIME. \u041e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.\" title=\"\u0420\u0438\u0441. 3. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 LIME. \u041e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.\" width=\"1056\" height=\"290\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/050\/a5c\/b01\/050a5cb01fa6ef30b37882644cf9b277.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 3. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 LIME. \u041e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/figcaption><\/figure>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 LIME \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/912\/718\/f4e\/912718f4e0f9124d80cb4b199990cc88.svg\"\/>, \u044d\u0442\u043e\u0442 \u0432\u044b\u0431\u043e\u0440 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438 \u0432 \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 LIME \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043c\u0435\u0442\u043e\u0434, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0435\u0435.<\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c LIME \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0433 \u0431\u044b \u0434\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043b\u044e\u0441\u043e\u0432, \u043c\u0438\u043d\u0443\u0441\u043e\u0432 \u0438 \u0433\u0440\u0430\u043d\u0438\u0446 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u043c\u0438\u043d\u0443\u0441\u043e\u0432 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b <img decoding=\"async\" class=\"formula inline\" source=\"x_0 + \\Delta x\" alt=\"x_0 + \\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f14\/ead\/70b\/f14ead70b3da8002b934c20cd0eb0d02.svg\"\/> \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438, \u043d\u0435\u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u0442\u0435\u0440\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439). \u041c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/73a\/753\/b2f\/73a753b2f28629d67323edfddabceda9.svg\"\/>, \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0438 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0442 \u043d\u0435\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430 \u043d\u0435\u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 (\u043d\u0435 \u043b\u0435\u0436\u0430\u0449\u0438\u0445 \u0432 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0438\u0437 \u043a\u043d\u0438\u0433\u0438 <a href=\"https:\/\/www.deeplearningbook.org\/\">Deep Learning<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 5.11.3). \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0fe\/3b1\/f90\/0fe3b1f905a7342d3fefa0c5c6518ec4.svg\"\/> \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u0435\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x_0 + \\Delta x\" alt=\"x_0 + \\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ba\/404\/639\/2ba404639322f87e1b25f15c34ff6cc0.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u043e. \u041e\u0431 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435 \u043c\u044b \u0435\u0449\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#171;\u0421\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u043d\u0438\u0446 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445&#187;.<\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439, \u043d\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c LIME \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043e\u0431\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d \u043a \u0448\u0438\u0440\u043e\u043a\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0432 \u043d\u0435\u043c, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e.<\/p>\n<p><a class=\"anchor\" name=\"2.4\" id=\"2.4\"><\/a><\/p>\n<h3>LIME-SP: \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0439 \u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0443\u044e<\/h3>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u043d\u0430\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c LIME, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e submodular pick (SP), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0446\u0435\u043b\u043e\u043c, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c LIME, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b34\/86d\/7fc\/b3486d7fc20212606d32499ecaa820f4.svg\"\/>, \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/761\/028\/aaf\/761028aafd2ebe356c96a39fb8465eee.svg\"\/>, \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u043c\u0435\u0440 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u043c &#8212; \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c &#8212; \u0432\u0435\u0441 \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0439 \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0435\u0439 bag-of-words, \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u043c\u0430\u0442\u0440\u0438\u0446\u044b <img decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5cb\/cd0\/d2f\/5cbcd0d2f29c7f593a662d09801c088a.svg\"\/> \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u0441 \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u044f\u043c\u0438 \u0442\u0430\u043a \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0441\u0443\u043f\u0435\u0440\u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6df\/fd7\/e5a\/6dffd7e5aabadf8e688e4d69e0e1cd51.svg\"\/>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u043d\u0430\u0439\u0434\u044f \u043d\u043e\u0440\u043c\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430. \u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u0441\u0442\u0440\u043e\u043a \u043c\u0430\u0442\u0440\u0438\u0446\u044b <img decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b40\/76e\/296\/b4076e2963b110a33c3e8f89d0a4f12f.svg\"\/> \u0442\u0430\u043a\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u0432 \u044d\u0442\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0445\u043e\u0442\u044f \u0431\u044b \u0440\u0430\u0437 \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u043b\u043e\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u042d\u0442\u043e\u0442 \u043d\u0430\u0431\u043e\u0440 \u0441\u0442\u0440\u043e\u043a \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0430\u0431\u043e\u0440\u0443 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p><a class=\"anchor\" name=\"3\" id=\"3\"><\/a><\/p>\n<h2>SHAP: Shapley Additive Explanation Values<\/h2>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0434\u0445\u043e\u0434 SHAP (<a href=\"https:\/\/arxiv.org\/abs\/1705.07874\">Lundberg and Lee, 2017<\/a>), \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043c\u0435\u0442\u043e\u0434\u0430 LIME.<\/p>\n<p><a class=\"anchor\" name=\"3.1\" id=\"3.1\"><\/a><\/p>\n<h3>Shapley values \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u0433\u0440<\/h3>\n<p><a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A2%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%B3%D1%80\">\u0422\u0435\u043e\u0440\u0438\u044f \u0438\u0433\u0440<\/a> &#8212; \u044d\u0442\u043e \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438, \u0438\u0437\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 (\u0438\u0433\u0440\u0443) \u043c\u0435\u0436\u0434\u0443 \u0438\u0433\u0440\u043e\u043a\u0430\u043c\u0438, \u043f\u0440\u0435\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438 \u043d\u0435\u043a\u0438\u0435 \u0446\u0435\u043b\u0438 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u043f\u043e \u043d\u0435\u043a\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c. <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9A%D0%BE%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%B0%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%B3%D1%80\">\u041a\u043e\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u0433\u0440\u043e\u0439<\/a> \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0430\u044f \u0438\u0433\u0440\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0433\u0440\u0443\u043f\u043f\u0430 \u0438\u0433\u0440\u043e\u043a\u043e\u0432 (<em>\u043a\u043e\u0430\u043b\u0438\u0446\u0438\u044f<\/em>) \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e. \u0421 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b XX \u0432\u0435\u043a\u0430 (<a href=\"https:\/\/www.rand.org\/pubs\/papers\/P295.html\">Shapley, 1952<\/a>) \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u043c\u044b\u0435 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%92%D0%B5%D0%BA%D1%82%D0%BE%D1%80_%D0%A8%D0%B5%D0%BF%D0%BB%D0%B8\">Shapley values<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 \u0432 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0435 \u043e\u0431\u0449\u0435\u0439 \u0446\u0435\u043b\u0438.<\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435.<\/em> \u041f\u043e\u043d\u044f\u0442\u0438\u0435 &#171;\u0438\u0433\u0440\u0430&#187; \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u0432\u0435\u0441\u0442\u0438 \u0432 \u0437\u0430\u0431\u043b\u0443\u0436\u0434\u0435\u043d\u0438\u0435. \u041e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434 \u0438\u0433\u0440\u043e\u0439 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u043e\u0440\u043e\u043d, \u0437\u0434\u0435\u0441\u044c \u0436\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0435\u0442 \u0441\u043a\u043e\u0440\u0435\u0435 \u043e \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a \u0432\u043d\u043e\u0441\u0438\u0442 \u0432\u043a\u043b\u0430\u0434 \u0432 \u043e\u0431\u0449\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<hr\/>\n<p><strong>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 (Shapley values)<\/strong>. \u041f\u0443\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 <em>\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/em> <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d1a\/3ba\/547\/d1a3ba547491681e2c7b77e92c094bc0.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0438\u0433\u0440\u043e\u043a\u043e\u0432 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0447\u0438\u0441\u043b\u043e &#8212; \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u043e\u0439 \u043a\u043e\u0430\u043b\u0438\u0446\u0438\u0438 \u0438\u0433\u0440\u043e\u043a\u043e\u0432, \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e. \u0422\u043e\u0433\u0434\u0430 Shapley value \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 &#8212; \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u043f\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta(i, S)\" alt=\"\\Delta(i, S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f7\/a78\/d76\/9f7a78d76e99a19b60a958584d7e9987.svg\"\/> \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043e\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0433\u0440\u043e\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ed\/5d0\/8cc\/3ed5d08ccd597d7743697619e9902677.svg\"\/> \u0432 \u043a\u043e\u0430\u043b\u0438\u0446\u0438\u044e \u0438\u0433\u0440\u043e\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a58\/fb5\/de2\/a58fb5de235415cbea3435362f3b1a1f.svg\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\Delta(i, S) = v(S \\cup i) - v(S) \\tag{1}\" alt=\"\\Delta(i, S) = v(S \\cup i) - v(S) \\tag{1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/11c\/338\/523\/11c33852334222b4883d40bd759e6af6.svg\"\/><\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e \u0435\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42a\/235\/5cd\/42a2355cd17698d6439f1781c36e812a.svg\"\/> \u0438\u0433\u0440\u043e\u043a\u043e\u0432. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\Pi\" alt=\"\\Pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3bf\/e13\/79b\/3bfe1379b18abfc998ffe4091aa42e71.svg\"\/> \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u0439 \u0438\u0433\u0440\u043e\u043a\u043e\u0432, \u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"(\\text{players before } i \\text{ in } \\pi)\" alt=\"(\\text{players before } i \\text{ in } \\pi)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/527\/3c1\/d9b\/5273c1d9bd238b4b5517c4af0d9c88ae.svg\"\/> \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0438\u0433\u0440\u043e\u043a\u043e\u0432, \u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u043f\u0435\u0440\u0435\u0434 \u0438\u0433\u0440\u043e\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9dc\/80b\/18e\/9dc80b18ee4accd9a9f5ece6e3555dc7.svg\"\/> \u0432 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\pi\" alt=\"\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8a\/d63\/4ad\/f8ad634ad4008270357e27ad33ab5f6c.svg\"\/>. Shapley value \u0434\u043b\u044f \u0438\u0433\u0440\u043e\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d8a\/e9d\/b5a\/d8ae9db5afd6a6b6dfe165c2c1cadc2f.svg\"\/> \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\phi(i) = \\cfrac{1}{N!} \\sum\\limits_{\\pi \\in \\Pi} \\Delta(i, (\\text{players before } i \\text{ in } \\pi)) \\tag{2}\" alt=\"\\phi(i) = \\cfrac{1}{N!} \\sum\\limits_{\\pi \\in \\Pi} \\Delta(i, (\\text{players before } i \\text{ in } \\pi)) \\tag{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/962\/7f3\/589\/9627f3589918e5ad12e0eb4f6f560494.svg\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043e\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/851\/593\/4f0\/8515934f0782dd2d349087e0420e657d.svg\"\/>-\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 \u0432 \u043a\u043e\u0430\u043b\u0438\u0446\u0438\u044e \u0438\u0433\u0440\u043e\u043a\u043e\u0432, \u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u043f\u0435\u0440\u0435\u0434 \u043d\u0438\u043c, \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u044f\u043c \u0438\u0433\u0440\u043e\u043a\u043e\u0432 (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0443\u043c\u043c\u044b \u0440\u0430\u0432\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"N!\" alt=\"N!\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32e\/87f\/ee9\/32e87fee9904f0c27dc89d51b7683149.svg\"\/>).<\/p>\n<hr\/>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc1\/a89\/0c5\/fc1a890c535534640662e3e06bb0fcf3.svg\"\/> \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0430\u043a\u0441\u0438\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0440\u044f\u0434 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432 \u0438 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0438\u043c \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta(i, S)\" alt=\"\\Delta(i, S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/151\/4c5\/e8a\/1514c5e8a1469b140be478b02a46afca.svg\"\/> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0438\u0433\u0440\u043e\u043a\u043e\u0432 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a06\/c8f\/e66\/a06c8fe66c80b2788c9a42cd78527e2c.svg\"\/>, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0440\u0430\u0432\u043d\u044b\u0435 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0443 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0438 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/010\/54e\/bcb\/01054ebcb2b4b8f2ffec9f49967f4fa4.svg\"\/> \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u043c \u0432\u0438\u0434\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\phi(i) = \\sum\\limits_{S \\subseteq \\{1, 2, \\dots, N\\} \\setminus i} \\cfrac{|S|! (|N| - |S| - 1)!}{N!}\\ \\Delta(i, S) \\tag{3}\" alt=\"\\phi(i) = \\sum\\limits_{S \\subseteq \\{1, 2, \\dots, N\\} \\setminus i} \\cfrac{|S|! (|N| - |S| - 1)!}{N!}\\ \\Delta(i, S) \\tag{3}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e3e\/433\/201\/e3e43320184fc9d5c046092b3b5fb33a.svg\"\/><\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/258\/9e4\/f2e\/2589e4f2e6607e716ee23a9c88dcadf5.svg\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u043e\u0439 \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u043c \u0438\u0433\u0440\u043e\u043a\u043e\u0432, \u043d\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u0438\u0433\u0440\u043e\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7c\/2c0\/cf4\/b7c2c0cf4220ab32fae80ca1955d0ede.svg\"\/>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u0441\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"|S| \\approx 0\" alt=\"|S| \\approx 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/55c\/2ba\/e95\/55c2bae95266024289f86db651b42a64.svg\"\/> \u0438\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"|S| \\approx |N|\" alt=\"|S| \\approx |N|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba4\/2cb\/aa6\/ba42cbaa612bc7ebf68f74fb06fcc31a.svg\"\/> \u0438 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"|S| \\approx |N|\\ \/\\ 2\" alt=\"|S| \\approx |N|\\ \/\\ 2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c29\/f24\/fd9\/c29f24fd926bfe23bc9d0fb42292f71b.svg\"\/>.<\/p>\n<p><a class=\"anchor\" name=\"3.2\" id=\"3.2\"><\/a><\/p>\n<h3>Shapley regression values<\/h3>\n<p>Shapley values \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0435\u0441\u043b\u0438 \u0438\u0433\u0440\u043e\u043a\u0430\u043c\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0438\u0433\u0440\u044b &#8212; \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44c\/f57\/e40\/44cf57e40b2560e181e6291205a99e9a.svg\"\/>. Shapley values \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0435\u0449\u0435 \u0441 XX \u0432\u0435\u043a\u0430 (<a href=\"https:\/\/www.jstor.org\/stable\/2684310\">Kruskal, 1987<\/a>).<\/p>\n<blockquote>\n<p>Game-theoretic formulations of feature importance have become popular as a way to &#171;explain&#187; machine learning models. These methods define a cooperative game between the features of a model and distribute influence among these input elements using some form of the game&#8217;s unique Shapley values. &#8230; In this setting, the &#171;players&#187; are the features used by the model, and the game is the prediction of the model. (<a href=\"https:\/\/arxiv.org\/abs\/2002.11097\">Kumar et al., 2020<\/a>)<\/p>\n<\/blockquote>\n<p>Shapley regression values (<a href=\"https:\/\/www.researchgate.net\/publication\/229728883_Analysis_of_Regression_in_Game_Theory_Approach\">Lipovetsky and Conklin, 2001<\/a>) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a3b\/af1\/775\/a3baf1775f77fa0d3e734ffeb84ec5c8.svg\"\/>. \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71d\/504\/704\/71d504704c88d0096f21caf46ed69ce9.svg\"\/> \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u0438 \u0437\u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"v(S) = f_S(x_S) \\tag{4}\" alt=\"v(S) = f_S(x_S) \\tag{4}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/25f\/31a\/43c\/25f31a43c359f40246ecc1d4cb48c90b.svg\"\/><\/p>\n<p>\u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta(i, S)\" alt=\"\\Delta(i, S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7cb\/dfe\/44e\/7cbdfe44e2988950f90b6f3ce0abadf4.svg\"\/> &#8212; \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e0\/168\/cdc\/9e0168cdc8151e1742668cef198b0e8b.svg\"\/> \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"f_{S \\cup \\{i\\}}\" alt=\"f_{S \\cup \\{i\\}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa9\/5fd\/ecc\/aa95fdecc699f603aa65fcd745dc4ba9.svg\"\/>, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"S \\cup \\{i\\}\" alt=\"S \\cup \\{i\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc7\/b8b\/524\/bc7b8b524201d94dfd4d2a8556d38172.svg\"\/> \u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"f_S\" alt=\"f_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e54\/638\/923\/e5463892315ba300b3fb63d0d03ae989.svg\"\/>, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/304\/65a\/984\/30465a984c126949244e0d417f43ac54.svg\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\Delta(i, S) = (f_{S \\cup \\{i\\}}(x_{S \\cup \\{i\\}}) - f_S(x_S)) \\tag{5}\" alt=\"\\Delta(i, S) = (f_{S \\cup \\{i\\}}(x_{S \\cup \\{i\\}}) - f_S(x_S)) \\tag{5}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/435\/09e\/ebf\/43509eebf9dbbcc3f0223538670b5145.svg\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u0432\u043a\u043b\u0430\u0434 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc9\/680\/675\/fc9680675ed3a7f89f90edfe458c96e4.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7a0\/a5b\/f6d\/7a0a5bf6dca280b7e5bdcc6173f8c709.svg\"\/>. \u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u043d\u0435 \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 <em>\u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435<\/em>, \u0447\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0442\u043e \u0432 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f logits &#8212; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 softmax\/sigmoid. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0438 \u0432\u043a\u043b\u0430\u0434 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u043e\u0431 \u044d\u0442\u043e\u043c \u0441\u043c. \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#171;\u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP loss values&#187;.<\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c \u0435\u0441\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043a\u0430\u043a \u0438\u0433\u0440\u043e\u043a\u0430. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u0438\u0433\u0440\u043e\u043a\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438\u0448\u044c \u0434\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f: \u043b\u0438\u0431\u043e \u043e\u043d \u0435\u0441\u0442\u044c, \u043b\u0438\u0431\u043e \u0435\u0433\u043e \u043d\u0435\u0442. \u041f\u0440\u0438\u0437\u043d\u0430\u043a \u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0432 \u0442\u0440\u0435\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445: \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430). \u0412 Shapley regression values \u0441\u0440\u0430\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8d3\/e38\/291\/8d3e382911dc09230425a5366f858b13.svg\"\/> \u0441 \u0435\u0433\u043e \u043f\u043e\u043b\u043d\u044b\u043c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435\u043c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u043e\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439: \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 Shapley regression values \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0447\u0442\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043d\u0435\u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 Shapley values, \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u0432\u0441\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0441\u0443\u043c\u043c\u044b <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3de\/7a5\/8c6\/3de7a58c673f9d10b9022a4bbab860f8.svg\"\/>, \u0430 \u043b\u0438\u0448\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0449\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430 \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0443\u043c\u043c\u044b (\u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c, <em>Shapley sampling values<\/em> &#8212; <a href=\"https:\/\/dl.acm.org\/doi\/10.1007\/s10115-013-0679-x\">\u0160trumbelj and Kononenko, 2014<\/a>).<\/p>\n<p><a class=\"anchor\" name=\"3.3\" id=\"3.3\"><\/a><\/p>\n<h3>SHAP values<\/h3>\n<p>\u041c\u043e\u0436\u0435\u043c \u043b\u0438 \u043c\u044b \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c Shapley regression values, \u043e\u0431\u0443\u0447\u0430\u044f \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445? \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u043d\u043e\u0433\u0438\u0435 \u0438\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438\u043c\u0435\u044e\u0442 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435 \u0443\u043c\u0435\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u0437\u044f\u0442\u044b \u0438\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u0443\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c87\/a70\/42a\/c87a7042aeb60a211cc0ad093e002db2.svg\"\/> \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b, \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u044b. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_S\" alt=\"x_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/555\/85f\/463\/55585f4630719e9b5d29a1f513a8b14f.svg\"\/> \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438. \u0412 SHAP \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a61\/615\/520\/a6161552071d2672f7caf4bc3dcaa38e.svg\"\/> \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9e\/b96\/9cd\/d9eb969cdc27a3785da69ed8bcc4891f.svg\"\/> \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dd0\/85b\/1bf\/dd085b1bf7391e6718a03b1eae57ef13.svg\"\/> \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435: <img decoding=\"async\" class=\"formula inline\" source=\"v(S) = E[f(x) | x_S]\" alt=\"v(S) = E[f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d35\/a5a\/17e\/d35a5a17e745562b04840b12f5dcaa9f.svg\"\/>. \u0414\u0430\u043d\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"v(S)\" alt=\"v(S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a20\/53f\/1a2\/a2053f1a221f559b0b38325d3a8d1381.svg\"\/> \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9dd\/fed\/fd7\/9ddfedfd77cb9fe89374baa731b0033e.svg\"\/> \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x^\\prime\" alt=\"x^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e2e\/2bb\/29b\/e2e2bb29b6aa740ee8e9bc3b8957eb14.svg\"\/>, \u0432\u0437\u044f\u0442\u044b\u0445 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u0430\u043a\u0438\u0445, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"x^\\prime_S = x_S\" alt=\"x^\\prime_S = x_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bff\/17d\/be7\/bff17dbe75f5d99e267a9ef1f1e203cc.svg\"\/>. \u041e \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0442\u0430\u043a\u0438\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435, \u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0434\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 SHAP values (<a href=\"https:\/\/arxiv.org\/abs\/1705.07874\">Lundberg and Lee, 2017<\/a>).<\/p>\n<hr\/>\n<p><strong>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 (SHAP values)<\/strong>. \u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c9\/67e\/cb1\/4c967ecb18dd253f9065dee0b36ef883.svg\"\/>, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043d\u0435\u043a\u0438\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/571\/6cb\/526\/5716cb5267e06e097c9e8b03fbb255a2.svg\"\/> \u0438 \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0438\u0445 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438. SHAP (SHapley Additive exPlanation) values \u0434\u043b\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d38\/177\/524\/d381775248380cf2f22f0a8d714b189c.svg\"\/> &#8212; \u044d\u0442\u043e Shapley values, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0435 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u0433\u0440\u044b:<\/p>\n<ul>\n<li>\n<p>\u0418\u0433\u0440\u043e\u043a\u0430\u043c\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 (\u043d\u0430\u043b\u0438\u0447\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/861\/a83\/357\/861a83357fe57ebb024e3059418ed35c.svg\"\/>-\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d37\/cbd\/24d\/d37cbd24d0a3b8a8d1fbb51b0f4447b8.svg\"\/>-\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ec\/07e\/ff9\/7ec07eff93432dfcb20388fbd0bea2b5.svg\"\/>, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cfe\/21e\/621\/cfe21e6217df9741600a06060a324bd5.svg\"\/>-\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b30\/191\/fb8\/b30191fb88fb58f2616d2a9ac3a58641.svg\"\/>-\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 &#8212; \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0432 Shapley regression values).<\/p>\n<\/li>\n<li>\n<p>\u0425\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"v(S)\" alt=\"v(S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65b\/63b\/6ab\/65b63b6abb0d7a29bc54528c0b61f054.svg\"\/> \u043a\u043e\u0430\u043b\u0438\u0446\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bff\/832\/18b\/bff83218b6953febc81a8fc2372f6859.svg\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u043c\u0430\u0442. \u043e\u0436\u0434\u0438\u0434\u0430\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ef\/3e3\/e90\/5ef3e3e904017647bf94f92766ad4889.svg\"\/> \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u0430 SHAP values \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/184\/f2e\/09b\/184f2e09bf721ef9f523f998bf99aab1.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e9a\/cbd\/b1b\/e9acbdb1bb8d2f3a01db19a7ffe97b93.svg\"\/>: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0433\u043e \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u0432\u0441\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u043f\u0435\u0440\u0435\u0434 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/961\/752\/cc9\/961752cc9845fd05787a22263f375b21.svg\"\/>-\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c (\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u0445 \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d79\/385\/fb9\/d79385fb9696ad3a1bef93c4e2b23b1f.svg\"\/>) \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_f(i, S) = E [f(x) | x_{S\\ \\cup\\ i}] - E [f(x) | x_S]\" alt=\"\\Delta_f(i, S) = E [f(x) | x_{S\\ \\cup\\ i}] - E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/82b\/5b4\/e66\/82b5b4e66a733c8ac00c731fcfc03aa9.svg\"\/> (\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0441\u043c. \u0434\u0430\u043b\u0435\u0435), \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u044f\u043c. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e SHAP values \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 <em>\u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/86d\/6c5\/e6e\/86d6c5e6ef780cd11dd64e7df15cf4a4.svg\"\/>-\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435<\/em>.<\/p>\n<blockquote>\n<p>We propose SHAP values as a unified measure of feature importance. These are the Shapley values of a conditional expectation function of the original model. &#8230;  SHAP values attribute to each feature the change in the expected model prediction when conditioning on that feature. (<a href=\"https:\/\/arxiv.org\/abs\/1705.07874\">Lundberg and Lee, 2017<\/a>)<\/p>\n<\/blockquote>\n<p>\u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 Shapley values, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c0\/b28\/d80\/0c0b28d803c08678aa5ed22f61320036.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ae\/8fd\/bc5\/4ae8fdbc5d17fe8454de86edac3c3500.svg\"\/>, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f <em>\u0441\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (consistency)<\/em>. \u042d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 (\u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0432 \u043f\u0440\u0438\u043c\u0435\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/050\/803\/065\/050803065967fadc38f8cb3b9fef3b4b.svg\"\/>) \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c Shapley values \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/07e\/9ba\/5af\/07e9ba5af66307b7d6d34ad3265cab16.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f^\\prime\" alt=\"f^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e96\/0e2\/c22\/e960e2c225e654e6a580477554b464fe.svg\"\/>, \u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f1\/4bb\/b17\/6f14bbb1795869c86daa15812197a1af.svg\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3f\/2ea\/eba\/d3f2eaeba6ebb8270cea58ae3466089f.svg\"\/> \u0432\u0435\u0440\u043d\u043e, \u0447\u0442\u043e \u0432\u043a\u043b\u0430\u0434 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d20\/08e\/97e\/d2008e97e76b4bc49605fea0e3fa613e.svg\"\/> \u043f\u0440\u0438 \u0438\u043c\u0435\u044e\u0449\u0435\u043c\u0441\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/025\/a88\/c8e\/025a88c8e7143f084dce9f318bee5031.svg\"\/> \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439, \u0442\u043e Shapley value \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\textbf{If:}\\ \\ \\forall S, i: \\Delta_f(i, S) \\geq \\Delta_{f^\\prime}(i, S) \\quad \\textbf{Then:}\\ \\ \\phi_f(x) \\geq \\phi_{f^\\prime}(x)\" alt=\"\\textbf{If:}\\ \\ \\forall S, i: \\Delta_f(i, S) \\geq \\Delta_{f^\\prime}(i, S) \\quad \\textbf{Then:}\\ \\ \\phi_f(x) \\geq \\phi_{f^\\prime}(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/150\/d76\/5f9\/150d765f9a0242ce21abf2514a8bfa86.svg\"\/><\/p>\n<p>\u041e\u0442\u043b\u0438\u0447\u0438\u0435 SHAP values \u043e\u0442 Shapley regression values \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"x_S\" alt=\"x_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/728\/bc8\/6e8\/728bc86e8c0d46bc4b7eadc6855baa50.svg\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"f_{x_S}(x_S)\" alt=\"f_{x_S}(x_S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ccc\/2b4\/719\/ccc2b4719d20fa568d793df1212b42a0.svg\"\/>, \u0430 \u0432 SHAP values &#8212; <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fdb\/30b\/d75\/fdb30bd75ffaced02ef72088f26e49ca.svg\"\/>. \u0412 \u0446\u0435\u043b\u043e\u043c \u044d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0431\u043b\u0438\u0437\u043a\u0438, \u0442\u0430\u043a \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"f_{x_S}\" alt=\"f_{x_S}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c56\/82e\/f56\/c5682ef56b6cfc008452a9513187888d.svg\"\/> \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"E[y|x_S]\" alt=\"E[y|x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e79\/51a\/454\/e7951a4547bd80954daf3c3863063d65.svg\"\/>. \u041d\u043e Shapley regression values \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u043e\u0439 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a SHAP values \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u043e\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p><a class=\"anchor\" name=\"3.4\" id=\"3.4\"><\/a><\/p>\n<h3>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f SHAP values<\/h3>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0440\u0430\u0441\u0441\u0447\u0435\u0442 SHAP values \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0434\u0430\u0436\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044e, \u0447\u0442\u043e \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0434\u0430\u043b\u0435\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#171;SHAP \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435&#187;. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b SHAP \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0442\u0440\u0438 \u043a\u043b\u0430\u0441\u0441\u0430: \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 \u0438 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b.<\/p>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/strong>. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 SHAP \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/430\/15f\/0df\/43015f0df6195cde440c72ac3770bd3d.svg\"\/> \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0438\u043c\u0435\u043b\u0438 \u043f\u0440\u044f\u043c\u043e\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{D}\" alt=\"\\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e5e\/c6c\/cc2\/e5ec6ccc20ea7d36c463341008e57d3c.svg\"\/>, \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0438 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{D}\" alt=\"\\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/73c\/290\/74b\/73c29074b3b9ac154d4b72007aa4e2d0.svg\"\/>, \u0442\u043e \u0431\u044b\u043b\u0430 \u0431\u044b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430 \u043e\u0446\u0435\u043d\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9f\/eec\/863\/a9feec863c4211d5183198a6fbaddbec.svg\"\/> \u0441 \u043b\u044e\u0431\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e. \u041e\u0434\u043d\u0430\u043a\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043b\u0438\u0448\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0432\u0437\u044f\u0442\u044b\u0435 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{D}\" alt=\"\\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32a\/b73\/5c2\/32ab735c2a43e81192f7f98023458df8.svg\"\/>. \u0418\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0434\u0435\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/84b\/d09\/fbe\/84bd09fbec5e37bae9d0a9620887cda9.svg\"\/>. SHAP values \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043b\u0438\u0431\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0439 (Kernel SHAP), \u043b\u0438\u0431\u043e \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (Tree SHAP), \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445.<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438<\/strong>. Shapley values \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u0438\u0431\u043a\u0438\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u043a\u043b\u0430\u0434\u0430 &#171;\u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430&#187; \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u041d\u043e SHAP values \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442, \u0430 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b.<\/p>\n<p><strong>\u041a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/strong> \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0438\u0437 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043e \u0442\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 SHAP values \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u0435\u0440\u043e\u0439 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e SHAP values \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0438 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u0430\u0436\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0435 SHAP values. \u041e\u0431 \u044d\u0442\u043e\u043c \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u043e\u0437\u0436\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430.<\/p>\n<p><a class=\"anchor\" name=\"3.5\" id=\"3.5\"><\/a><\/p>\n<h3>Independent SHAP<\/h3>\n<p>\u0417\u0430\u0434\u0430\u0447\u0443 \u043e\u0446\u0435\u043d\u043a\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4dd\/405\/a13\/4dd405a132dc27b68f6f34324d7fda50.svg\"\/>, \u043c\u043e\u0436\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Statistical_assumption\">\u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c<\/a>, \u0447\u0442\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u043e\u0433\u0434\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043d\u0435 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ae\/7bb\/ac9\/5ae7bbac979cff70ae7217cad4e44aeb.svg\"\/>, \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"x_S\" alt=\"x_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c2\/2fe\/185\/3c22fe1852046d7cd4f205c62b8a919c.svg\"\/> \u0438 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442, \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c3\/2d0\/039\/2c32d0039b6182703d1bcfef198f1bcc.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0437\u0430\u043c\u0435\u043d\u0438\u0432 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0445 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u0432 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\overline{S}\" alt=\"\\overline{S}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/119\/a84\/c57\/119a84c577e5e5cd3cf60c19a1e31ef9.svg\"\/>, \u043f\u043e\u043b\u0443\u0447\u0438\u043c<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S] \\approx f([x_S, E[x_\\overline{S}]])\" alt=\"E [f(x) | x_S] \\approx f([x_S, E[x_\\overline{S}]])\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a0f\/935\/41c\/a0f93541cbb06cd1a1cf0370ee4154b1.svg\"\/><\/p>\n<blockquote>\n<p>feature independence and model linearity are two optional assumptions simplifying the computation of the expected values (<a href=\"https:\/\/arxiv.org\/abs\/1705.07874\">Lundberg and Lee, 2017<\/a>)<\/p>\n<\/blockquote>\n<p>\u0412 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0441\u0442\u043e\u0438\u0442 \u0437\u043d\u0430\u043a \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c &#8212; \u044d\u0442\u043e \u043b\u0438\u0448\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f: \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u043e\u043d\u0438 \u043a \u0438\u0441\u0442\u0438\u043d\u0435, \u0442\u0435\u043c \u0442\u043e\u0447\u043d\u0435\u0435 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f(x_S)\" alt=\"f(x_S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db3\/021\/f8a\/db3021f8a15b199e88d98a38213e9395.svg\"\/> \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"x_S\" alt=\"x_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77a\/ec7\/315\/77aec73151d692352ef3cd409f824ece.svg\"\/>, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c SHAP values \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dc5\/41f\/fc6\/dc541ffc696739a20f1552126d87bc22.svg\"\/>, \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044f \u0442\u0430\u043a\u0436\u0435 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c.<\/p>\n<p>\u041d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0447\u0440\u0435\u0437\u043c\u0435\u0440\u043d\u043e \u0433\u0440\u0443\u0431\u044b\u043c \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435\u043c? \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u043d\u043e \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 LIME \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u0430\u043a\u043e\u0435 \u0436\u0435 \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0438\u0435, \u043e\u0431\u0443\u0447\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/23e\/c7f\/6ba\/23ec7f6bad567d908d227adbd76cff16.svg\"\/>. \u041e \u0441\u0432\u044f\u0437\u0438 SHAP \u0438 LIME \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p><a class=\"anchor\" name=\"3.6\" id=\"3.6\"><\/a><\/p>\n<h3>Kernel SHAP<\/h3>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 SHAP \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043f\u043e\u044f\u0432\u0438\u0432\u0448\u0438\u043c\u0438\u0441\u044f \u0432 2010-\u0445 \u0433\u043e\u0434\u0430\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e, \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0441 LIME, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441 <em>layer-wise relevance propagation<\/em> (<a href=\"https:\/\/journals.plos.org\/plosone\/article?id=10.1371\/journal.pone.0130140\">Bach et al., 2015<\/a>) \u0438 <em>activation difference propagation (DeepLIFT)<\/em> (<a href=\"https:\/\/arxiv.org\/abs\/1704.02685\">Shrikumar et al., 2017<\/a>), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c.<\/p>\n<p>\u041a\u0430\u043a LIME, \u0442\u0430\u043a \u0438 DeepLIFT \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cee\/f72\/40c\/ceef7240cd7fdf460b3ab3cb5444378f.svg\"\/> (\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"z_i = 0\" alt=\"z_i = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dfc\/880\/10c\/dfc88010c7247fd3e848e8848e90dd93.svg\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e41\/046\/f3e\/e41046f3e199b3254cd47636c5bf0437.svg\"\/> \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a32\/644\/3f4\/a326443f473aeeed49049d219da77b84.svg\"\/>). \u0412 \u0440\u0430\u0437\u0434\u0435\u043b\u0435, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u043e\u043c LIME, \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u0442\u0430\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0438 \u043e\u0431 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b45\/20d\/83e\/b4520d83eee0dd7900320aec1643d622.svg\"\/>, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0449\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"f(h(z))\" alt=\"f(h(z))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d99\/71b\/c9c\/d9971bc9c0de96061214184c7a80f237.svg\"\/>. \u0410\u0432\u0442\u043e\u0440\u044b SHAP \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0430 (\u0442\u0430\u043a\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 additive feature attribution methods):<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"g(z) = \\phi_0 + \\sum\\limits_{i=1}^M \\phi_i z_i, \\quad \\phi_i \\in \\mathbb{R}, z_i \\in \\{0, 1\\} \\tag{4}\" alt=\"g(z) = \\phi_0 + \\sum\\limits_{i=1}^M \\phi_i z_i, \\quad \\phi_i \\in \\mathbb{R}, z_i \\in \\{0, 1\\} \\tag{4}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/394\/1b8\/112\/3941b81124a31917cc70b25dab8f2cf2.svg\"\/><\/p>\n<p>\u0412\u0430\u0436\u043d\u044b\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta_i\" alt=\"\\Delta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f64\/8c0\/ac0\/f648c0ac05a908b5d400a4637d7f0195.svg\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/646\/cba\/c45\/646cbac45cceee7e25b9646f723ea4ce.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"z_i = 0\" alt=\"z_i = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/566\/88f\/500\/56688f50028b21e015c8387b0cd74bac.svg\"\/> \u043e\u0434\u0438\u043d \u0438\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/baf\/71d\/efa\/baf71defa5d525e7d8a193124b523b89.svg\"\/> \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0431\u0443\u0434\u0435\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"z_i\" alt=\"z_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5be\/12c\/bcd\/5be12cbcd96fe8621cc3062ead125c3a.svg\"\/> <em>\u0437\u0430\u0434\u0430\u0435\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430<\/em>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043e\u0439 \u0442\u043e\u0439, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u0441\u043d\u043e\u0432\u0430\u043d SHAP.<\/p>\n<p>\u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0432 LIME \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5d\/961\/2b2\/f5d9612b2b8f67109019fd5aff55e122.svg\"\/> \u043c\u044b \u0437\u0430\u0442\u0435\u043c \u0438\u0441\u043a\u0430\u043b\u0438 \u0435\u0435 \u0432\u0435\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\phi_i\" alt=\"\\phi_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae6\/db3\/2ff\/ae6db32ff0200bb06e505e288fe1e785.svg\"\/>, \u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}\" alt=\"\\mathcal{L}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2cf\/e4e\/280\/2cfe4e280a0e618991bd477e67be1364.svg\"\/>, \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\pi\" alt=\"\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/566\/598\/852\/5665988526c69f70068a7bb6c33525dc.svg\"\/> \u0438 \u0448\u0442\u0440\u0430\u0444 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Omega\" alt=\"\\Omega\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f3\/1e8\/119\/4f31e811961be59a6d0527a4a49c12ec.svg\"\/>. \u0410\u0432\u0442\u043e\u0440\u044b SHAP \u0432\u044b\u0432\u043e\u0434\u044f\u0442 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}\" alt=\"\\mathcal{L}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6bd\/ff3\/e40\/6bdff3e407ecd4f26fe8a78625150028.svg\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"\\pi\" alt=\"\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a4\/ad4\/96f\/3a4ad496fb807ff69b20c1881c61bbe3.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Omega\" alt=\"\\Omega\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a30\/22e\/5f7\/a3022e5f7e1f585729bc81aff0a7fc77.svg\"\/> \u0442\u0430\u043a\u0438\u0435, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\phi_i\" alt=\"\\phi_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41a\/439\/036\/41a439036b64ce25fdd16a24bcfb1ea7.svg\"\/> \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0432\u043d\u044b SHAP values, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u043c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c37\/7ff\/9b7\/c377ff9b74e76d102728c618e6b3affd.svg\"\/>, \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/37a\/ab6\/cb2\/37aab6cb247ffc63798114a3dddc4191.svg\"\/>. \u0415\u0441\u043b\u0438 \u0436\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/028\/cea\/3f8\/028cea3f88b47e76fb0712c2ebb42f96.svg\"\/> \u043d\u0435 \u043d\u0430 \u0432\u0441\u0435\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f5\/d2e\/c87\/0f5d2ec8710b2c2691759c3157196468.svg\"\/>, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0431\u0443\u0434\u0443\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\phi_i(f, x_0)\" alt=\"\\phi_i(f, x_0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bcb\/54d\/3cd\/bcb54d3cd5ea6d6444bcc305d9d62003.svg\"\/>.<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}\" alt=\"\\mathcal{L}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b0f\/cd8\/b82\/b0fcd8b8211ee470a58478e3d785e0f9.svg\"\/> &#8212; \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\Omega(g) = 0\" alt=\"\\Omega(g) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/750\/efc\/230\/750efc2309c916442c603dbd537d1cf4.svg\"\/><\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\pi(z) = \\cfrac{M-1}{{{M}\\choose{|z|}}\\ |z|\\ (M-|z|)}\" alt=\"\\pi(z) = \\cfrac{M-1}{{{M}\\choose{|z|}}\\ |z|\\ (M-|z|)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d2\/d56\/c4a\/5d2d56c4ad5034970acd3cb0a8dc0b1b.svg\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"{M}\\choose{|z|}\" alt=\"{M}\\choose{|z|}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b4c\/86d\/966\/b4c86d9660d88e290cb323e1cb38cbc4.svg\"\/> &#8212; <a href=\"https:\/\/en.wikipedia.org\/wiki\/Binomial_coefficient\">\u0431\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442<\/a><\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 LIME (<a href=\"https:\/\/arxiv.org\/abs\/1602.04938\">Ribeiro et al., 2016<\/a>), \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\pi(z)\" alt=\"\\pi(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49f\/528\/159\/49f528159f0d0104633624ed9ee3ec50.svg\"\/>. \u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0435\u043b\u0438 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#171;\u041e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c&#187;, <img decoding=\"async\" class=\"formula inline\" source=\"\\pi(z)\" alt=\"\\pi(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/601\/420\/487\/6014204878b8b148b3b918115c7b1214.svg\"\/> \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u044f\u0434\u0440\u0430\u043c\u0438 (kernels), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\pi(z)\" alt=\"\\pi(z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/520\/444\/8d0\/5204448d00b9092d993c79e40171ee28.svg\"\/> \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 <strong>Shapley kernel<\/strong>, \u0430 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d <strong>kernel SHAP<\/strong>.<\/p>\n<p>Shapley kernel \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0432\u0435\u0441\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u043a\u0430\u043a \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0435\u0434\u0438\u043d\u0438\u0446, \u0442\u0430\u043a \u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u0443\u043b\u0435\u0439.  \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 (\u043f\u043e\u0447\u0442\u0438) \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0438 (\u043f\u043e\u0447\u0442\u0438) \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 (\u0438\u0433\u0440\u043e\u043a\u043e\u0432). \u041d\u0430 <em>\u0440\u0438\u0441. 4<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0438\u0435 Shapley kernel \u043e\u0442 L2 distance \u0438 cosine similarity, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u043b\u043e\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 LIME.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/111\/657\/799\/111657799b6921e95a5c506f13050906.jpg\" alt=\"\u0420\u0438\u0441. 4. Shapley kernel \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 L2 distance \u0438 cosine similarity.\" title=\"\u0420\u0438\u0441. 4. Shapley kernel \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 L2 distance \u0438 cosine similarity.\" width=\"582\" height=\"406\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/111\/657\/799\/111657799b6921e95a5c506f13050906.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 4. Shapley kernel \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 L2 distance \u0438 cosine similarity.<\/figcaption><\/figure>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 Kernel SHAP \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u043b\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"E[f(x)|x_S]\" alt=\"E[f(x)|x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/104\/c4a\/34f\/104c4a34f0dbb33022deead5eba269e0.svg\"\/>. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Independent SHAP (\u0432 python-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 <a href=\"https:\/\/github.com\/slundberg\/shap\">shap<\/a> \u0437\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 algorithm \u043e\u0431\u044a\u0435\u043a\u0442\u0430 <a href=\"https:\/\/shap-lrjball.readthedocs.io\/en\/latest\/generated\/shap.KernelExplainer.html\">shap.KernelExplainer<\/a>).<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,<\/p>\n<ul>\n<li>\n<p><strong>Kernel SHAP<\/strong> &#8212; \u044d\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0441\u0443\u043c\u043c\u044b <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/322\/c2d\/a7e\/322c2da7e853523096e9b139561e03c1.svg\"\/> \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u043e\u043c \u043d\u0435 \u0432\u0441\u0435\u0445, \u0430 \u043b\u0438\u0448\u044c \u0447\u0430\u0441\u0442\u0438 \u0435\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p><strong>Independent SHAP<\/strong> &#8212; \u044d\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0441\u0443\u043c\u043c\u044b <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5d\/0e2\/b7d\/f5d0e2b7d37ec4cbe941a8e867681c55.svg\"\/>, \u0442. \u0435. <img decoding=\"async\" class=\"formula inline\" source=\"E[f(x)|x_S]\" alt=\"E[f(x)|x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2cb\/518\/c43\/2cb518c43cf4c027da2d726d9818e59a.svg\"\/><\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, Kernel SHAP \u0438 Independent SHAP \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e.<\/p>\n<p><a class=\"anchor\" name=\"3.7\" id=\"3.7\"><\/a><\/p>\n<h3>Tree SHAP<\/h3>\n<p>SHAP values \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u043c \u043c\u0430\u0442. \u043e\u0436\u0434\u0438\u0434\u0430\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04a\/7dc\/954\/04a7dc954aea0431fee368746dd67a6f.svg\"\/>, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043a\u0430\u043a \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b &#171;SHAP values&#187;). \u041c\u043e\u0434\u0435\u043b\u0438, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445 (\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043e\u0432 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0a1\/eee\/123\/0a1eee1238474df77ac44c38c5f3c8c8.svg\"\/>, \u0441\u0434\u0435\u043b\u0430\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x_S\" alt=\"x_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3cb\/bea\/c5a\/3cbbeac5ae438f065df5fb7e482dc7da.svg\"\/>.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/89b\/0bb\/0d8\/89b0bb0d8f3143123f79a20f6e74ae45.svg\"\/> \u0438 \u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"D\" alt=\"D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/564\/177\/f0a\/564177f0ac6adda5dddffda8de69172e.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c, \u0432\u0435\u0434\u0443\u0449\u0438\u043c \u043a \u0434\u0432\u0443\u043c \u043f\u043e\u0434\u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c <img decoding=\"async\" class=\"formula inline\" source=\"D_1\" alt=\"D_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/502\/b40\/a39\/502b40a397b7563bec83396cf02a9ddc.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"D_2\" alt=\"D_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f86\/62f\/ef6\/f8662fef6b2cb7b46eb3463b6ee44224.svg\"\/>. \u0415\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043e \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d, \u0442\u043e\u0433\u0434\u0430 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043c\u044b \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043d\u0443\u0436\u043d\u043e\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"D_i(x)\" alt=\"D_i(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e5\/e23\/c9d\/5e5e23c9db470d5ba5551be63488d9e3.svg\"\/> \u0438 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442: <img decoding=\"async\" class=\"formula inline\" source=\"D(x) = D_i(x)\" alt=\"D(x) = D_i(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/73d\/fed\/1ec\/73dfed1ec2ca006521f187bffc8b6539.svg\"\/>. \u0415\u0441\u043b\u0438 \u0436\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d, \u0442\u043e \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"D(x) = (c_1 D_1(x) + c_2 D_2(x))\" alt=\"D(x) = (c_1 D_1(x) + c_2 D_2(x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a31\/50d\/122\/a3150d12230aeffb45692e407c5f56b7.svg\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"c_1\" alt=\"c_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a28\/491\/8e7\/a284918e75933f01fd0959692490a641.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"c_2\" alt=\"c_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cab\/d39\/53e\/cabd3953e90bd26bd4a66a67f08f9e4f.svg\"\/> &#8212; \u0434\u043e\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432 \u043f\u0435\u0440\u0432\u043e\u0435 \u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6d\/007\/64d\/e6d00764dbd3fb255af68865a5b6901f.svg\"\/> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p>SHAP values \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/691\/196\/20f\/69119620fa8a919f8f50123a705514c4.svg\"\/>, \u043d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u0430 SHAP values \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f NP-\u043f\u043e\u043b\u043d\u044b\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c\u0438, \u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u044b <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f3\/0bd\/f08\/4f30bdf0888894018798254b82638040.svg\"\/> \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c c \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 <a href=\"https:\/\/arxiv.org\/abs\/1802.03888\/\">Lundberg et al., 2018<\/a> \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432 python-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 <a href=\"https:\/\/github.com\/slundberg\/shap\">shap<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"4\" id=\"4\"><\/a><\/p>\n<h2>SHAP \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/h2>\n<p>\u0414\u043b\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 SHAP values \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 python-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <a href=\"https:\/\/github.com\/slundberg\/shap\">shap<\/a>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u043e \u043c\u043d\u043e\u0433\u0438\u043c\u0438 ML-\u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (XGBoost, CatBoost, TensorFlow, scikit-learn \u0438 \u0434\u0440) \u0438 \u0438\u043c\u0435\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u0431\u0438\u043b\u0438\u043e\u0442\u0435\u043a\u0438 SHAP \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u0445\u0435\u043c\u044b \u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0438, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0438\u0445 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.<\/p>\n<p><a class=\"anchor\" name=\"4.1\" id=\"4.1\"><\/a><\/p>\n<h3>Waterfall plot<\/h3>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 5<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d <a href=\"https:\/\/shap.readthedocs.io\/en\/latest\/example_notebooks\/api_examples\/plots\/waterfall.html\">waterfall<\/a> plot, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0438\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 Boston housing. SHAP values \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 Tree SHAP. \u0421\u0445\u0435\u043c\u0430 \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u043d\u0438\u0437\u0443 \u0432\u0432\u0435\u0440\u0445, \u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u044b \u043f\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u044e \u0438\u0445 SHAP values. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, SHAP value -0.43 \u0434\u043b\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 CRIM (\u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 0.006) \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 CRIM=0.006 \u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 CRIM, \u043f\u0440\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u043c \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (\u0441\u043c. &#171;Shapley values \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u0433\u0440&#187;).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0438\u0441. 5. Waterfall plot.\" title=\"\u0420\u0438\u0441. 5. Waterfall plot.\" height=\"844\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2bc\/bd4\/afd\/2bcbd4afd7210b98cc326b8a1b4827fd.png\" data-width=\"1232\"\/><figcaption>\u0420\u0438\u0441. 5. Waterfall plot.<\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"4.2\" id=\"4.2\"><\/a><\/p>\n<h3>Summary plot<\/h3>\n<p>\u0420\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0432 SHAP value \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/shap.readthedocs.io\/en\/latest\/generated\/shap.Explainer.html\">shap.Explainer<\/a> \u0438\u043b\u0438 <a href=\"https:\/\/shap-lrjball.readthedocs.io\/en\/latest\/generated\/shap.KernelExplainer.html\">shap.KernelExplainer<\/a> (\u0435\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b, \u0441\u043c. \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e), \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c summary plot, \u0442\u043e \u0435\u0441\u0442\u044c summary plot \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 waterfall plots \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 5<\/em> summary plot \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0435\u043c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u0432 \u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0440\u0442\u0438 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u0449\u0438\u0445 12 \u043b\u0435\u0442 (<a href=\"https:\/\/pubmed.ncbi.nlm.nih.gov\/9564279\/\">Cox et al., 1997<\/a>). \u0420\u0438\u0441\u0443\u043d\u043e\u043a \u0432\u0437\u044f\u0442 \u0438\u0437 <a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>. SHAP values \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 Tree SHAP.<\/p>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443, \u0438 \u043d\u0430 \u044d\u0442\u043e\u0439 \u043b\u0438\u043d\u0438\u0438 \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u0447\u043a\u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c: \u043a\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u043b\u0438\u043d\u0438\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 SHAP value, \u0446\u0432\u0435\u0442 \u0442\u043e\u0447\u043a\u0438 &#8212; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u0415\u0441\u043b\u0438 \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0443\u0447\u0430\u0441\u0442\u043a\u0435 \u043b\u0438\u043d\u0438\u0438 \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043c\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u0447\u0435\u043a, \u043b\u0438\u043d\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0440\u0430\u0441\u0442\u0438 \u0432 \u0448\u0438\u0440\u0438\u043d\u0443. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0441\u0445\u0435\u043c\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u043b\u0438\u0432\u0448\u0435\u0435\u0441\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u0447\u0435\u043a, \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430<\/p>\n<p>\u0421\u043b\u0435\u0432\u0430 \u043d\u0430 <em>\u0440\u0438\u0441. 6<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u0430\u044f \u043a\u0430\u043a \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b SHAP values \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/af8\/831\/20b\/af883120b09985f65df3092af78ca5f3.jpg\" alt=\"\u0420\u0438\u0441. 6. Summary plot.\" title=\"\u0420\u0438\u0441. 6. Summary plot.\" width=\"1273\" height=\"596\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af8\/831\/20b\/af883120b09985f65df3092af78ca5f3.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 6. Summary plot.<\/figcaption><\/figure>\n<p>\u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u0440\u0438\u0441\u043a \u0441\u043c\u0435\u0440\u0442\u0438 \u0438\u043c\u0435\u0435\u0442 \u0432\u043e\u0437\u0440\u0430\u0441\u0442, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043b (\u0436\u0435\u043d\u0449\u0438\u043d\u044b \u0441\u0440\u0435\u0434\u043d\u0435\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0436\u0438\u0432\u0443\u0442 \u0434\u043e\u043b\u044c\u0448\u0435). \u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043e\u0437\u0440\u0430\u0441\u0442 (\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u0446\u0432\u0435\u0442), \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435\u0435 SHAP value (\u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u044c) \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443. \u0411\u043e\u043b\u044c\u0448\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 SHAP value, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 (\u0437\u0430\u043c\u0435\u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430 \u043d\u0430 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435) \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0440\u0442\u0438 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 12 \u043b\u0435\u0442.<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e SHAP values, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0430\u043c (\u0441\u0442\u0440\u043e\u043a\u0438 3 \u0438 \u0434\u0430\u043b\u0435\u0435), \u0438\u043c\u0435\u044e\u0442 \u043b\u0438\u0431\u043e \u043e\u043a\u043b\u043e\u043d\u0443\u043b\u0435\u0432\u044b\u0435, \u043b\u0438\u0431\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f SHAP values. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u0432, \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0439 \u0440\u0438\u0441\u043a \u0441\u043c\u0435\u0440\u0442\u0438 (\u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438), \u043d\u043e \u043d\u0435\u0442 \u0442\u0430\u043a\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b \u0435\u0433\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0438.<\/p>\n<blockquote>\n<p>Interestingly, rare mortality effects always stretch to the right, which implies there are many ways to die abnormally early when medical measurements are out-of-range, but not many ways to live abnormally longer. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p>\u041e\u0434\u043d\u043e \u0438\u0437 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432 SHAP summary plot \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (\u0442\u0430\u043a\u0438\u043c\u0438, \u043a\u0430\u043a mean impurity decrease \u0438\u043b\u0438 permutation importance) \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 SHAP summary plot \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u044c 2 \u0441\u043b\u0443\u0447\u0430\u044f: (\u0410) \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438\u043c\u0435\u0435\u0442 \u0441\u043b\u0430\u0431\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435, \u043d\u043e \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, (\u0411) \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435, \u043d\u043e \u0432 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/p>\n<blockquote>\n<p>SHAP summary plots avoid conflating the magnitude and prevalence of an effect into a single number, and so reveal rare high magnitude effects. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"4.3\" id=\"4.3\"><\/a><\/p>\n<h3>Dependence plot<\/h3>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 7C<\/em> \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 SHAP value \u0434\u043b\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 <em>Systolic blood pressure<\/em> \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043f\u043e \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0442\u0430 \u0436\u0435 \u0441\u0430\u043c\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u0447\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0432 summary plot \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u041d\u0430 <em>\u0440\u0438\u0441. 7D<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b SHAP interaction values (\u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u0430 \u043c\u044b \u043d\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u0432 \u044d\u0442\u043e\u043c \u043e\u0431\u0437\u043e\u0440\u0435) \u0434\u043b\u044f \u043f\u0430\u0440\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432: <em>Systolic blood pressure<\/em> + <em>Age<\/em>. \u041d\u0430 <em>\u0440\u0438\u0441. 7B<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0441\u0445\u0435\u043c\u0430 (SHAP dependence plot), \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u0441\u0445\u0435\u043c \u043d\u0430 <em>\u0440\u0438\u0441. 7C \u0438 7D<\/em>. \u0420\u0438\u0441\u0443\u043d\u043a\u0438 \u0432\u0437\u044f\u0442\u044b \u0438\u0437 <a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>.<\/p>\n<p>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 <em>\u0440\u0438\u0441. 7B<\/em> \u0438\u043c\u0435\u0435\u0442 &#171;\u0434\u0432\u0430 \u0445\u0432\u043e\u0441\u0442\u0430&#187;. \u0414\u043b\u044f \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430 30-40 (\u0441\u0438\u043d\u0438\u0439 \u0446\u0432\u0435\u0442) \u0441\u0438\u0441\u0442\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435 160+ mmHg \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0440\u0442\u0438 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 12 \u043b\u0435\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0434\u043b\u044f \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430 60-70+ \u044d\u0442\u043e \u0436\u0435 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c (\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0443) \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043c\u0435\u0440\u0442\u0438 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 12 \u043b\u0435\u0442.<\/p>\n<blockquote>\n<p>early onset high blood pressure is more concerning to the model than late onset high blood pressure (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p>\u0421\u043b\u0435\u0434\u0443\u0435\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u0438\u0437\u0443\u0447\u0430\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043d\u043d\u044b\u0435. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043e\u0448\u0438\u0431\u0430\u0442\u044c\u0441\u044f, \u0438 \u0442\u043e\u0433\u0434\u0430 \u0432\u044b\u0432\u043e\u0434\u044b \u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 SHAP values, \u0442\u043e\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u043d\u0435\u0432\u0435\u0440\u043d\u044b.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/4c7\/ead\/47e\/4c7ead47ef54052c60eb34968b48ae25.jpg\" alt=\"\u0420\u0438\u0441. 7. Dependence plot.\" title=\"\u0420\u0438\u0441. 7. Dependence plot.\" width=\"947\" height=\"683\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c7\/ead\/47e\/4c7ead47ef54052c60eb34968b48ae25.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 7. Dependence plot.<\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"4.4\" id=\"4.4\"><\/a><\/p>\n<h3>\u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP loss values<\/h3>\n<p>C\u0434\u0432\u0438\u0433 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u041e\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u044b\u0437\u0432\u0430\u043d \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438 \u0432 \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<blockquote>\n<p>Deploying machine learning models in practice is challenging because of the potential for input features to change after deployment. It is hard to detect when such changes occur, so many bugs in machine learning pipelines go undetected, even in core software at top tech companies. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>).<\/p>\n<\/blockquote>\n<p>\u0414\u043b\u044f \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Shapley values, \u0441\u0447\u0438\u0442\u0430\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u0433\u0440\u044b \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u0422\u043e\u0433\u0434\u0430 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432\u043d\u043e\u0441\u044f\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043b\u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 &#171;Explainable AI for Trees&#187; (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>) \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0446\u0435\u043b\u0435\u0432\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b \u0430\u043d\u0430\u0441\u0442\u0435\u0437\u0438\u0438 \u043f\u0435\u0440\u0435\u0434 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0435\u0439. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430 4 \u0433\u043e\u0434\u0430 (2185 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043e\u043a. 147000 \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u043e\u0432). \u0414\u0430\u043d\u043d\u044b\u0435 \u0437\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0433\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u0440\u0438 \u0433\u043e\u0434\u0430 &#8212; \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f (\u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e \u0440\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e). \u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u044f\u0434: \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c.<\/p>\n<p>\u0413\u0440\u0430\u0444\u0438\u043a \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0434\u0430\u0442\u044b) \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043d\u0430 <em>\u0440\u0438\u0441. 8<\/em>. \u0422\u0430\u043a\u0438\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043f\u0435\u0440\u0432\u044b\u0439 \u0433\u043e\u0434) \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0442\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/fea\/db7\/ce7\/feadb7ce752ed959328cd230307f52a9.jpg\" alt=\"\u0420\u0438\u0441. 8. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 &quot;hospital procedure duration&quot;.\" title=\"\u0420\u0438\u0441. 8. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 &quot;hospital procedure duration&quot;.\" width=\"1000\" height=\"189\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fea\/db7\/ce7\/feadb7ce752ed959328cd230307f52a9.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 8. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 &#171;hospital procedure duration&#187;.<\/figcaption><\/figure>\n<p>\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c SHAP loss values, \u0441\u0447\u0438\u0442\u0430\u044f \u0438\u0433\u0440\u043e\u043a\u0430\u043c\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043d\u0430\u0431\u043e\u0440\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 &#8212; \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0434\u0430\u0442\u0435, \u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0433\u0440\u0430\u0444\u0438\u043a \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 Shapley loss values \u043e\u0442 \u0434\u0430\u0442\u044b. \u041d\u0430 <em>\u0420\u0438\u0441. 9<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0434\u043b\u044f \u0442\u0440\u0435\u0445 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (\u0446\u0432\u0435\u0442\u043e\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/8a0\/a33\/2e4\/8a0a332e4d4268a4b51b1fb611960d8e.jpg\" alt=\"\u0420\u0438\u0441. 9. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 SHAP loss values \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043d\u0435 \u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u043f\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 &quot;hospital procedure duration&quot;.\" title=\"\u0420\u0438\u0441. 9. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 SHAP loss values \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043d\u0435 \u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u043f\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 &quot;hospital procedure duration&quot;.\" width=\"1001\" height=\"617\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a0\/a33\/2e4\/8a0a332e4d4268a4b51b1fb611960d8e.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 9. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 SHAP loss values \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043d\u0435 \u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u043f\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 &#171;hospital procedure duration&#187;.<\/figcaption><\/figure>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a <em>&#171;in room #6&#187;<\/em> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 \u043a\u043e\u043c\u043d\u0430\u0442\u0435 \u043d\u043e\u043c\u0435\u0440 6. \u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u044d\u0442\u043e\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u043e\u043d\u0438\u0436\u0430\u043b \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b, \u043d\u043e \u043f\u0440\u0438 \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0441 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0441\u0442\u0430\u043b \u0440\u0435\u0437\u043a\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0441\u0442\u0430\u043b\u043e \u0432\u0440\u0435\u0434\u043d\u044b\u043c. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 \u043a\u043e\u0434\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0431\u044b\u043b\u0430 \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430: \u043f\u0435\u0440\u0435\u043f\u0443\u0442\u0430\u043d\u044b \u043d\u043e\u043c\u0435\u0440\u0430 \u043a\u043e\u043c\u043d\u0430\u0442 6 \u0438 13. \u0414\u0430\u043d\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0431\u044b\u043b\u0430 \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c SHAP loss values \u0432 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0435 \u0432\u0438\u0434\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u0431\u044b\u043b\u0438 \u043d\u0435\u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u043c\u0438 \u0438 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e. \u041f\u0440\u0438\u0437\u043d\u0430\u043a <em>&#171;general anasthesia&#187;<\/em> \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0435\u0437\u043a\u043e \u0441\u043d\u0438\u0436\u0430\u043b \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u041a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0431\u044b\u043b\u0430 \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435 <em>&#171;atrial fibrillation&#187;<\/em> \u0432\u0438\u0434\u0435\u043d \u0434\u0440\u0435\u0439\u0444 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 SHAP loss values: \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u044d\u0442\u043e\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u043c\u0435\u043d\u0435\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c, \u0438 \u0432 \u0438\u0442\u043e\u0433\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u043e\u043d\u0438\u0436\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b. \u041a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u044d\u0442\u043e \u0432\u044b\u0437\u0432\u0430\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b \u0430\u0431\u043b\u044f\u0446\u0438\u0438 \u0444\u0438\u0431\u0440\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u0435\u0440\u0434\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u0445 \u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0435.<\/p>\n<p><a class=\"anchor\" name=\"4.5\" id=\"4.5\"><\/a><\/p>\n<h3>Supervised-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP<\/h3>\n<p>\u0418\u0437 SHAP values \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c SHAP-\u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0438\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430. <a href=\"https:\/\/arxiv.org\/abs\/1802.03888\/\">Lundberg et al., 2018<\/a> \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438, \u0447\u0442\u043e SHAP-\u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435, \u0447\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438, \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u043c\u0430\u0441\u0448\u0442\u0430\u0431, \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p>\u042d\u043b\u0435\u043c\u0435\u043d\u0442\u044b SHAP-\u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 SHAP-\u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0448\u043a\u0430\u043b\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 SHAP value \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 (\u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430). \u0418\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u044d\u0442\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c supervised-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 SHAP-\u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432.<\/p>\n<blockquote>\n<p>The distance metric does not account for the discrepancies among the units\/meaning of features (e.g., weight vs. age), and there<br \/> is no way for an unsupervised approach to know which features are relevant for an outcome of interest, and so should be weighted more strongly. We can address both of these limitations by using <em>local explanation embeddings<\/em> to embed each sample into a new &#171;explanation space.&#187; If we run clustering in this new space, we will get a <em>supervised clustering<\/em> where samples are grouped together based on their <em>explanations<\/em>. Supervised clustering naturally accounts for the differing units of various features, only highlighting changes that are relevant to a particular outcome. &#8230;  Analogously, we can also run PCA on local explanation embeddings&#8230; (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 10<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0435\u043c \u0440\u0438\u0441\u043a \u0441\u043c\u0435\u0440\u0442\u0438 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 12 \u043b\u0435\u0442 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u0432 (\u043e\u0431 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0441\u043c. \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0437\u0434\u0435\u043b &#171;Summary plot&#187;). \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 SHAP-\u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430, \u0438 \u044d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u044b (\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e) \u043f\u043e \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0443 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043b\u0433\u043e\u043c\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 (\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e) \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044f\u0441\u044c \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u043b\u044e\u0434\u0435\u0439 \u0441\u043e \u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u043c\u043f\u0442\u043e\u043c\u0430\u0442\u0438\u043a\u043e\u0439.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/1f2\/578\/55f\/1f257855fa375b661e7c10d0be38f8a7.jpg\" alt=\"\u0420\u0438\u0441. 10. \u041a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP values.\" title=\"\u0420\u0438\u0441. 10. \u041a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP values.\" width=\"1217\" height=\"515\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f2\/578\/55f\/1f257855fa375b661e7c10d0be38f8a7.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 10. \u041a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP values.<\/figcaption><\/figure>\n<p>\u0414\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 <a href=\"https:\/\/arxiv.org\/abs\/1802.03888\/\">Lundberg et al., 2018<\/a> \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d \u0432 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 (<em>\u0440\u0438\u0441. 11<\/em>). \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437 <a href=\"https:\/\/archive.ics.uci.edu\/ml\/datasets\/census+income\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 $50\u041a. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0437\u0434\u0435\u0441\u044c \u0442\u043e\u0436\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u0445 SHAP-\u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (&#171;sorted by explanation similarity&#187;), \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0438\u0449\u0435\u043c \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u043c \u0434\u0430\u043d\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/c81\/de2\/6e2\/c81de26e24b626a4905454546d455c69.jpg\" alt=\"\u0420\u0438\u0441. 11. \u0415\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP values.\" title=\"\u0420\u0438\u0441. 11. \u0415\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP values.\" width=\"1316\" height=\"428\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c81\/de2\/6e2\/c81de26e24b626a4905454546d455c69.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 11. \u0415\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP values.<\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"5\" id=\"5\"><\/a><\/p>\n<h2>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b SHAP values<\/h2>\n<p>\u041c\u043e\u0436\u043d\u043e \u043b\u0438 SHAP values \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0439 \u043c\u0435\u0440\u043e\u0439 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438? \u041a\u0430\u043a \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0434\u0430\u043b\u0435\u0435, SHAP values \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e \u0434\u0430\u0436\u0435 \u0434\u043b\u044f \u0442\u0435\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e, \u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 SHAP values \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u044b\u0431\u043e\u0440 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"v(S) = E [f(x) | x_S]\" alt=\"v(S) = E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/149\/e63\/cac\/149e63cac4bf9616ded5d8427e9d17e3.svg\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e-\u0441\u0432\u043e\u0435\u043c\u0443 \u0445\u043e\u0440\u043e\u0448 \u0438\u043b\u0438 \u043f\u043b\u043e\u0445 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445.<\/p>\n<blockquote>\n<p>the correct way to connect a machine learning model to a coalitional game has been a source of controversy (<a href=\"https:\/\/arxiv.org\/abs\/2006.16234\">Chen et al., 2020<\/a>)<\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"5.1\" id=\"5.1\"><\/a><\/p>\n<h3>SHAP values \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/h3>\n<p>\u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 SHAP values \u0438 \u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"E [f(x) | x_S]\" alt=\"E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbb\/194\/8bb\/cbb1948bb045bdf02317f069fa4bedd9.svg\"\/> \u043c\u043e\u0436\u0435\u0442 \u043b\u0438\u0431\u043e \u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f (\u0432 Tree SHAP \u0434\u043b\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432), \u043b\u0438\u0431\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f (\u0432 Independent SHAP).<\/p>\n<p><strong>Tree SHAP<\/strong> \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e SHAP values: <img decoding=\"async\" class=\"formula inline\" source=\"v(S) = E [f(x) | x_S]\" alt=\"v(S) = E [f(x) | x_S]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f3\/432\/7bb\/8f34327bb4e7842e843616181b2a52c1.svg\"\/>, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044f \u0438\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"v(S)\" alt=\"v(S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a45\/e47\/8e6\/a45e478e628d987a9e8550c1c4c3a54c.svg\"\/> \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/271\/7d5\/61f\/2717d561f71f85744d9276e0aaaa0686.svg\"\/>, \u043d\u043e \u0438 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, SHAP values \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u043e\u0439 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b &#171;\u043c\u043e\u0434\u0435\u043b\u044c + \u0434\u0430\u043d\u043d\u044b\u0435&#187;. \u041d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 SHAP values \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u0439.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d88\/b0b\/db1\/d88b0bdb1c52649846e383257ecbb252.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"B\" alt=\"B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/859\/68f\/13e\/85968f13e4eddca30267471fb5862914.svg\"\/> \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0442, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/447\/101\/84d\/44710184dba08ed5b1cfc0f0b3f6171e.svg\"\/>. \u041f\u0440\u0438\u0437\u043d\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"B\" alt=\"B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/286\/d89\/2f4\/286d892f428c32175d475344c1242e51.svg\"\/> \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/160\/232\/3be\/1602323bef7a47e91efd98aaa0629d80.svg\"\/>, \u0430 \u043e\u0442\u0441\u044e\u0434\u0430 \u0438 \u043d\u0430 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"B\" alt=\"B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44d\/1bf\/6c0\/44d1bf6c0070a6268075fcacb9bdd7bd.svg\"\/> \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 SHAP value. \u042d\u0442\u043e\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u043d\u043e \u043e\u043d \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 <a href=\"https:\/\/arxiv.org\/abs\/1910.13413\">Janzing et al., 2019<\/a>, \u0441\u043c. Example 1. \u0412 \u0446\u0435\u043b\u043e\u043c \u0435\u0441\u043b\u0438 \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0432\u043d\u044b \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0443, \u0442\u043e SHAP values \u0434\u043b\u044f \u043d\u0438\u0445 \u0442\u043e\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0432\u043d\u044b, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043b\u0438\u0448\u044c \u043e\u0434\u0438\u043d \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, <em>\u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0435 SHAP values<\/em>, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0430\u043a\u043e\u0432\u043e, \u0447\u0442\u043e \u044d\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c SHAP values \u043a\u0430\u043a \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e.<\/p>\n<blockquote>\n<p>For instance, the popular SHAP algorithm\u2019s formulation may give substantial attributions to features that play no role in the model (<a href=\"https:\/\/arxiv.org\/abs\/1909.08128\/\">Merrick and Taly, 2019<\/a>)<\/p>\n<\/blockquote>\n<blockquote>\n<p>Say, in the context of an analysis of fairness, we require that a certain feature play no role in the prediction model, and indeed, it does not. If we use CES [Conditional Expectations Shapley &#8212; SHAP], it may still be assigned significant attribution, leading us to incorrectly believe that the function is sensitive to the variable. (<a href=\"https:\/\/arxiv.org\/abs\/1908.08474\">Sundararajan and Najmi, 2019<\/a>)<\/p>\n<\/blockquote>\n<p><strong>Independent SHAP<\/strong> \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442 SHAP values \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: <img decoding=\"async\" class=\"formula inline\" source=\"v(S) = f([x_S, E[x_\\overline{S}]])\" alt=\"v(S) = f([x_S, E[x_\\overline{S}]])\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/434\/d63\/0ae\/434d630aeb6808ae159cece84c4a5b3b.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v(S)\" alt=\"v(S)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e4\/c4a\/67a\/3e4c4a67a30a5a64162d1e1fe8cf8624.svg\"\/> \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f, \u043d\u043e \u0432 Independent SHAP \u0442\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0443\u043b\u0435\u0432\u044b\u0435 SHAP values. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0432 Independent SHAP \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"[x_S, E[x_\\overline{S}]]\" alt=\"[x_S, E[x_\\overline{S}]]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e9f\/167\/e78\/e9f167e7826a598346f22096d03078ab.svg\"\/> \u0431\u0443\u0434\u0443\u0442 \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u044b \u0438\u043b\u0438 \u0432\u043e\u0432\u0441\u0435 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b, \u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0437\u0443\u0447\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f (out-of-distribution).<\/p>\n<p><a class=\"anchor\" name=\"5.2\" id=\"5.2\"><\/a><\/p>\n<h3>\u0421\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u043d\u0438\u0446 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u041c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u0430\u043a \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d0\/879\/1e2\/6d08791e2401eea66723ce9041fe9dc2.svg\"\/> \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <strong>\u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445<\/strong> (<a href=\"https:\/\/www.ams.org\/journals\/bull\/2009-46-02\/S0273-0979-09-01249-X\/S0273-0979-09-01249-X.pdf\">Carlsson, 2009<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1310.0425\">Fefferman et al., 2013<\/a>). \u042d\u0442\u043e \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9C%D0%BD%D0%BE%D0%B3%D0%BE%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%B8%D0%B5\">\u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435<\/a> \u0432 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435, \u043d\u043e \u0447\u0442\u043e-\u0442\u043e \u043e\u0431\u0449\u0435\u0435 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0435\u0441\u0442\u044c. \u0412 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 &#8212; \u044d\u0442\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u044f\u0432\u043b\u044f\u044e\u0449\u0435\u0435\u0441\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u044b\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0432 \u043d\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0438, \u0438\u0437\u043c\u0435\u043d\u044f\u044f \u0438\u0445, &#171;\u043f\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c&#187; \u043f\u043e \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044e. \u0418\u043c\u0435\u044f \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0447\u0430\u0441\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u044b \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u0435\u0437\u0430\u0432\u0438\u043c\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 (\u0441\u043c. <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A4%D0%B0%D0%BA%D1%82%D0%BE%D1%80%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7\">\u0444\u0430\u043a\u0442\u043e\u0440\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437<\/a>). \u0418\u0437\u043c\u0435\u043d\u044f\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u043c\u043e\u0436\u043d\u043e &#171;\u043f\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c&#187; \u043f\u043e \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0435 \u0432\u044b\u0445\u043e\u0434\u044f \u0437\u0430 \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u044b. \u0412 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0435\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u0435\u0436\u0430\u0449\u0438\u043c\u0438 \u043d\u0435 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438, \u0430 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f.<\/p>\n<blockquote>\n<p>\u0425\u043e\u0442\u044f \u0443 \u0442\u0435\u0440\u043c\u0438\u043d\u0430 \u00ab\u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435\u00bb \u0435\u0441\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u043e\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043c\u0435\u043d\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u0432\u044f\u0437\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0442\u043e\u0447\u0435\u043a \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u0432\u043e\u0434\u044f \u0432 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u0435 \u043b\u0438\u0448\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0435\u0439 \u0441\u0432\u043e\u0431\u043e\u0434\u044b, \u0438\u043b\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439. \u041a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f. (<a href=\"https:\/\/www.deeplearningbook.org\/\">Deep Learning<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 5.11.3)<\/p>\n<\/blockquote>\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0445 SHAP values \u0434\u043b\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u0438. \u0427\u0430\u0441\u0442\u043e \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0434 \u0442\u0430\u043a\u0438\u043c \u0443\u0433\u043b\u043e\u043c (<a href=\"https:\/\/arxiv.org\/abs\/2006.16234\">Chen et al., 2020<\/a>): \u043f\u0440\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/92c\/aa7\/83a\/92caa783a2f9d29f44565a0ecc2b34cf.svg\"\/> \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2fe\/7bf\/85b\/2fe7bf85bbe6479e1e3d14dcd99d00fe.svg\"\/> \u0441\u0442\u043e\u0438\u0442 \u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c\u0441\u044f \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 (Tree SHAP), \u0438\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da2\/b30\/aa4\/da2b30aa49f56aa4f66495e26b352eb2.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u044e\u0442 \u043d\u0435\u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b (Independent SHAP)?<\/p>\n<blockquote>\n<p>On one side, many argue that perturbing features independently reveals the functional dependence of the model, and is thus <em>true to the model<\/em>. However, independent perturbation of the data can create unrealistic or invalid sets of model input values. Thus, on the other side, researchers argue that one should perturb features while staying on the data manifold, and so be <em>true to the data<\/em>. (<a href=\"https:\/\/arxiv.org\/abs\/2010.14592\">Wang et al., 2020<\/a>)<\/p>\n<\/blockquote>\n<p>\u0421\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e\u0441\u0442\u0438 \u0440\u0430\u0434\u0438 \u043d\u0430\u0434\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0432\u044b\u0445\u043e\u0434\u0430 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0438 \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f\u0445 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430. \u0417\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043a\u0430\u043a \u0443\u0433\u043e\u0434\u043d\u043e (<em>\u0440\u0438\u0441. 12<\/em>), \u0438 \u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0432 \u044d\u0442\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u043d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u0430. \u041d\u043e \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0438\u0441. 12. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u043e \u0437\u0430 \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0434\u0438\u043d \u0438\u0437 &quot;\u0445\u0432\u043e\u0441\u0442\u043e\u0432&quot; \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043f\u043e\u043f\u0430\u043b \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437-\u0437\u0430 \u0435\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 (\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445). \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u0430\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442.\" title=\"\u0420\u0438\u0441. 12. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u043e \u0437\u0430 \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0434\u0438\u043d \u0438\u0437 &quot;\u0445\u0432\u043e\u0441\u0442\u043e\u0432&quot; \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043f\u043e\u043f\u0430\u043b \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437-\u0437\u0430 \u0435\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 (\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445). \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u0430\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442.\" height=\"510\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ec\/1b2\/600\/6ec1b260042bbc199bed6d49ff224bac.png\" data-width=\"988\"\/><figcaption>\u0420\u0438\u0441. 12. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u043e \u0437\u0430 \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0434\u0438\u043d \u0438\u0437 &#171;\u0445\u0432\u043e\u0441\u0442\u043e\u0432&#187; \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043f\u043e\u043f\u0430\u043b \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437-\u0437\u0430 \u0435\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 (\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445). \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0441 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u0430\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442.<\/figcaption><\/figure>\n<p><strong>\u0420\u0435\u0437\u044e\u043c\u0435<\/strong>. \u0412\u044b\u0439\u0434\u044f \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u0438\u043b\u0438 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0447\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0432 \u043e\u0446\u0435\u043d\u043a\u0435 \u0438\u0445 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0433\u043e \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 &#171;True to the Model or True to the Data?&#187; (<a href=\"https:\/\/arxiv.org\/abs\/2006.16234\">Chen et al., 2020<\/a>).<\/p>\n<p><a class=\"anchor\" name=\"6\" id=\"6\"><\/a><\/p>\n<h2>Shapley Flow<\/h2>\n<p>Shapley Flow (<a href=\"https:\/\/arxiv.org\/abs\/2010.14592\">Wang et al., 2020<\/a>) &#8212; \u044d\u0442\u043e \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043c\u0435\u0442\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0430 SHAP. \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 Shapley Flow.<\/p>\n<p>\u041f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e Shapley Flow \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 <a href=\"https:\/\/github.com\/nathanwang000\/Shapley-Flow\">\u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a>, \u0432 \u043d\u0435\u043c \u0436\u0435 \u0435\u0441\u0442\u044c <a href=\"https:\/\/github.com\/nathanwang000\/Shapley-Flow\/blob\/master\/notebooks\/tutorial.ipynb\">\u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"6.1\" id=\"6.1\"><\/a><\/p>\n<h3>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow<\/h3>\n<p><strong>\u0428\u0430\u0433 1.<\/strong> \u0421\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0433\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 (causal graph) \u0432\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (<em>\u0440\u0438\u0441. 13<\/em>). \u0412\u0435\u0440\u0448\u0438\u043d\u0430\u043c\u0438 \u0433\u0440\u0430\u0444\u0430 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0431\u0440\u0430 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438. \u041a \u044d\u0442\u043e\u043c\u0443 \u0433\u0440\u0430\u0444\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u0430 &#8212; \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u043e\u0442 \u0433\u0440\u0430\u0444 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 Shapley Flow.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/120\/d2b\/862\/120d2b8625c9e905f5619640aaef5a45.jpg\" alt=\"\u0420\u0438\u0441. 13. \u0413\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u0436\u0435 \u043a \u0433\u0440\u0430\u0444\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u0430, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0438\u0434\u0443\u0442 \u0440\u0435\u0431\u0440\u0430 \u0432\u043e \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b: \u044d\u0442\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b, \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0441\u0442\u0438. \u0414\u0430\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u044b\u043c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0434\u043b\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430.\" title=\"\u0420\u0438\u0441. 13. \u0413\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u0436\u0435 \u043a \u0433\u0440\u0430\u0444\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u0430, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0438\u0434\u0443\u0442 \u0440\u0435\u0431\u0440\u0430 \u0432\u043e \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b: \u044d\u0442\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b, \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0441\u0442\u0438. \u0414\u0430\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u044b\u043c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0434\u043b\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430.\" width=\"1102\" height=\"190\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/120\/d2b\/862\/120d2b8625c9e905f5619640aaef5a45.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 13. \u0413\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u0436\u0435 \u043a \u0433\u0440\u0430\u0444\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u0430, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0438\u0434\u0443\u0442 \u0440\u0435\u0431\u0440\u0430 \u0432\u043e \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b: \u044d\u0442\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b, \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0441\u0442\u0438. \u0414\u0430\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u044b\u043c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0434\u043b\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430.<\/figcaption><\/figure>\n<p><strong>\u0428\u0430\u0433 2.<\/strong> \u0412\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77a\/e40\/81d\/77ae4081d696271be784faa4c39628a0.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_{background}\" alt=\"x_{background}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/368\/27b\/134\/36827b1349c410cb3c40fba2000d3bb5.svg\"\/>. \u041c\u0435\u0442\u043e\u0434 Shapley Flow \u043d\u0430\u0446\u0435\u043b\u0435\u043d \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438, \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta y = f(x_0) - f(x_{background})\" alt=\"\\Delta y = f(x_0) - f(x_{background})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/556\/eb6\/0b3\/556eb60b38e86631d81ec0c4e481b83a.svg\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0442\u043e \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_{background}\" alt=\"x_{background}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5d\/759\/526\/f5d75952630222c3dd044d9b705b9473.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0431\u043e\u043b\u0435\u0437\u043d\u0438. \u0422\u0430\u043a\u0436\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e Shapley Flow \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_{background}\" alt=\"x_{background}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e8\/bec\/7ce\/1e8bec7ce98db39d81d36228d1fd88ae.svg\"\/> \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439.<\/p>\n<p><strong>\u0428\u0430\u0433 3.<\/strong> \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c Shapley Flow \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0432\u043a\u043b\u0430\u0434 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta y\" alt=\"\\Delta y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/31b\/8d8\/1d2\/31b8d81d2dc80322c25c9d7d7fb2718d.svg\"\/> <em>\u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430 \u0432 \u0433\u0440\u0430\u0444\u0435<\/em>. \u0412\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b (\u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430) \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u0432\u043a\u043b\u0430\u0434\u043e\u0432 \u0432\u044b\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0438\u0437 \u043d\u0435\u0435 \u0440\u0435\u0431\u0435\u0440. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043d\u0430 <em>\u0440\u0438\u0441. 14<\/em> (\u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b 10 \u0440\u0435\u0431\u0435\u0440 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e \u0432\u043a\u043b\u0430\u0434\u0430\u043c\u0438).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/4e6\/ea3\/3f4\/4e6ea33f41e613ec57284b4217aba543.jpg\" alt=\"\u0420\u0438\u0441. 14. \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow. \u041f\u043e\u043a\u0430\u0437\u0430\u043d\u044b 10 \u0440\u0435\u0431\u0435\u0440 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e \u0432\u043a\u043b\u0430\u0434\u0430\u043c\u0438.\" title=\"\u0420\u0438\u0441. 14. \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow. \u041f\u043e\u043a\u0430\u0437\u0430\u043d\u044b 10 \u0440\u0435\u0431\u0435\u0440 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e \u0432\u043a\u043b\u0430\u0434\u0430\u043c\u0438.\" width=\"1106\" height=\"436\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e6\/ea3\/3f4\/4e6ea33f41e613ec57284b4217aba543.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 14. \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow. \u041f\u043e\u043a\u0430\u0437\u0430\u043d\u044b 10 \u0440\u0435\u0431\u0435\u0440 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e \u0432\u043a\u043b\u0430\u0434\u0430\u043c\u0438.<\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"6.2\" id=\"6.2\"><\/a><\/p>\n<h3>\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow<\/h3>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow, \u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0431\u0449\u0443\u044e \u0438\u0434\u0435\u044e. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0430\u0432\u0442\u043e\u0440\u0430\u043c \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow, \u0434\u0438\u043b\u0435\u043c\u043c\u0430 &#171;interventional&#187; \u043f\u0440\u043e\u0442\u0438\u0432 &#171;conditional&#187; \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c &#171;\u0433\u0440\u0430\u043d\u0438\u0446 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f&#187; (boundary of explanation). \u0413\u0440\u0430\u043d\u0438\u0446\u0435\u0439 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"D\" alt=\"D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39c\/206\/b4e\/39c206b4e1bde1202d4d7846bdf5f94d.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4de\/153\/c60\/4de153c60cfe074729d56eecbb1bf53f.svg\"\/> \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e \u0440\u0435\u0431\u0440\u0430 \u043c\u043e\u0433\u0443\u0442 \u0438\u0434\u0442\u0438 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"D\" alt=\"D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/349\/f0e\/691\/349f0e69191d2b531217ecc4a0c85d26.svg\"\/> \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fd\/1d6\/638\/3fd1d66385d6e1f2ee8ec00e9eabc58d.svg\"\/>, \u043d\u043e \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0434\u0442\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a5\/bc5\/4b5\/8a5bc54b51eee709225204d180d34710.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"D\" alt=\"D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e7\/918\/42e\/4e791842e3cdd37379f246c3a76020db.svg\"\/> &#8212; \u0435\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 15 <\/em>\u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 (<a href=\"https:\/\/ftp.cs.ucla.edu\/pub\/stat_ser\/r277.pdf\">Pearl and Russell, 2000<\/a>). \u0412 \u0437\u0430\u0434\u0430\u0447\u0435 \u0435\u0441\u0442\u044c \u043f\u044f\u0442\u044c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_1\" alt=\"X_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cd\/f53\/e95\/9cdf53e95cf992ecfe030f70b43fb5e2.svg\"\/> &#8212; \u0441\u0435\u0437\u043e\u043d \u0433\u043e\u0434\u0430<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_2\" alt=\"X_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff7\/248\/848\/ff7248848cc5181e7fa7c28486ce5b27.svg\"\/> &#8212; \u0438\u0434\u0435\u0442 \u043b\u0438 \u0434\u043e\u0436\u0434\u044c?<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_3\" alt=\"X_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/511\/16c\/60a\/51116c60ad9c50aeec6311af7f980a13.svg\"\/> &#8212; \u0432\u043a\u043b\u044e\u0447\u0435\u043d \u043b\u0438 \u0440\u0430\u0437\u0431\u0440\u044b\u0437\u0433\u0438\u0432\u0430\u0442\u0435\u043b\u044c \u0432\u043e\u0434\u044b?<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_4\" alt=\"X_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/368\/84a\/840\/36884a840cf3af0376afa81dff160b8b.svg\"\/> &#8212; \u0441\u044b\u0440\u043e \u043b\u0438 \u043d\u0430 \u0443\u043b\u0438\u0446\u0435?<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"Y\" alt=\"Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b0d\/6cd\/b1e\/b0d6cdb1edd504736ce67ecb02a7bcdc.svg\"\/> &#8212; \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0438 \u043d\u0430 \u0443\u043b\u0438\u0446\u0435?<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0440\u0430\u0441\u043d\u044b\u043c\u0438 \u0441\u0442\u0440\u0435\u043b\u043a\u0430\u043c\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u0421 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ol>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_1 \\to X_3\" alt=\"X_1 \\to X_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/485\/987\/54b\/48598754b160ab51d2a7e7c2d8940332.svg\"\/>: \u0435\u0441\u043b\u0438 \u0441\u0435\u0437\u043e\u043d \u0441\u0443\u0445\u043e\u0439, \u0442\u043e \u0440\u0430\u0437\u0431\u0440\u044b\u0437\u0433\u0438\u0432\u0430\u0442\u0435\u043b\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_1 \\to X_2\" alt=\"X_1 \\to X_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5aa\/5c2\/85a\/5aa5c285a39d88e28c4088f99569d78d.svg\"\/>: \u0435\u0441\u043b\u0438 \u0441\u0435\u0437\u043e\u043d \u0432\u043b\u0430\u0436\u043d\u044b\u0439, \u0442\u043e \u0438\u0434\u0435\u0442 \u0434\u043e\u0436\u0434\u044c<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_3 \\to X_4\" alt=\"X_3 \\to X_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c37\/95e\/60c\/c3795e60cecfb524fd6075ae380cc5dd.svg\"\/>: \u0435\u0441\u043b\u0438 \u0440\u0430\u0437\u0431\u0440\u044b\u0437\u0433\u0438\u0432\u0430\u0442\u0435\u043b\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d, \u0442\u043e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u043a\u0440\u043e\u0435<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_2 \\to X_4\" alt=\"X_2 \\to X_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df9\/d83\/8f7\/df9d838f70fdcb0dc95c9e009e85c89d.svg\"\/>: \u0435\u0441\u043b\u0438 \u0438\u0434\u0435\u0442 \u0434\u043e\u0436\u0434\u044c, \u0442\u043e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u043a\u0440\u043e\u0435<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"X_4 \\to Y\" alt=\"X_4 \\to Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9d\/3c0\/fef\/a9d3c0fef948d5b445a64e8f99847741.svg\"\/>: \u0435\u0441\u043b\u0438 \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043c\u043e\u043a\u0440\u043e\u0435, \u0442\u043e \u043d\u0430 \u0443\u043b\u0438\u0446\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u043a\u043e<\/p>\n<\/li>\n<\/ol>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0a8\/645\/aeb\/0a8645aeb8d3ed4465dc1abda5d8e60c.svg\"\/> \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"Y\" alt=\"Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d09\/35f\/d70\/d0935fd70bf9a0a5c74619bf5bae2f9e.svg\"\/>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"X_1, X_2, X_3, X_4\" alt=\"X_1, X_2, X_3, X_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd8\/e69\/017\/fd8e69017cb109c03caee989205783ed.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/673\/d9c\/20b\/673d9c20b26492f266f2f057aba886c1.svg\"\/> \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"X_3\" alt=\"X_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9bf\/71f\/ffb\/9bf71fffb4884421c81ca2bfdb4e1187.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"X_4\" alt=\"X_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/357\/9e6\/6d3\/3579e66d38dda3318b8e92a92785a550.svg\"\/> (\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0442), \u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043d\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e. \u041d\u0443\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043e\u0442 \u0447\u0435\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c2e\/beb\/16c\/c2ebeb16c5d299b4daa55178274e4278.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0433\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d.<\/p>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 15 (a-c)<\/em> \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u0442\u0440\u0435\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432: Independent SHAP, Assymetric Shapley values (ASV, <a href=\"https:\/\/arxiv.org\/abs\/1910.06358\">Frye et al., 2019<\/a>) \u0438 Shapley Flow. \u041c\u0435\u0442\u043e\u0434 Independent SHAP \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 &#171;inverventional&#187; (\u0441\u043c. \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0440\u0430\u0437\u0434\u0435\u043b) \u0438 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445: \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432 \u043d\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0432\u043a\u043b\u0430\u0434 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"X_3\" alt=\"X_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c1\/35e\/e0c\/3c135ee0c0d8ecb1ed8975fadb525af3.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"X_4\" alt=\"X_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab6\/268\/cab\/ab6268cab1b87927be40a91fa5845256.svg\"\/>. \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a &#171;interventional&#187; \u043f\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u043a &#171;\u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f&#187; <img decoding=\"async\" class=\"formula inline\" source=\"F_1\" alt=\"F_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb5\/522\/c7e\/eb5522c7eeff795ff1a09c863c8f6402.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0435\u0440\u0448\u0438\u043d\u044b, \u0438\u043c\u0435\u044e\u0449\u0438\u0435 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"F_1\" alt=\"F_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/436\/a65\/6ff\/436a656ff5660d9b6ba38875c1c409a0.svg\"\/>, \u0438\u0437\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e, \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0438\u0437\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/841\/cc6\/0f0\/841cc60f012b09c4f1e1b09cb62ef2bc.jpg\" alt=\"\u0420\u0438\u0441. 15. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 SHAP, Assymetric SHAP \u0438 Shapley Flow \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435.\" title=\"\u0420\u0438\u0441. 15. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 SHAP, Assymetric SHAP \u0438 Shapley Flow \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435.\" width=\"1201\" height=\"419\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/841\/cc6\/0f0\/841cc60f012b09c4f1e1b09cb62ef2bc.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 15. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 SHAP, Assymetric SHAP \u0438 Shapley Flow \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435.<\/figcaption><\/figure>\n<p>\u041c\u0435\u0442\u043e\u0434 Assymetric Shapley values \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c SHAP, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u044f\u0445 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a &#171;interventional&#187; \u043f\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u043a &#171;\u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f&#187; <img decoding=\"async\" class=\"formula inline\" source=\"F_2\" alt=\"F_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dac\/f22\/758\/dacf227588b2def209ad9749dc4e6201.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0435\u0440\u0448\u0438\u043d\u044b, \u0438\u043c\u0435\u044e\u0449\u0438\u0435 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"F_2\" alt=\"F_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/274\/ff4\/0cf\/274ff40cf004807286b96aa08b1b84b8.svg\"\/> (\u0430 \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0448\u0438\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"X_1\" alt=\"X_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aee\/177\/76d\/aee17776dd0c3c511da24db43133e516.svg\"\/>), \u0438\u0437\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0432\u043a\u043b\u0430\u0434 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0448\u0438\u043d\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"X_1\" alt=\"X_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a6\/953\/9f1\/1a69539f16d71b91c0c0035ae698353e.svg\"\/>.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b Shapley Flow \u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u043e\u0431\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u0430. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 &#171;\u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f&#187;, \u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u043a\u043b\u0430\u0434 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c, \u0430 \u0440\u0435\u0431\u0440\u0430\u043c. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445 \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 (<img decoding=\"async\" class=\"formula inline\" source=\"X_3\" alt=\"X_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ce\/cb8\/6ab\/6cecb86abb8de32a4194d73b52ae61e3.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"X_4\" alt=\"X_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a82\/abf\/d46\/a82abfd4615bf5fe9be1a6b0ddcdc84d.svg\"\/>), \u0430 \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445 \u0432\u0438\u0434\u0438\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u043e (<img decoding=\"async\" class=\"formula inline\" source=\"X_1\" alt=\"X_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f05\/e10\/62d\/f05e1062d0d9271eeea599dec2872c41.svg\"\/>) \u0438 \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u044d\u0442\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435.<\/p>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c Shapley Flow, \u043a\u0430\u043a \u0438 Shapley values, \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0430\u043a\u0441\u0438\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0438 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 SHAP \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 Shapley values, \u0442\u043e Shapley Flow \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 Owen values &#8212; \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044f Shapley values. \u0411\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 <a href=\"https:\/\/arxiv.org\/abs\/2010.14592\">Wang et al., 2020<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"7\" id=\"7\"><\/a><\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u0437\u043e\u0440\u0430 \u0431\u044b\u043b\u0430 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c \u043f\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 LIME \u0438 SHAP.<\/p>\n<p>\u0412 <strong>LIME<\/strong> \u043c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 (\u043e\u0431\u044b\u0447\u043d\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e), \u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0430\u044f\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0439 \u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0432\u0432\u043e\u0434\u0438\u0442\u044c \u0432 \u0437\u0430\u0431\u043b\u0443\u0436\u0434\u0435\u043d\u0438\u0435.<\/p>\n<p><strong>SHAP<\/strong> \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043d\u043e \u0441\u0430\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043b\u0435\u0433\u043a\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c. SHAP values \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0438 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u0438 (Tree SHAP, Independent SHAP, Kernel SHAP, Deep SHAP), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f:<\/p>\n<ul>\n<li>\n<p><strong>Tree SHAP<\/strong> \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a &#171;high-speed exact algorithm&#187;, \u043e\u0434\u043d\u0430\u043a\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u043d\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0435 SHAP values.<\/p>\n<\/li>\n<li>\n<p><strong>Independent SHAP<\/strong> \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0445 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u044d\u0442\u043e, SHAP values \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439, \u043d\u043e \u0438 \u0432 \u043e\u0442\u043b\u0430\u0434\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><strong>Shapley Flow<\/strong> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u0449\u0438\u043c, \u043d\u043e \u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0433\u0440\u0430\u0444 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u0438\u043c \u043f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443 \u0438 \u0432\u044b\u0437\u0432\u0430\u043d\u0430 \u0435\u0433\u043e \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u043c\u0430\u043b\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<p><a class=\"anchor\" name=\"8\" id=\"8\"><\/a><\/p>\n<h2>\u0421\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/h2>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1801.00553\">Akhtar and Mian, 2018<\/a>. Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey.<br \/><a href=\"https:\/\/journals.plos.org\/plosone\/article?id=10.1371\/journal.pone.0130140\">Bach et al., 2015<\/a>. On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1806.01261\">Battaglia et al., 2018<\/a>. Relational inductive biases, deep learning, and graph networks.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1904.00760\">Brendel and Bethge, 2019<\/a>. Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1712.09665\">Brown et al., 2017<\/a>. Adversarial Patch.<br \/><a href=\"https:\/\/www.ams.org\/journals\/bull\/2009-46-02\/S0273-0979-09-01249-X\/S0273-0979-09-01249-X.pdf\">Carlsson, 2009<\/a>. Topology and Data.<br \/><a href=\"https:\/\/arxiv.org\/abs\/2006.16234\">Chen et al., 2020<\/a>. True to the Model or True to the Data?<br \/><a href=\"https:\/\/arxiv.org\/abs\/1911.01547\">Chollet, 2019<\/a>. On the Measure of Intelligence.<br \/><a href=\"https:\/\/pubmed.ncbi.nlm.nih.gov\/9564279\/\">Cox et al., 1997<\/a>. Plan and operation of the NHANES I Epidemiologic Followup Study, 1992.<br \/><a href=\"https:\/\/www.deeplearningbook.org\/\">Goodfellow et al., 2016<\/a>. Deep Learning.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1310.0425\">Fefferman et al., 2013<\/a>. Testing the Manifold Hypothesis.<br \/><a href=\"https:\/\/arxiv.org\/abs\/2011.15091\">Goyal and Bengio, 2020<\/a>. Inductive Biases for Deep Learning of Higher-Level Cognition.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1910.13413\">Janzing et al., 2019<\/a>. Feature relevance quantification in explainable AI: A causal problem.<br \/><a href=\"https:\/\/www.researchgate.net\/publication\/221653692_Leakage_in_Data_Mining_Formulation_Detection_and_Avoidance\">Kaufman et al., 2011<\/a>. Leakage in Data Mining: Formulation, Detection, and Avoidance.<br \/><a href=\"https:\/\/www.jstor.org\/stable\/2684310\">Kruskal, 1987<\/a>. Relative Importance by Averaging Over Orderings.<br \/><a href=\"https:\/\/arxiv.org\/abs\/2002.11097\">Kumar et al., 2020<\/a>. Problems with Shapley-value-based explanations as feature importance measures.<br \/><a href=\"https:\/\/arxiv.org\/abs\/2103.10689\">Li et al., 2021<\/a>. Interpretable Deep Learning: Interpretation, Interpretability, Trustworthiness, and Beyond.<br \/><a href=\"https:\/\/www.semanticscholar.org\/paper\/Explainable-AI%3A-A-Review-of-Machine-Learning-Linardatos-Papastefanopoulos\/f156ecbbb9243522275490d698c6825f4d2e01af\">Linardatos et al., 2020<\/a>. Explainable AI: A Review of Machine Learning Interpretability Methods.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1705.07874\">Lundberg and Lee, 2017<\/a>. A Unified Approach to Interpreting Model Predictions.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1802.03888\/\">Lundberg et al., 2018<\/a>. Consistent Individualized Feature Attribution for Tree Ensembles.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>. Explainable AI for Trees: From Local Explanations to Global Understanding.<br \/><a href=\"https:\/\/www.researchgate.net\/publication\/229728883_Analysis_of_Regression_in_Game_Theory_Approach\">Lipovetsky and Conklin, 2001<\/a>. Analysis of Regression in Game Theory Approach.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1909.08128\/\">Merrick and Taly, 2019<\/a>. The Explanation Game: Explaining Machine Learning Models Using Shapley Values.<br \/><a href=\"https:\/\/ftp.cs.ucla.edu\/pub\/stat_ser\/r277.pdf\">Pearl and Russell, 2000<\/a>. Bayesian networks.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1602.04938\">Ribeiro et al., 2016<\/a>. &#171;Why Should I Trust You?&#187;: Explaining the Predictions of Any Classifier.<br \/><a href=\"https:\/\/www.rand.org\/pubs\/papers\/P295.html\">Shapley, 1952<\/a>. A Value for N-Person Games.<br \/><a href=\"https:\/\/arxiv.org\/abs\/2108.13624\">Shen et al., 2021<\/a>. Towards Out-Of-Distribution Generalization: A Survey.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1704.02685\">Shrikumar et al., 2017<\/a>. Learning Important Features Through Propagating Activation Differences.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1312.6034\">Simonyan et al., 2013<\/a>. Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps.<br \/><a href=\"https:\/\/dl.acm.org\/doi\/10.1007\/s10115-013-0679-x\">\u0160trumbelj and Kononenko, 2014<\/a>. Explaining prediction models and individual predictions with feature contributions.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1409.4842\">Szegedy et al., 2014<\/a>. Going Deeper with Convolutions.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1703.01365\">Sundararajan et al., 2017<\/a>. Axiomatic Attribution for Deep Networks.<br \/><a href=\"https:\/\/arxiv.org\/abs\/1908.08474\">Sundararajan and Najmi, 2019<\/a>. The many Shapley values for model explanation.<br \/><a href=\"https:\/\/arxiv.org\/abs\/2010.14592\">Wang et al., 2020<\/a>. Shapley Flow: A Graph-based Approach to Interpreting Model Predictions.<br \/><a href=\"https:\/\/arxiv.org\/abs\/2110.11334\">Yang et al., 2021<\/a>. Generalized Out-of-Distribution Detection: A Survey.<\/p>\n<hr\/>\n<p>\u0414\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 <a href=\"http:\/\/www.generalized.ru\/\">generalized.ru<\/a>, \u0433\u0434\u0435 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u0431\u0437\u043e\u0440\u044b.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/599573\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/599573\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0431\u0437\u043e\u0440\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043c\u0435\u0442\u043e\u0434\u044b LIME \u0438 SHAP \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u0434\u0432\u0438\u0433\u0430 \u0438 \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0442\u044c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 production \u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u043c\u0435\u0442\u043e\u0434\u0430 SHAP \u0438 \u0435\u0433\u043e \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0438 \u0432 \u0432\u0438\u0434\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h2>\n<p><a href=\"#1\">\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.1\">\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.2\">\u0421\u0434\u0432\u0438\u0433 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.3\">\u0423\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#1.4\">\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/a><br \/> <a href=\"#2\">LIME: Local Interpretable Model-agnostic Explanations<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.1\">\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.2\">\u041e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.3\">\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.4\">LIME-SP: \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0439 \u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0443\u044e<\/a><br \/> <a href=\"#3\">SHAP: Shapley Additive Explanation Values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.1\">Shapley values \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u0433\u0440<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.2\">Shapley regression values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.3\">SHAP values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.4\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f SHAP values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.5\">Independent SHAP<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.6\">Kernel SHAP<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.7\">Tree SHAP<\/a><br \/> <a href=\"#4\">SHAP \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.1\">Waterfall plot<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.2\">Summary plot<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.3\">Dependence plot<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.4\">\u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP loss values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#4.5\">Supervised-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SHAP<\/a><br \/> <a href=\"#5\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b SHAP values<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.1\">SHAP values \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.2\">\u0421\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u043d\u0438\u0446 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/> <a href=\"#6\">Shapley Flow<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.1\">\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.2\">\u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 Shapley Flow<\/a><br \/> <a href=\"#7\">\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/a><br \/> <a href=\"#8\">\u0421\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/a><\/p>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<h2>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h2>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (\u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043c\u0430\u0448\u0438\u043d\u044b \u043e\u043f\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432) \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f &#171;\u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u043c\u0438&#187; \u0432 \u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b. \u041d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0447\u0430\u0441\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043b\u043e\u0445\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b. \u0417\u0434\u0435\u0441\u044c \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0443 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0443 \u0444\u043e\u0440\u043c\u0435, \u0442\u043e \u0435\u0441\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438\u043b\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0435\u0441\u0442\u044c<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u043c \u0432\u0438\u0434\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0441 \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0441\u0445\u0435\u043c \u0438\u043b\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432)<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u043e\u0441\u0442\u0438\u0447\u044c \u043f\u043e\u043b\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u0434\u0430\u0436\u0435 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u043c\u043e\u0447\u044c. \u041e\u0431\u0437\u043e\u0440 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <a href=\"https:\/\/www.semanticscholar.org\/paper\/Explainable-AI%3A-A-Review-of-Machine-Learning-Linardatos-Papastefanopoulos\/f156ecbbb9243522275490d698c6825f4d2e01af\">Linardatos et al., 2020<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2103.10689\">Li et al., 2021<\/a>. \u0427\u0435\u043c \u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438?<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442).<\/p>\n<blockquote>\n<p>The need to explain predictions from tree models is widespread. It is particularly important in medical applications, where the patterns uncovered by a model are often even more important than the model\u2019s prediction performance. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. \u0415\u0441\u043b\u0438 \u043c\u044b \u0443\u0437\u043d\u0430\u0435\u043c, \u043d\u0430 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u0430\u043a\u0438\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438, \u0442\u043e \u0441\u043c\u043e\u0436\u0435\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b.<\/p>\n<blockquote>\n<p>Humans usually have prior knowledge about the application domain, which they can use to accept (trust) or reject a prediction if they understand the reasoning behind it. (<a href=\"https:\/\/arxiv.org\/abs\/1602.04938\">Ribeiro et al., 2016<\/a>)<\/p>\n<\/blockquote>\n<p>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u0440\u0430\u0437\u0432\u0435 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435? \u0427\u0430\u0441\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0440\u044f\u0434\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0441\u0434\u0432\u0438\u0433 \u0438 \u0443\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><a class=\"anchor\" name=\"1.1\" id=\"1.1\"><\/a><\/p>\n<h3>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u041d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 \u0432\u0441\u0435\u0433\u043e \u043e\u0431\u0437\u043e\u0440\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043d\u044f\u0442\u0438\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442  \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0438 -\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 , \u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0440\u0430\u0432\u043d\u043e . \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043b\u0438\u0448\u044c \u043c\u0430\u043b\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 .<\/p>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 (statistical learning framework), \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u043c\u0435\u044e\u0449\u0438\u0439\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442  \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u0437 <em>\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/em> , \u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0442\u0430\u043a\u0436\u0435 <em>\u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c\u044e<\/em>.  \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430  \u043a\u0430\u043a \u0432\u0437\u044f\u0442\u043e\u0433\u043e \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f  \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043b\u0438\u0448\u044c \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u043d\u0435 \u0438\u043c\u0435\u0435\u043c \u0441\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f . \u041d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e  \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u043b\u0438\u043a\u043e \u0434\u043b\u044f &#171;\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445&#187; \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 , \u0438 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e \u0434\u043b\u044f \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.  \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u0434\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u043e\u0436\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u043e \u043f\u0440\u043e\u0434\u0430\u0436\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u0435\u0439. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u0435\u0440\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;Lada Granta&#187; \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&#187;<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;\u041f\u043e\u0431\u0435\u0434\u0430&#187; \u0441 \u0434\u0432\u0438\u0433\u0430\u0442\u0435\u043b\u0435\u043c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c\u044e 500 \u043b. \u0441. \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f  \u0432\u0435\u0440\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>  P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&quot;})&#187; alt=&#187;P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;Lada Granta&quot;}) > P(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&quot;})&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a55\/b46\/561\/a55b46561c0e8ab7c42cd45613668180.svg&#187;\/><\/p>\n<\/li>\n<li>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,  \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u0437 . \u041d\u0430 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0445 \u0438\u043b\u0438 \u0438\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043d\u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u044e\u0442  \u0438\u043b\u0438 , \u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 &#8212; \u0442\u043e\u043b\u044c\u043a\u043e , \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0443\u043f\u0440\u043e\u0449\u0430\u044f \u0435\u0433\u043e \u0434\u043e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f . \u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c &#8212; \u0442\u043e \u044d\u0442\u043e \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u041d\u043e \u0442\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u044e\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 , \u0442\u043e \u0435\u0441\u0442\u044c \u043e \u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043b\u0435\u0436\u0438\u0442 \u043b\u0438 \u043e\u043d\u043e \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0430\u043c\u043e \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f.<\/p>\n<p><a class=\"anchor\" name=\"1.2\" id=\"1.2\"><\/a><\/p>\n<h3>\u0421\u0434\u0432\u0438\u0433 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u0421\u0434\u0432\u0438\u0433 \u0434\u0430\u043d\u043d\u044b\u0445 (data shift) \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f, \u0441\u0440\u0435\u0434\u043d\u0435\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0442\u0435\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438: . \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 , \u0442\u043e \u0434\u0432\u0443\u043c\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f:<\/p>\n<ol>\n<li>\n<p>\u0421\u0434\u0432\u0438\u0433 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <\/p>\n<\/li>\n<li>\n<p>\u0421\u0434\u0432\u0438\u0433 \u0432 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 <\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 1.<\/strong> \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u0440\u0438\u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (accuracy, MSE, logloss, F1 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435) \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 , \u0442\u043e \u0435\u0441\u0442\u044c, \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u0442 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c 80% \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0431\u044b\u043b\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (HQ), \u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0431\u0443\u0434\u0435\u0442 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u043a\u043e\u0433\u0434\u0430, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, 80% \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0443\u0442 \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (LQ). \u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0434\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: \u043d\u0430 HQ-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0439, \u0430 \u043d\u0430 LQ-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u0439. \u0415\u0441\u043b\u0438 \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0431\u044b\u043b\u0438 HQ, \u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0443\u0447\u0448\u0435, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043b\u0443\u0447\u0448\u0435 \u0431\u044b\u043b\u0430 \u0431\u044b \u0432\u0442\u043e\u0440\u0430\u044f.<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 2.<\/strong> \u0412 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u044b \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u0445 \u043f\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044e, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0440\u044b\u0431, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443 \u043d\u0430\u0441 \u0438\u043c\u0435\u044e\u0442\u0441\u044f, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0442\u0430\u043a\u0436\u0435 \u043f\u0430\u043b\u044c\u0446\u044b \u0440\u044b\u0431\u0430\u043a\u0430 (\u044d\u0442\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438). \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0440\u044b\u0431\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0435\u0435 \u043f\u0430\u043b\u044c\u0446\u044b, \u0447\u0442\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 (<a href=\"https:\/\/arxiv.org\/abs\/1904.00760\">Brendel and Bethge, 2019<\/a>).<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 3.<\/strong> \u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0432\u0441\u0435 \u0442\u0435 \u0442\u0438\u043f\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043b\u0438\u0431\u043e \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0438\u0445 \u0432 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0442\u0430\u043a\u0438\u0445 \u0442\u0438\u043f\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438\u043b\u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u0440\u0435\u0434\u043a\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u043b\u0435\u0436\u0430\u043b\u0438 \u0432\u043d\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439  \u0438  (<strong>out-of-distribution<\/strong>, OOD). \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438,  0\\} \\subsetneq \\{x | P_{usage}(x) > 0\\} \\subsetneq X&#187; alt=&#187;\\{x | P_{train}(x) > 0\\} \\subsetneq \\{x | P_{usage}(x) > 0\\} \\subsetneq X&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d3\/db0\/254\/0d3db025497c2d8987b11677b3200f10.svg&#187;\/> (<em>\u0440\u0438\u0441. 1<\/em>), \u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f\u0441\u044f \u043d\u0430 , \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 . \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, g\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u0430\u0442\u0430\u043a, &#171;\u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u044e\u0449\u0438\u0445&#187; \u043c\u043e\u0434\u0435\u043b\u044c (<em>\u0440\u0438\u0441. 1<\/em>) (c\u043c. <a href=\"https:\/\/arxiv.org\/abs\/1712.09665\">Brown et al., 2017<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1801.00553\">Akhtar and Mian, 2018<\/a>).<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0438\u0437 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0439 \u0441\u043e\u0431\u0430\u043a\u0438, \u043f\u043e\u043a\u0440\u0430\u0448\u0435\u043d\u043d\u043e\u0439 \u0432 \u0440\u0430\u0434\u0443\u0436\u043d\u044b\u0435 \u0446\u0432\u0435\u0442\u0430, \u0438\u043b\u0438 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0439 \u043b\u0438\u0446\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043d\u0430 \u043b\u043e\u0431 \u043f\u0440\u0438\u043a\u043b\u0435\u0435\u043d\u043e \u0444\u043e\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u0422\u0430\u043a\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f OOD-\u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u0422\u0430\u043a\u0436\u0435 OOD-\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u043e\u0447\u0435\u043d\u044c \u0440\u0435\u0434\u043a\u0438\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u0430\u043a\u0438\u0445-\u043b\u0438\u0431\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u043c\u0430\u043b\u043e \u0448\u0430\u043d\u0441\u043e\u0432 \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443. \u0414\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 (<a href=\"https:\/\/arxiv.org\/abs\/2110.11334\">Yang et al., 2021<\/a>), \u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439, \u0447\u0435\u043c \u0442\u0435, \u0447\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u0435\u0442\u0440\u0438\u043a &#171;\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438&#187; \u043c\u043e\u0434\u0435\u043b\u0438 (<a href=\"https:\/\/arxiv.org\/abs\/2108.13624\">Shen et al., 2021<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/2011.15091\">Goyal and Bengio, 2020<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1806.01261\">Battaglia et al., 2018<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1911.01547\">Chollet, 2019<\/a>).<\/p>\n<figure class=\"full-width\"><figcaption>\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043b\u044f \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u0430\u0442\u0430\u043a, &#171;\u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u044e\u0449\u0438\u0445&#187; \u043c\u043e\u0434\u0435\u043b\u044c.<\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"1.3\" id=\"1.3\"><\/a><\/p>\n<h3>\u0423\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u0423\u0442\u0435\u0447\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 (data leakage, \u0438\u043b\u0438 target leakage) \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u043a\u0438\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ID \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0434\u0438\u0430\u0433\u043d\u043e\u0437\u043e\u043c, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 <\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-327942","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/327942","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=327942"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/327942\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=327942"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=327942"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=327942"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}