{"id":328390,"date":"2022-01-21T15:00:47","date_gmt":"2022-01-21T15:00:47","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=328390"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=328390","title":{"rendered":"<span>CatBoost, XGBoost \u0438 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445 \u0438 \u0438\u0445 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a CatBoost \u0438 XGBoost, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0432\u0441\u0435 \u0438\u043c\u0435\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b &#171;\u0438\u0437\u043d\u0443\u0442\u0440\u0438&#187;.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043c. \u041c\u044b \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e\u0431 XGBoost \u0438 CatBoost. \u0421\u0440\u0435\u0434\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 CatBoost:<\/p>\n<ul>\n<li>\n<p>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>one_hot_max_size<\/code>)<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e <code>grow_policy='SymmetricTree'<\/code>)<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0442\u0432\u0435\u0439 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c, \u043d\u043e \u0438 \u043f\u043e \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f\u043c (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>max_ctr_complexity<\/code>)<\/p>\n<\/li>\n<li>\n<p>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>boosting_type='Ordered'<\/code>) \u0434\u043b\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>text_features<\/code> \u043c\u0435\u0442\u043e\u0434\u0430 <code>fit<\/code>) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e bag-of-words<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 GPU (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>task_type='GPU'<\/code> \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 <code>fit<\/code>), \u0445\u043e\u0442\u044f \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043a\u043e\u043d\u0446\u0435 \u043e\u0431\u0437\u043e\u0440\u0430 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (MDI, SHAP) \u0438 \u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 CatBoost, \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u0430\u043c\u0438: \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u043e\u0431\u0437\u043e\u0440\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c (\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c) \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b N \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"y = x_1 x_2 \\dots x_{N+1}\" alt=\"y = x_1 x_2 \\dots x_{N+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b29\/1a6\/ac1\/b291a6ac1a0b2e77776567794df5480a.svg\"\/>. \u041f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0442\u0430\u043a\u0436\u0435 \u043e \u0432\u044b\u0432\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h2>\n<p><a href=\"#1\">\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/><a href=\"#2\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.1\">\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.2\">\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.3\">\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.4\">\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u043e\u0431\u0440\u0435\u0437\u043a\u0430 \u0434\u0435\u0440\u0435\u0432\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.5\">\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.6\">\u0414\u0440\u0443\u0433\u0438\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/><a href=\"#3\">\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.1\">\u0411\u044d\u0433\u0433\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.2\">\u0411\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.3\">\u0420\u0430\u043d\u043d\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: AdaBoost<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.4\">\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.5\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.6\">\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.7\">\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.8\">\u0421\u0432\u044f\u0437\u044c \u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c<\/a><br \/><a href=\"#4\">XGBoost<\/a><br \/><a href=\"#5\">CatBoost: \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u0439 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.1\">\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.2\">\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.3\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.4\">\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.5\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c CatBoost<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.6\">\u041a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 CatBoost<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.7\">\u041e\u0431\u0437\u043e\u0440 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 CatBoost<\/a><br \/><a href=\"#6\">\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.1\">\u041e\u0446\u0435\u043d\u043a\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.2\">SHAP values<\/a><br \/><a href=\"#7\">\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.1\">\u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.2\">\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.3\">\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.4\">\u0412\u044b\u0432\u043e\u0434\u044b \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/a><br \/><a href=\"#8\">\u0421\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/a><\/p>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<h2>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h2>\n<p>\u0420\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0445\u043e\u0442\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f). \u0412 \u043e\u0431\u0449\u0435\u043c \u0432\u0438\u0434\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e &#8212; \u044d\u0442\u043e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432 \u0432\u0438\u0434\u0435 \u0433\u0440\u0430\u0444\u0430. \u0412 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u0445 (\u0437\u0432\u0435\u043d\u044c\u044f\u0445) \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u0438\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u0438 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u0443\u0442\u044c \u0432 \u0433\u0440\u0430\u0444\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 \u0432\u0435\u0440\u0448\u0438\u043d (\u043b\u0438\u0441\u0442\u044c\u0435\u0432).<\/p>\n<p>\u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0432\u0435\u043d\u044c\u044f \u0438 \u043b\u0438\u0441\u0442\u044c\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u043a\u0430\u0436\u0434\u044b\u0439 \u043b\u0438\u0441\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443, \u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0432\u0435\u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 (<em>\u0440\u0438\u0441. 1<\/em>). \u0415\u0441\u043b\u0438 \u0432 \u0437\u0432\u0435\u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u0442\u043e \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0443\u0442\u0438, \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430 &#8212; \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0443\u0442\u0438, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438 (<em>\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435, \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0437\u0436\u0435<\/em>).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0433\u0440\u0430\u0444\u0430 (\u043a\u043e\u0440\u043d\u044f).\" title=\"\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0433\u0440\u0430\u0444\u0430 (\u043a\u043e\u0440\u043d\u044f).\" height=\"364\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7b\/5b4\/108\/e7b5b4108b51c66e706ba63c95ecd6ae.png\" data-width=\"850\"\/><figcaption>\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0433\u0440\u0430\u0444\u0430 (\u043a\u043e\u0440\u043d\u044f).<\/figcaption><\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u0438\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u0443\u0432\u0435\u043a\u0430 \u043d\u0430\u0437\u0430\u0434 (<a href=\"http:\/\/cda.psych.uiuc.edu\/statistical_learning_course\/morgan_sonquist.pdf\">Morgan and Sonquist, 1963<\/a>), \u0438 \u0441 \u0442\u0435\u0445 \u043f\u043e\u0440 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c. \u0412 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043e\u0434\u043d\u0438 \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (scikit-learn, XGBoost, LightGBM, CatBoost) \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432.<\/p>\n<p>\u0421 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u0430 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043e\u0434\u043d\u0438\u0445 \u0437\u0430\u0434\u0430\u0447, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p><strong>\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/strong> \u041c\u043d\u043e\u0433\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0430\u043a \u0431\u043b\u043e\u043a-\u0441\u0445\u0435\u043c\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0434\u0438\u0430\u0433\u043d\u043e\u0437\u0430 \u0432\u0440\u0430\u0447 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443. \u0415\u0441\u043b\u0438 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0432\u044b\u0448\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430, \u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u0434\u0443 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0433\u043e\u0440\u043b\u043e, \u043f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c \u043b\u0435\u0433\u043a\u0438\u0435 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041b\u0438\u0441\u0442\u044c\u044f\u043c\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043e\u043a\u0430\u0436\u0443\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0434\u0438\u0430\u0433\u043d\u043e\u0437\u044b. \u0412 \u0446\u0435\u043b\u043e\u043c, \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0434\u0435\u0435 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p><strong>\u041d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/strong> \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"y(x) = x_2 - x_1\" alt=\"y(x) = x_2 - x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a80\/5da\/ebd\/a805daebdaa3f84a7378f8c86c36f895.svg\"\/> (<em>\u0440\u0438\u0441. 2a<\/em>) \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e\u043c (<em>\u0440\u0438\u0441. 2b<\/em>). \u0420\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u043f\u0440\u044f\u043c\u043e\u0443\u0433\u043e\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430. \u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u044f\u0432\u043d\u043e \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u0435\u043d. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0435\u0441\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dee\/6bc\/3e7\/dee6bc3e78e87a70475df6ce612ad34d.svg\"\/>, \u0442\u043e \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0437\u0440\u044b\u0432\u043d\u043e\u0439 (\u043a\u0443\u0441\u043e\u0447\u043d\u043e-\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439), \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"y(x)\" alt=\"y(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8fe\/db1\/95f\/8fedb195fef3b289da11f7ec0c8ff875.svg\"\/> \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u0430. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u0432\u043b\u0438\u044f\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"x_2 - x_1\" alt=\"x_2 - x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da2\/a34\/639\/da2a346393dbad76aeacc2dad38062d5.svg\"\/>, \u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0432\u0435\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0431\u043e <img decoding=\"async\" class=\"formula inline\" source=\"x_1\" alt=\"x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/108\/b8a\/acf\/108b8aacf64b108c1ab32226b3fc4c18.svg\"\/>, \u043b\u0438\u0431\u043e <img decoding=\"async\" class=\"formula inline\" source=\"x_2\" alt=\"x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b2b\/e8d\/dc0\/b2be8ddc041b9a576cb4d23b5bd1ccec.svg\"\/>, \u0447\u0442\u043e \u0442\u043e\u0436\u0435 \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e. \u0414\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0445\u043e\u0442\u044f \u0441\u0430\u043c\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10c\/2e8\/835\/10c2e88352d0e795ec8e98b32b3d650e.svg\"\/> \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0430. \u0418 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435), \u0442\u043e \u0432 \u0442\u0435\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u043c\u0430\u043b\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u043e\u043d\u0438 \u0432\u043e\u0432\u0441\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442, \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae2\/be8\/7cb\/ae2be87cb9af0bcd70698ec1d4509e76.svg\"\/> \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0430 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e (\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0434\u043d\u0438\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e\u043c \u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432.\" title=\"\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0434\u043d\u0438\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e\u043c \u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432.\" height=\"301\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/347\/bb4\/b38\/347bb4b387a2f347e7fbb8bd5b4b9726.png\" data-width=\"846\"\/><figcaption>\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0434\u043d\u0438\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e\u043c \u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432.<\/figcaption><\/figure>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0437\u0440\u044b\u0432\u043d\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/58b\/8cf\/f85\/58b8cff855779f26f346146b2f0a4db9.svg\"\/> \u0438 \u043d\u0435\u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446 \u043c\u0435\u0436\u0434\u0443 \u043b\u0438\u0441\u0442\u044c\u044f\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u044f\u0433\u0447\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435 \u043e\u0434\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0430 \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c \u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u044b (<em>\u0440\u0438\u0441. 2c<\/em>). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043b\u0438\u0431\u043e \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043b\u0438\u0431\u043e \u0441\u0430\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e\u0431\u044b \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 &#171;\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441&#187; \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0430 \u0438\u043b\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0440\u0430\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0437\u0436\u0435. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u0435 \u0436\u0435 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f &#8212; \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u0435 \u0432\u0441\u0435\u0445 \u0442\u0435\u0445, \u0447\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041d\u0430 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 (<em>\u0440\u0438\u0441. 2<\/em>) \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0434\u0430\u044e\u0442 \u043d\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u044e\u0449\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0432 \u044d\u0442\u043e\u0439 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u041d\u043e \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0441\u0435\u0439\u0447\u0430\u0441 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<blockquote>\n<p>While deep learning models are more appropriate in fields like image recognition, speech recognition, and natural language processing, tree-based models consistently outperform standard deep models on tabular-style datasets where features are individually meaningful and do not have strong multi-scale temporal or spatial structures. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"2\" id=\"2\"><\/a><\/p>\n<h2>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h2>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 \u043f\u0430\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"\\{x_i, y_i\\}_{i=1}^N\" alt=\"\\{x_i, y_i\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c22\/a80\/7f2\/c22a807f2328147ad77a12ee95cee591.svg\"\/> \u0438 \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u043e \u043d\u0435\u043c\u0443 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e. \u041c\u043e\u0436\u043d\u043e \u0431\u0435\u0437 \u0442\u0440\u0443\u0434\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u043e\u0434\u043d\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0434\u0430\u044e\u0449\u0438\u0445 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 100%-\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c (\u0435\u0441\u043b\u0438 \u0432 \u043d\u0435\u0439 \u043d\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/69c\/685\/c67\/69c685c678a43d688592e2da830ad8e0.svg\"\/>, \u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/512\/34e\/fc5\/51234efc52dc116f4aa9286dc7ba6e62.svg\"\/>). \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0434\u043b\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043b\u044e\u0431\u043e\u0439 \u043f\u043e\u0440\u043e\u0433, \u0438 \u0442\u043e\u0433\u0434\u0430 \u0440\u0430\u043d\u043e \u0438\u043b\u0438 \u043f\u043e\u0437\u0434\u043d\u043e \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043b\u0438\u0441\u0442\u044c\u044f. \u041d\u043e \u043d\u0430\u043c \u0432\u0430\u0436\u043d\u0430 \u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0430 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f &#8212; \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u043c \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u044e\u0449\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0437\u044f\u0442\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430.<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u043c \u0431\u0440\u0438\u0442\u0432\u044b \u041e\u043a\u043a\u0430\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0445, \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 (\u043f\u043e \u0441\u0443\u043c\u043c\u0440\u043d\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0438\u043b\u0438 \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0434\u043b\u0438\u043d\u0435 \u043f\u0443\u0442\u0438 \u0432 \u0433\u0440\u0430\u0444\u0435) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f NP-\u043f\u043e\u043b\u043d\u043e\u0439 (<a href=\"https:\/\/core.ac.uk\/download\/pdf\/81927999.pdf\">Hancock et al., 1996<\/a>; <a href=\"https:\/\/people.csail.mit.edu\/rivest\/HyafilRivest-ConstructingOptimalBinaryDecisionTreesIsNPComplete.pdf\">Hyafil and Rivest, 1976<\/a>), \u0442\u043e \u0435\u0441\u0442\u044c (\u0435\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"P \\neq NP\" alt=\"P \\neq NP\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9d0\/c80\/0e7\/9d0c800e7988b3eb0c02522015570556.svg\"\/>) \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0439.<\/p>\n<p>\u0412\u043e\u043e\u0431\u0449\u0435 \u043c\u043d\u043e\u0433\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438, \u0435\u0441\u043b\u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438\u0437 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0438\u0441\u043a (exhaustive search). \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043b\u0438\u0431\u043e \u0436\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a (greedy search), \u043b\u0438\u0431\u043e \u043b\u0443\u0447\u0435\u0432\u043e\u0439 \u043f\u043e\u0438\u0441\u043a (beam search). \u0416\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0438\u0449\u0435\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0449\u0435\u0435 \u043a \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u043c\u0443 &#171;\u0441\u0438\u044e\u043c\u0438\u043d\u0443\u0442\u043d\u043e\u043c\u0443&#187; \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u043d\u0430\u043a\u043e\u043c\u044f\u0441\u044c \u0441 \u0434\u0435\u0432\u0443\u0448\u043a\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f, \u0432\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 (\u0442. \u0435. \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0438\u0441\u043a), \u043d\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u0444\u0440\u0430\u0437\u044b \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 (\u0436\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a).<\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u043f\u043e\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0437\u0434\u043d\u0435\u0435.<\/em><\/p>\n<p><a class=\"anchor\" name=\"2.1\" id=\"2.1\"><\/a><\/p>\n<h3>\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/h3>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c \u0436\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u0441\u0442\u0440\u043e\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u044f \u043e\u0434\u0438\u043d \u0438\u0437 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u043d\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432\u0435\u0434\u0443\u0449\u0435\u0435 \u043a \u0434\u0432\u0443\u043c \u043b\u0438\u0441\u0442\u044c\u044f\u043c. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u041b\u0438\u0441\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5e\/81e\/1aa\/a5e81e1aaa2597ceca32d4a06bb3980b.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c<\/p>\n<\/li>\n<li>\n<p>\u0421\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (\u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043f\u043e\u0440\u043e\u0433)<\/p>\n<\/li>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/144\/65f\/839\/14465f8395b8078c93812adaec0245cd.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C^\\prime\" alt=\"C^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f60\/ef6\/4b3\/f60ef64b3b68bc0bdf5401bf1f46e1b4.svg\"\/> \u043d\u0430 \u0434\u0432\u0443\u0445 \u043d\u043e\u0432\u044b\u0445 \u043b\u0438\u0441\u0442\u044c\u044f\u0445<\/p>\n<\/li>\n<\/ol>\n<p>\u042d\u0442\u043e\u0442 \u0432\u044b\u0431\u043e\u0440 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0432\u0441\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043b\u0438\u0441\u0442\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cb0\/a83\/017\/cb0a83017f68542198b76a820c87e238.svg\"\/>.<\/p>\n<p>\u0428\u0430\u0433 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u043c\u044b \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u043c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043b\u0438\u0441\u0442\u044c\u044f, \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u043f\u043e\u0440\u043e\u0433\u0438 (\u0435\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fe\/db1\/e98\/4fedb1e9834077057eb1f74d07718823.svg\"\/>, \u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc6\/267\/162\/cc6267162a3e9a61d5db84531ab9d3bc.svg\"\/> \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N-1\" alt=\"N-1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c42\/d1f\/6db\/c42d1f6db5fa7c2c33e5241a0b011879.svg\"\/> \u043f\u043e\u0440\u043e\u0433\u043e\u0432). \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430, \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438 \u043f\u043e\u0440\u043e\u0433\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d3\/b98\/666\/3d3b986661f4b852df027cbbd49393e3.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C^\\prime\" alt=\"C^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e6\/b52\/fca\/5e6b52fca7aa4064aadb5e2d147fbeae.svg\"\/> \u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0435\u0433\u043e\u0441\u044f \u0434\u0435\u0440\u0435\u0432\u0430. \u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u043e\u0442 \u043b\u0438\u0441\u0442, \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043f\u043e\u0440\u043e\u0433, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0435\u0435, \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u043e\u0432\u044b\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c.<\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf7\/155\/e23\/bf7155e23b56f1994284682a70060094.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C^\\prime\" alt=\"C^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b11\/77e\/cac\/b1177ecac9bcc767fc158d74153a07ca.svg\"\/> \u043d\u0430 \u0434\u0432\u0443\u0445 \u043d\u043e\u0432\u044b\u0445 \u043b\u0438\u0441\u0442\u044c\u044f\u0445?<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0432 \u043e\u0434\u0438\u043d \u043b\u0438\u0441\u0442 \u043f\u043e\u043f\u0430\u043b\u043e <img decoding=\"async\" class=\"formula inline\" source=\"N_1\" alt=\"N_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fc\/084\/313\/3fc084313032556abdd788d31663707a.svg\"\/> \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"y_1, \\dots, y_{N_1}\" alt=\"y_1, \\dots, y_{N_1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b9\/3c8\/41a\/0b93c841a6c529345dcb66543f0b589e.svg\"\/>, \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u043b\u0438\u0441\u0442 \u043f\u043e\u043f\u0430\u043b\u043e <img decoding=\"async\" class=\"formula inline\" source=\"N_2\" alt=\"N_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03a\/e20\/91e\/03ae2091e4617c90ab0ae2c77e26c415.svg\"\/> \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"y^\\prime_1, \\dots, y^\\prime_{N_2}\" alt=\"y^\\prime_1, \\dots, y^\\prime_{N_2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/51a\/386\/b2b\/51a386b2bda8969312a06dd672f219cf.svg\"\/>. \u0417\u0430\u043f\u0438\u0448\u0435\u043c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0435\u0435 \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/884\/f40\/496\/884f4049636c006400fc4c0a2ce1c77f.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C^\\prime\" alt=\"C^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b33\/fe1\/bee\/b33fe1bee39d7475e12e50919ca8ddcf.svg\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\sum\\limits_{i=1}^{N_1} {Loss}(y_i, C) + \\sum\\limits_{i=1}^{N_2} {Loss}(y^\\prime_i, C^\\prime) \\to \\underset{C, C^\\prime}{\\min} \\tag{1}\" alt=\"\\sum\\limits_{i=1}^{N_1} {Loss}(y_i, C) + \\sum\\limits_{i=1}^{N_2} {Loss}(y^\\prime_i, C^\\prime) \\to \\underset{C, C^\\prime}{\\min} \\tag{1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/129\/776\/acd\/129776acd74cf2491b38abadfb1139b9.svg\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5bb\/837\/6f9\/5bb8376f923ae5c419e415d4fa1c61c3.svg\"\/>, \u0432\u0442\u043e\u0440\u043e\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"C^\\prime\" alt=\"C^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a2b\/8b2\/0f5\/a2b8b20f592c4ab00cf1ac84bec13776.svg\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a9\/b15\/0f2\/3a9b150f2409915836608fdc45c89030.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C^\\prime\" alt=\"C^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b2\/421\/262\/2b2421262f61e361cbe51b381895f2df.svg\"\/>, \u0435\u0441\u043b\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0435 \u0432 \u043e\u0434\u0438\u043d \u0438 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u043b\u0438\u0441\u0442.<\/p>\n<p><a class=\"anchor\" name=\"2.2\" id=\"2.2\"><\/a><\/p>\n<h3>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/h3>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443. \u0418\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0444\u043e\u0440\u043c\u0443\u043b\u044b <img decoding=\"async\" class=\"formula inline\" source=\"(1)\" alt=\"(1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e3f\/42c\/a15\/e3f42ca15a7f65be13f82ccba3a62b8d.svg\"\/>, \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043b\u0438\u0441\u0442\u0435 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40d\/487\/4c6\/40d4874c61ded1f1885eb69dae764979.svg\"\/> \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043b\u0438\u0441\u0442\u0435, \u0447\u0442\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\sum\\limits_{i=1}^{N_1} (C - y_i)^2 \\to \\underset{C}{\\min}\" alt=\"\\sum\\limits_{i=1}^{N_1} (C - y_i)^2 \\to \\underset{C}{\\min}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53d\/445\/e96\/53d445e967726d0edbf8c9e1ac9a711c.svg\"\/><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"y_i\" alt=\"y_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8c\/278\/e0f\/f8c278e0f0c1cf1c1a1f290e8d36c2bb.svg\"\/> &#8212; \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b, \u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043f\u043e\u0438\u0441\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439. \u0412\u0437\u044f\u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0438 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0432 \u0435\u0435 \u043a \u043d\u0443\u043b\u044e \u043c\u044b \u043d\u0430\u0439\u0434\u0435\u043c, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ad\/875\/973\/2ad875973b90350d3c82eb70c5144de9.svg\"\/> &#8212; \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"y_i\" alt=\"y_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ddf\/98a\/4cd\/ddf98a4cd607c78710bffe1b8b05f01c.svg\"\/>. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e, <img decoding=\"async\" class=\"formula inline\" source=\"C^\\prime\" alt=\"C^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c4\/52e\/fc7\/3c452efc7d2509127fe5fd17455e0238.svg\"\/> &#8212; \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"y_i^\\prime\" alt=\"y_i^\\prime\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f6e\/64a\/631\/f6e64a63144dc237b383f8a09ef0d135.svg\"\/>.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 (MSE), \u0430 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 (MAE), \u0442\u043e\u0433\u0434\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c1\/5ed\/8d0\/2c15ed8d090f2d62aa9281d9fff5be5c.svg\"\/> \u0431\u044b\u043b\u0430 \u0431\u044b \u043c\u0435\u0434\u0438\u0430\u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"y_i\" alt=\"y_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/764\/0fe\/452\/7640fe45255798b4ac2a0b8e9a6f7039.svg\"\/>.<\/p>\n<p><a class=\"anchor\" name=\"2.3\" id=\"2.3\"><\/a><\/p>\n<h3>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/h3>\n<p>\u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0439\u0442\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u043f\u0443\u0442\u0435\u043c: \u043f\u0443\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043b\u0438\u0441\u0442 \u0432\u044b\u0434\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u043a\u0440\u0435\u0441\u0442\u043d\u0443\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e (logloss). \u041f\u0443\u0441\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0440\u0430\u0432\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/21e\/e6e\/038\/21ee6e038dbb0969c769f650e8eddbfd.svg\"\/>. \u0412\u0432\u0435\u0434\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\{p_k\\}_{i=1}^{K}\" alt=\"\\{p_k\\}_{i=1}^{K}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdb\/8fc\/c09\/cdb8fcc09c2d79fbfffb43ba3e3f8202.svg\"\/> &#8212; \u0434\u043e\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/edd\/ee0\/015\/eddee0015f27fd659c5bf5028b1f0b00.svg\"\/>-\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u043b\u0438\u0441\u0442\u0435<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\{p_k^\\prime\\}_{i=1}^{K}\" alt=\"\\{p_k^\\prime\\}_{i=1}^{K}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/16e\/9c3\/e2f\/16e9c3e2fac81522ae7ae993442d2cfd.svg\"\/> &#8212; \u0434\u043e\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1db\/3a2\/6a7\/1db3a26a72147cedcf59c5fd0c1ebb14.svg\"\/>-\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043b\u0438\u0441\u0442\u0435<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\{C_k\\}_{i=1}^{K}\" alt=\"\\{C_k\\}_{i=1}^{K}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b1\/54e\/533\/6b154e53327cd3b9d5f05b129f4e093b.svg\"\/> &#8212; \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5d\/35f\/892\/f5d35f8925b495bbd2400ee74c56a659.svg\"\/>-\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u043b\u0438\u0441\u0442\u0435<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\{C_k^\\prime\\}_{i=1}^{K}\" alt=\"\\{C_k^\\prime\\}_{i=1}^{K}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f0d\/693\/6aa\/f0d6936aa244e501ac8d86501aae6232.svg\"\/> &#8212; \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b1\/54e\/533\/6b154e53327cd3b9d5f05b129f4e093b.svg\"\/>-\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043b\u0438\u0441\u0442\u0435<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043b\u0438\u0441\u0442\u0435. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u043b\u0438\u0441\u0442\u0435, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0435\u0440\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/630\/80c\/b9d\/63080cb9d5c91426aed7141cd8d4f717.svg\"\/>, \u0440\u0430\u0432\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"N_1 p_k\" alt=\"N_1 p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5bd\/e84\/70d\/5bde8470dd783e260db9e22d5c02051a.svg\"\/>. \u0421\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u043e \u0432\u0441\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u0438 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"C_1, \\dots, C_K\" alt=\"C_1, \\dots, C_K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44f\/b0b\/992\/44fb0b992f01c4b71dbd03e4f4c632d7.svg\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\" - \\sum\\limits_{k=1}^{K} N_1 p_k \\log C_k \\to \\underset{C_1, \\dots, C_K}{\\min} \\qquad \\sum\\limits_{k=1}^{K} C_k = 1\" alt=\" - \\sum\\limits_{k=1}^{K} N_1 p_k \\log C_k \\to \\underset{C_1, \\dots, C_K}{\\min} \\qquad \\sum\\limits_{k=1}^{K} C_k = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/622\/a8a\/2d8\/622a8a2d851096b4dae985b0e7df507b.svg\" width=\"366\" height=\"60\"\/><\/p>\n<p>\u0418\u0437 \u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"N_1\" alt=\"N_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db6\/cd9\/69d\/db6cd969d90b143f14cf70c5d6882d18.svg\"\/>, \u0438 \u0442\u043e\u0433\u0434\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"C_k\" alt=\"C_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/907\/914\/9b8\/9079149b8ef6823e4a6e23d43d432598.svg\"\/> \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0435\u0440\u0435\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p_k\" alt=\"p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/227\/8a4\/af0\/2278a4af09792a74611f3bbd591f2499.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C_k\" alt=\"C_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7e9\/d38\/7e8\/7e9d387e83443b8e799ad8eabfcf351a.svg\"\/>. \u042d\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u041a\u0443\u043b\u044c\u0431\u0430\u043a\u0430-\u041b\u0435\u0439\u0431\u043b\u0435\u0440\u0430 \u043c\u0435\u0436\u0434\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"p_k\" alt=\"p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ee\/638\/e26\/9ee638e26990ef2248673674d37b58a5.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C_k\" alt=\"C_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea8\/e0f\/728\/ea8e0f72889ccf25730f3baf2b686bb0.svg\"\/> \u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p_k = C_k\" alt=\"p_k = C_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/287\/622\/9c8\/2876229c8b0ee366933308aa6e6f7e7c.svg\"\/> \u0434\u043b\u044f \u0432\u0441\u0435\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b4\/6aa\/31f\/8b46aa31fa28d6b3d92ed568e9c815a7.svg\"\/>. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u0435\u043d: \u0435\u0441\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,  \u0432 \u043b\u0438\u0441\u0442\u0435 10% \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043a\u043b\u0430\u0441\u0441\u0430 0 \u0438 90% \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043a\u043b\u0430\u0441\u0441\u0430 1, \u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u043e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 10% \u0438 90%.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043d\u0430\u0448\u043b\u0438, \u0447\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"C_k\" alt=\"C_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df9\/f3f\/b6e\/df9f3fb6e4bf6fd332641d265ff5edf8.svg\"\/> \u0440\u0430\u0432\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"p_k\" alt=\"p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f3e\/e39\/3b8\/f3ee393b883fe31b95817033bd48d998.svg\"\/>. \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043e\u0431\u043e\u0438\u0445 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\" - N_1 \\sum\\limits_{k=1}^{K} p_k \\log p_k - N_2 \\sum\\limits_{k=1}^{K} p_k^\\prime \\log p_k^\\prime = N_1 H(p_k) + N_2 H(p_k^\\prime)\" alt=\" - N_1 \\sum\\limits_{k=1}^{K} p_k \\log p_k - N_2 \\sum\\limits_{k=1}^{K} p_k^\\prime \\log p_k^\\prime = N_1 H(p_k) + N_2 H(p_k^\\prime)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be6\/8db\/e32\/be68dbe32890423c2496e0f0635222f1.svg\" width=\"492\" height=\"60\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"H(p_k)\" alt=\"H(p_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f67\/1e4\/951\/f671e49516674b3baad1bdca4bd76fee.svg\"\/> &#8212; \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"p_k\" alt=\"p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/222\/8a1\/c7c\/2228a1c7c8f37ed4015cb626083e3ba2.svg\"\/> (\u0435\u0435 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"H(\\{p_k\\}_{i=1}^{K})\" alt=\"H(\\{p_k\\}_{i=1}^{K})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/404\/b64\/809\/404b648096bec4612bd949ca5037ea7f.svg\"\/>). \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043f\u043e\u0440\u043e\u0433, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0432 \u043e\u0431\u043e\u0438\u0445 \u043b\u0438\u0441\u0442\u044c\u044f\u0445. \u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0438\u043b\u0438 &#171;\u0437\u0430\u0433\u0440\u044f\u0437\u043d\u0435\u043d\u043d\u043e\u0441\u0442\u0438&#187; (impurity) \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0438 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c 1 \u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u043e\u0432.<\/p>\n<p>\u041c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u044b\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (<em>\u0440\u0438\u0441. 3<\/em>). \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043a\u0440\u043e\u0441\u0441\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e, \u0430 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 (MAE) \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"C_k\" alt=\"C_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9d9\/4d2\/21e\/9d94d221ef3be53cc7f981db47dc423a.svg\"\/> \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c (\u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c) \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c 1 \u0432\u0435\u0440\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443, \u0442\u043e \u043f\u0440\u0438\u0434\u0435\u043c \u043a \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e \u0414\u0436\u0438\u043d\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"N_1 \\sum\\limits_{k=1}^{K} p_k (1 - p_k) + N_2 \\sum\\limits_{k=1}^{K} p_k^\\prime (1 - p_k^\\prime) \\to \\min\" alt=\"N_1 \\sum\\limits_{k=1}^{K} p_k (1 - p_k) + N_2 \\sum\\limits_{k=1}^{K} p_k^\\prime (1 - p_k^\\prime) \\to \\min\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb7\/1ed\/9dc\/eb71ed9dc31cc75c8ff090508358dcfe.svg\" width=\"374\" height=\"60\"\/><\/p>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0447\u0430\u0449\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0449\u0435 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/6f4\/b39\/183\/6f4b391839bda8f34e17e6c4def3f44d.jpg\" alt=\"\u0420\u0438\u0441. 3. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (c) \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u043e\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e, \u0447\u0435\u043c \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 (b).\" title=\"\u0420\u0438\u0441. 3. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (c) \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u043e\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e, \u0447\u0435\u043c \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 (b).\" width=\"1388\" height=\"640\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f4\/b39\/183\/6f4b391839bda8f34e17e6c4def3f44d.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 3. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (c) \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u043e\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e, \u0447\u0435\u043c \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 (b).<\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"2.4\" id=\"2.4\"><\/a><\/p>\n<h3>\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u043e\u0431\u0440\u0435\u0437\u043a\u0430 \u0434\u0435\u0440\u0435\u0432\u0430<\/h3>\n<p>\u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0448\u0430\u0433 \u0440\u043e\u0441\u0442\u0430 \u0434\u0435\u0440\u0435\u0432\u0430, \u043d\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0432\u043e\u043f\u0440\u043e\u0441: \u0434\u043e \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0441\u0442\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u043e? \u041d\u0430 <em>\u0440\u0438\u0441. 3<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0448\u0430\u0433\u0438 \u0440\u043e\u0441\u0442\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u043e\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e. \u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0448\u0430\u0433\u0430\u0445 \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u044f\u0432\u043d\u044b\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043d\u043e \u0437\u0430\u0442\u0435\u043c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0448\u0443\u043c\u0435. \u0413\u043e\u0432\u043e\u0440\u044f \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0439 <a href=\"https:\/\/www.cs.cornell.edu\/courses\/cs4780\/2018fa\/lectures\/lecturenote12.html\">\u0434\u0438\u043b\u0435\u043c\u043c\u044b \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f-\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438<\/a>, \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u0438\u043c\u0435\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u044b \u0443\u0434\u0430\u043b\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043d\u043e\u0432\u044b\u0435).<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0438\u0437 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0441\u043b\u0430\u0431\u043d\u0435\u0442. \u041e\u0434\u043d\u0430\u043a\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0435\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0435\u0440\u0435\u0432\u0430 \u0432 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435 \u0432\u0441\u0435 \u0436\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0438\u0441. 3. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043b\u0438\u0441\u0442\u044c\u0435\u0432.\" title=\"\u0420\u0438\u0441. 3. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043b\u0438\u0441\u0442\u044c\u0435\u0432.\" height=\"568\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/566\/32d\/282\/56632d2826c5e14979dc689a572f4a2f.png\" data-width=\"847\"\/><figcaption>\u0420\u0438\u0441. 3. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043b\u0438\u0441\u0442\u044c\u0435\u0432.<\/figcaption><\/figure>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0447\u0430\u0449\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043d\u0435 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0438\u0441\u0442\u044c\u0435\u0432, \u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0434\u0435\u0440\u0435\u0432\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u043f\u0443\u0442\u0438 \u043e\u0442 \u043a\u043e\u0440\u043d\u044f \u043a \u043b\u0438\u0441\u0442\u0443. \u041c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c: \u043f\u0440\u0435\u043a\u0440\u0430\u0449\u0430\u0442\u044c \u0440\u043e\u0441\u0442 \u0434\u0435\u0440\u0435\u0432\u0430, \u0435\u0441\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0443\u043f\u0430\u043b\u0430 \u043d\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0442\u043e\u0436\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b.<\/p>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 4\u0430<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043d\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u043c\u0443 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044e \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0434\u0432\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0432\u0435\u0434\u0443\u0442 \u043a \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0430 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u043e \u043d\u0435 \u0440\u0430\u0432\u043d\u044b\u043c \u043d\u0443\u043b\u044e. \u041d\u0430 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e &#171;\u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430&#187;, \u043a\u043e\u0433\u0434\u0430 \u0436\u0430\u0434\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c (\u0441\u043c. \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/www.jmlr.org\/papers\/volume9\/biau08a\/biau08a.pdf\">Biau et al., 2008<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 6).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/5b5\/2d3\/189\/5b52d3189114cb639c7890266b709204.jpg\" alt=\"\u0420\u0438\u0441. 4. \u041f\u0435\u0440\u0432\u043e\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0435 \u0434\u0430\u0441\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.\" title=\"\u0420\u0438\u0441. 4. \u041f\u0435\u0440\u0432\u043e\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0435 \u0434\u0430\u0441\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.\" width=\"543\" height=\"340\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b5\/2d3\/189\/5b52d3189114cb639c7890266b709204.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 4. \u041f\u0435\u0440\u0432\u043e\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0435 \u0434\u0430\u0441\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/figcaption><\/figure>\n<p>\u041e\u0431\u0440\u0435\u0437\u043a\u043e\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 (pruning) \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u043d\u0435\u0433\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0442\u0432\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043a \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c\u0443 \u043f\u0430\u0434\u0435\u043d\u0438\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0418\u043c\u0435\u0435\u043b \u043b\u0438 \u0441\u043c\u044b\u0441\u043b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u0432\u0435\u0442\u0432\u0438? \u041a\u0430\u043a \u043c\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438 \u043d\u0430 <em>\u0440\u0438\u0441. 4<\/em>, \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0432\u0435\u0442\u0432\u0438 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0442\u043e\u0447\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u044d\u0442\u0430 \u0432\u0435\u0442\u0432\u044c \u0438 \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0435 \u043a \u043d\u0435\u0439 \u0432\u0435\u0442\u0432\u0438 \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u042d\u0442\u043e \u0441\u0442\u0430\u043d\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0435 \u0432\u0435\u0442\u0432\u0438, \u0437\u0430\u0442\u0435\u043c \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0435 \u043a \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u043c \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0415\u0441\u043b\u0438 \u0434\u0430\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u0439 \u0432\u0435\u0442\u0432\u0438 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0441\u0443\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u0442\u044c, \u0442\u043e\u0433\u0434\u0430 \u0432\u0441\u044e \u0432\u0435\u0442\u0432\u044c \u043c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c, \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0432 \u0434\u0435\u0440\u0435\u0432\u043e. \u0421\u043c. \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/www.hse.ru\/mirror\/pubs\/share\/215285956\">\u0421\u043e\u043a\u043e\u043b\u043e\u0432, 2018<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 5.<\/p>\n<p><a class=\"anchor\" name=\"2.5\" id=\"2.5\"><\/a><\/p>\n<h3>\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438<\/h3>\n<p>\u0414\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u0415\u0441\u043b\u0438 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/124\/50e\/2b7\/12450e2b785809c0ec4d27052ebff787.svg\"\/> \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442\u043e \u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N-1\" alt=\"N-1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/029\/2b3\/f80\/0292b3f80c4c11574782d2fb0778c9d6.svg\"\/> \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u043e\u0440\u043e\u0433\u0430. \u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e0\/2a6\/782\/1e02a6782b0db7474c5d9bbc0641b3e9.svg\"\/> \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c\u0438. \u041c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0432\u0441\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043d\u0430 \u0434\u0432\u0430 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430, \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u044d\u0442\u0438 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0435\u0442\u0432\u0438. \u041d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0432\u0441\u0435\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043d\u0430 \u0434\u0432\u0430 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0441\u0442\u0435\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f70\/845\/d34\/f70845d34932eda9f02ee50ebe5d742d.svg\"\/>, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0431\u043e\u0440 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ea\/b4a\/bdb\/8eab4abdb7066b99730e09f82af09149.svg\"\/>.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0434\u0432\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043f\u0443\u0442\u0438. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a one-hot \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u0422\u043e\u0433\u0434\u0430 \u0435\u0441\u043b\u0438 \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442 \u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u0442\u043e \u043e\u0434\u043d\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0432 \u043e\u0434\u0432\u0443 \u0432\u0435\u0442\u0432\u044c, \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0438\u0449\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0438\u0434\u0430 &#171;\u043e\u0434\u0438\u043d\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f \u043f\u0440\u043e\u0442\u0438\u0432 \u0432\u0441\u0435\u0445&#187;. \u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432 label-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u0442\u043e\u0433\u0434\u0430 \u0432 \u043e\u0434\u043d\u0443 \u0438\u0437 \u0432\u0435\u0442\u0432\u0435\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u044f\u0442\u0441\u044f \u0432\u0441\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430. \u0422\u0430\u043a\u0438\u0435 \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438, \u043d\u043e \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043d\u0438\u0436\u0435. \u041c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0432\u0441\u0435\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043d\u0430 \u0434\u0432\u0430 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0438\u043b\u0438 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0434\u043b\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 (\u0441\u043c. <a href=\"https:\/\/www.hse.ru\/mirror\/pubs\/share\/215285956\">\u0421\u043e\u043a\u043e\u043b\u043e\u0432, 2018<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 7).<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 (\u0442. \u0435. \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439) \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 one-hot \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (\u0441\u043c. <a href=\"https:\/\/arxiv.org\/abs\/1706.09516\">Prokhorenkova et al., 2017<\/a>). \u0414\u043b\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c one-hot \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0445\u043e\u0442\u044f \u0435\u0441\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432 \u044f\u0432\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0430\u044f\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438. \u0411\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<p>\u041f\u0440\u0438 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u043a\u0430\u0436\u0434\u0443\u044e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044e \u043d\u0435\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0439 (\u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c) \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0439 \u043f\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c \u0434\u0430\u043d\u043d\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u0430 \u0446\u0435\u043b\u0435\u0432\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0446\u0435\u043d\u0430, \u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0446\u0435\u043d\u0443 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u043c\u0435\u0435\u0442 \u0434\u0432\u0430 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b. \u041c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043d\u0430 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043d\u0438\u043a\u0430\u043a\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e. \u041a\u0430\u043a \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438: \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0439 \u0440\u0430\u0441\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043f\u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0430 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0434\u0435\u043b\u0430\u0442\u044c target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0412\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0432\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 label-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f 0 \u0438\u043b\u0438 1: \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u043d\u0435 \u0440\u0430\u0432\u043d\u044b \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0443, \u0442\u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0440\u0430\u0432\u0435\u043d 1, \u0432 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0440\u0430\u0432\u0435\u043d 0. \u0415\u0441\u043b\u0438 \u043c\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0442\u043e \u044d\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u0442\u0435\u0440\u044f\u043d\u0430.<\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u044d\u0442\u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438, target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438. \u0410\u0432\u0442\u043e\u0440\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 CatBoost \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043c\u0435\u0442\u043e\u0434 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u043a\u0438\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5e\/d6e\/030\/c5ed6e0306e59afc20e838445e332168.svg\"\/>-\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043f\u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d94\/c81\/f8e\/d94c81f8e36b9815f61e70391d09b29d.svg\"\/> (\u0441\u043c. \u0434\u0430\u043b\u0435\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#171;CatBoost: \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u0439 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433&#187;). \u041e\u0431\u0437\u043e\u0440 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 <a href=\"https:\/\/arxiv.org\/abs\/2104.00629\">Pargent et al., 2021<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"2.6\" id=\"2.6\"><\/a><\/p>\n<h3>\u0414\u0440\u0443\u0433\u0438\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h3>\n<p>\u041e\u0434\u043d\u0438\u043c \u0438\u0437 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u0430\u044f \u043d\u0435\u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e).<\/p>\n<p>\u0415\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438. \u041f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <img decoding=\"async\" class=\"formula inline\" source=\"(1)\" alt=\"(1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77e\/454\/e9a\/77e454e9aad3d23c401ccd27fd1ac4ee.svg\"\/> \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e. \u0414\u0430\u043b\u0435\u0435 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0434\u0435\u0440\u0435\u0432\u0430 \u044d\u0442\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u044f\u0442\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432 \u043e\u0431\u0435 \u0432\u0435\u0442\u0432\u0438. \u041f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 (\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0436\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430) \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0441 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432 \u043e\u0431\u0435 \u0432\u0435\u0442\u0432\u0438, \u0438 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0432\u0435\u0442\u0432\u044f\u0445 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u043c \u043e\u0431\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441 \u0432\u0435\u0441\u0430\u043c\u0438, \u0440\u0430\u0432\u043d\u044b\u043c\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043f\u0440\u043e\u0448\u0435\u0434\u0448\u0438\u0445 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0435 \u0432\u0435\u0442\u0432\u0438 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. <a href=\"https:\/\/www.hse.ru\/mirror\/pubs\/share\/215285956\">\u0421\u043e\u043a\u043e\u043b\u043e\u0432, 2018<\/a>).<\/p>\n<p><a class=\"anchor\" name=\"3\" id=\"3\"><\/a><\/p>\n<h2>\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h2>\n<p>\u0412\u044b\u0448\u0435 \u043c\u044b \u0432\u0438\u0434\u0435\u043b\u0438 (<em>\u0440\u0438\u0441. 2, 3<\/em>), \u0447\u0442\u043e \u043e\u0434\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0438\u043c\u0435\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u0440\u0443\u0431\u044b\u0435 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u043b\u0438\u0441\u0442\u044c\u044f\u043c\u0438, \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043b\u0438\u0431\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435\u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f (\u043f\u0440\u0438 \u043c\u0430\u043b\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043b\u0438\u0441\u0442\u044c\u0435\u0432), \u043b\u0438\u0431\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f (\u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043b\u0438\u0441\u0442\u044c\u0435\u0432). \u042d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c, \u043e\u0431\u0443\u0447\u0430\u044f \u0441\u0440\u0430\u0437\u0443 \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432.<\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c. \u0410\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f &#171;\u043e\u0434\u043d\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e&#187;, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0432\u0441\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0432\u044b\u0434\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442, \u0430 \u0437\u0430\u0442\u0435\u043c \u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u043b\u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f. \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e (\u0431\u044d\u0433\u0433\u0438\u043d\u0433) \u0438\u043b\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e (\u0431\u0443\u0441\u0442\u0438\u043d\u0433).<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0435\u043a\u0438\u043d\u0433, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (<a href=\"https:\/\/link.springer.com\/article\/10.1023\/A:1010933404324\">random forest<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1603.02754\">XGBoost<\/a>, <a href=\"https:\/\/proceedings.neurips.cc\/paper\/2017\/file\/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf\">LightGBM<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1810.11363\">CatBoost<\/a>) \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u0442\u0435\u043a\u0438\u043d\u0433. \u0421\u0442\u0435\u043a\u0438\u043d\u0433 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u043e\u0432\u0435\u0440\u0445 \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0430\u043a \u0436\u0435 \u043a\u0430\u043a \u0438 \u043f\u043e\u0432\u0435\u0440\u0445 \u043b\u044e\u0431\u044b\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 (\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0438 \u043f\u0440.).<\/p>\n<p><a class=\"anchor\" name=\"3.1\" id=\"3.1\"><\/a><\/p>\n<h3>\u0411\u044d\u0433\u0433\u0438\u043d\u0433<\/h3>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442: \u043a\u0430\u0436\u0434\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u0437\u044f\u0442\u043e\u0439 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0441 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u043d \u0431\u043e\u043b\u0435\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0430. \u0415\u0441\u043b\u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0434\u0435\u0440\u0435\u0432\u0435 \u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043b\u0435\u0441\u0430, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/ensemble.html#forest\">sklearn<\/a>. \u041c\u043e\u0436\u043d\u043e \u0432\u043d\u0435\u0441\u0442\u0438 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438 (\u0441\u043c. <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/ensemble.html#extremely-randomized-trees\">Extremely Randomized Trees<\/a>).<\/p>\n<p><a class=\"anchor\" name=\"3.2\" id=\"3.2\"><\/a><\/p>\n<h3>\u0411\u0443\u0441\u0442\u0438\u043d\u0433<\/h3>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0430\u043d\u0441\u0430\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433. \u0411\u0443\u0441\u0442\u0438\u043d\u0433 &#8212; \u044d\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043f\u0438\u0439 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u0430\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (&#171;weak learner&#187;), \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0432\u0448\u0438\u0441\u044c \u043d\u0430 \u043d\u0435\u043c. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043d\u043e\u0432\u044b\u0439 weak learner \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043e\u0448\u0438\u0431\u043e\u043a, \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 weak learner&#8217;\u0430\u043c\u0438. \u0412 \u0438\u0442\u043e\u0433\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0445 weak learner&#8217;\u043e\u0432 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438. \u0411\u0443\u0441\u0442\u0438\u043d\u0433 \u0447\u0435\u043c-\u0442\u043e \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u0431\u044d\u0433\u0433\u0438\u043d\u0433, \u043d\u043e \u0432 \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e, \u0430 \u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0441 \u043e\u0433\u043b\u044f\u0434\u043a\u043e\u0439 \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435.<\/p>\n<p><a class=\"anchor\" name=\"3.3\" id=\"3.3\"><\/a><\/p>\n<h3>\u0420\u0430\u043d\u043d\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: AdaBoost<\/h3>\n<p>\u0418\u0442\u0430\u043a, \u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 weak learner \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438. \u041e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0431\u044b\u043b <a href=\"http:\/\/www.generalized.ru\/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_AdaBoost\">AdaBoost<\/a> &#8212; \u0432 \u043d\u0435\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 weak learner \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u043b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 weak learner&#8217;\u044b \u0434\u0430\u043b\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d \u043d\u0435 \u0437\u043d\u0430\u043b, \u043a\u0430\u043a\u0438\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u0430\u043d\u044b \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 weak learner&#8217;\u0430\u043c\u0438 &#8212; \u0431\u044b\u043b\u043e \u043b\u0438\u0448\u044c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0435\u0432\u0435\u0440\u043d\u044b \u0438\u043b\u0438 \u043d\u0435\u0442\u043e\u0447\u043d\u044b. \u0417\u0430\u0434\u0430\u0447\u0435\u0439 \u043d\u043e\u0432\u043e\u0433\u043e weak learner&#8217;\u0430 \u0431\u044b\u043b\u043e \u0434\u0430\u0442\u044c \u0432\u0435\u0440\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043d\u0430 \u043d\u0435\u043c \u0436\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 weak learner&#8217;\u043e\u0432. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 weak learner \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u043b \u0432\u0435\u0440\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0442\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 weak learner&#8217;\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b, \u0442\u043e \u0442\u0430\u043a \u0438 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442. \u041d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b: weak learner \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e &#171;\u0441\u043b\u0430\u0431\u044b\u043c&#187;, \u043d\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u044f\u0441\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p><a class=\"anchor\" name=\"3.4\" id=\"3.4\"><\/a><\/p>\n<h3>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/h3>\n<p>\u0412 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 (<a href=\"https:\/\/jerryfriedman.su.domains\/ftp\/trebst.pdf\">Friedman, 2001<\/a>) \u0446\u0435\u043b\u0435\u0432\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e weak learner&#8217;\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f <em>\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 (\u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441) \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432<\/em>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 weak learner \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"(y - \\hat{y})^2\" alt=\"(y - \\hat{y})^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f0\/368\/792\/0f036879229119b57cf4849ca627c7ba.svg\"\/> \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}\" alt=\"\\hat{y}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a6c\/e6c\/981\/a6ce6c981a1e6da9edd5d36daa1cc9de.svg\"\/> \u0440\u0430\u0432\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"2(\\hat{y} - y)\" alt=\"2(\\hat{y} - y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eea\/279\/f88\/eea279f880fecbf8f58d447ae230b1fe.svg\"\/>, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 weak learner \u043a\u0430\u043a \u0440\u0430\u0437 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0414\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0438\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0432\u0432\u0435\u0434\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><strong>\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 (\u0434\u0430\u0442\u0430\u0441\u0435\u0442)<\/strong> \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"\\textbf{X} = \\{x_i\\}_{i=1}^N\" alt=\"\\textbf{X} = \\{x_i\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b7\/46b\/09f\/3b746b09ffef61bab84058ce9db6ed65.svg\"\/> \u0438 \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\textbf{y} = \\{y_i\\}_{i=1}^N\" alt=\"\\textbf{y} = \\{y_i\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7a\/ef8\/d11\/b7aef8d1198a970ff277116a531754cc.svg\"\/>. \u041a\u0430\u0436\u0434\u044b\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/268\/163\/059\/268163059d04677729789a90a9fb1271.svg\"\/> \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b. \u0412 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\textbf{y}\" alt=\"\\textbf{y}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/11a\/842\/3ff\/11a8423fff36ef3a3a2ee2b230593851.svg\"\/> \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0432 one-hot \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/strong> \u0438\u043c\u0435\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f3f\/08d\/3e0\/f3f08d3e005cf9303c5e9c63a3f3fce4.svg\"\/>, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f: <img decoding=\"async\" class=\"formula inline\" source=\"f(x_i, \\theta) = \\hat{y}_i\" alt=\"f(x_i, \\theta) = \\hat{y}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3cb\/fa0\/cb8\/3cbfa0cb82587b0a991359be7db448bb.svg\"\/>. \u041c\u0430\u0441\u0441\u0438\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 \u0432\u0441\u0435\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{\\mathbf{y}} = f(\\textbf{x}, \\theta)\" alt=\"\\hat{\\mathbf{y}} = f(\\textbf{x}, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/829\/f0f\/b17\/829f0fb1758ad5967b85f3e0a62f54cc.svg\"\/>. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c), \u0442\u0430\u043a \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0441\u0442\u0443\u0449\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441). \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u044b\u043c \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d89\/b65\/eff\/d89b65eff652d265b53ebad19b754e2f.svg\"\/>. \u0414\u043b\u044f <em>\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430<\/em> \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c, \u0434\u043b\u044f <em>\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/em> &#8212; \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c<\/strong> \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e: <img decoding=\"async\" class=\"formula inline\" source=\"loss(y_i, \\hat{y}_i)\" alt=\"loss(y_i, \\hat{y}_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3a\/6bd\/ff5\/d3a6bdff5ea29583ca7cf332d0f19660.svg\"\/>. \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0432\u0441\u0435\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435: <img decoding=\"async\" class=\"formula inline\" source=\"sum\\_loss(\\textbf{y}, \\hat{\\mathbf{y}}) = \\sum_{i=1}^{n} loss(y_i, \\hat{y}_i)\" alt=\"sum\\_loss(\\textbf{y}, \\hat{\\mathbf{y}}) = \\sum_{i=1}^{n} loss(y_i, \\hat{y}_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e5\/3f3\/3fc\/3e53f33fc8b57c23270c73df6417126c.svg\"\/>. \u041a\u0430\u043a \u0434\u043b\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c.<\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"3.5\" id=\"3.5\"><\/a><\/p>\n<h3>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h3>\n<p>\u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c (weak learner) \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/14a\/db6\/a67\/14adb6a67404f5b2a67ee8f1a4839ab5.svg\"\/> \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0441\u0443\u043c\u043c\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\sum_{i=1}^n loss(y_i, C)\" alt=\"\\sum_{i=1}^n loss(y_i, C)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f2\/a48\/ad3\/4f2a48ad312a78c6b9324071b8ef09e4.svg\"\/> \u0431\u044b\u043b\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430. \u041a \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f weak learner&#8217;\u043e\u0432.<br \/> \u0417\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u0447\u0438\u0441\u043b\u043e \u0448\u0430\u0433\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdf\/994\/b0d\/cdf994b0d14d22e9df9e6808906939c6.svg\"\/>.<\/p>\n<p><strong>for k = 0, &#8230;, N-1:<\/strong><\/p>\n<ol>\n<li>\n<p>\u041d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10c\/9c3\/187\/10c9c3187d40aecd8164d96246b3edc1.svg\"\/>-\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0443\u0436\u0435 \u043e\u0431\u0443\u0447\u0438\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/56e\/7b6\/5e6\/56e7b65e68c63f33d085310dbbd8b065.svg\"\/> weak learner&#8217;\u043e\u0432. \u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u0445 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}_i = \u0421 + \\sum\\limits_{j=0}^k w_i f(x_i, \\theta_j)\" alt=\"\\hat{y}_i = \u0421 + \\sum\\limits_{j=0}^k w_i f(x_i, \\theta_j)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50a\/f2a\/3a2\/50af2a3a20e628a2f63541d26a0aca52.svg\"\/><\/p>\n<\/li>\n<li>\n<p>\u0421\u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044e: <img decoding=\"async\" class=\"formula inline\" source=\"r_i = -\\cfrac{\\partial}{\\partial \\hat{y}_i} loss(y_i, \\hat{y}_i)\" alt=\"r_i = -\\cfrac{\\partial}{\\partial \\hat{y}_i} loss(y_i, \\hat{y}_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/801\/7e5\/076\/8017e507624775d6e381ac4bba5f9f09.svg\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c (\u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0441\u043c\u044b\u0441\u043b\u0430 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439).<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0430\u0435\u043c \u043d\u043e\u0432\u044b\u0439 weak learner \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"r_i\" alt=\"r_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf7\/e6a\/89b\/cf7e6a89b7a175840c084b47e72dda4e.svg\"\/> \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/519\/1ba\/f8f\/5191baf8fc4f6ff697fe06076af79d8f.svg\"\/>. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u043e\u0432\u043e\u0433\u043e weak learner&#8217;\u0430 \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\theta_k\" alt=\"\\theta_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30d\/778\/745\/30d7787452515f790eee2f3a4b8ea118.svg\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0432\u0435\u0441 \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0433\u043e weak learner&#8217;\u0430. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e weak learner&#8217;\u0430 \u043d\u0430 \u0432\u0441\u0435\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435: <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{r}_i = f(x_i, \\theta_k)\" alt=\"\\hat{r}_i = f(x_i, \\theta_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f3\/a61\/7b6\/7f3a617b6b9fbc8ddf0069f6db583cbc.svg\"\/>. \u0417\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0430\u043a\u043e\u0439 \u0432\u0435\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"w_k\" alt=\"w_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/23c\/669\/f12\/23c669f121e8b6fa63a0675dbd6147f5.svg\"\/>, \u0447\u0442\u043e\u0431\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"sum\\_loss(\\mathbf{y}, \\hat{\\mathbf{y}} + w_k*\\hat{\\mathbf{r}})\" alt=\"sum\\_loss(\\mathbf{y}, \\hat{\\mathbf{y}} + w_k*\\hat{\\mathbf{r}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/670\/cac\/108\/670cac1080d492e7f827d4198cc4a8e5.svg\"\/> \u0431\u044b\u043b\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08d\/61c\/5f6\/08d61c5f65bcee8c76968560f7d500cd.svg\"\/> weak learner&#8217;\u043e\u0432. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 (\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445) \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y} = \u0421 + \\sum_{j=0}^N w_i f(x, \\theta_j)\" alt=\"\\hat{y} = \u0421 + \\sum_{j=0}^N w_i f(x, \\theta_j)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de7\/66e\/260\/de766e2605fa5d81fa0d754f48df1670.svg\"\/><\/p>\n<p>\u041f\u0440\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0441\u043c. \u0442\u0430\u043a\u0436\u0435 \u0432 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/327250\/\">\u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435<\/a> \u043d\u0430 \u0425\u0430\u0431\u0440\u0435.<\/p>\n<p><a class=\"anchor\" name=\"3.6\" id=\"3.6\"><\/a><\/p>\n<h3>\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h3>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0441\u043b\u0430\u0431\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438:<\/p>\n<p><strong>Subsampling.<\/strong> \u041c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 weak learner \u043d\u0435 \u043d\u0430 \u0432\u0441\u0435\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0430 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c.<\/p>\n<p><strong>Shrinkage.<\/strong> \u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043c\u044b \u0440\u0430\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0432\u0435\u0441 \u043d\u043e\u0432\u043e\u0433\u043e weak learner&#8217;\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"w_k\" alt=\"w_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1d7\/9fe\/b81\/1d79feb8150c1f4e420afd95d04b392e.svg\"\/>, \u043c\u044b \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u0435\u0433\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043c\u0435\u043d\u044c\u0448\u0435 1 (learning rate). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0443\u043a\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u0448\u0430\u0433 \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430.<\/p>\n<p><strong>\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f weak learner&#8217;\u0430.<\/strong> \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 sklearn \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>max_features<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0437\u043b\u0435 \u0434\u0435\u0440\u0435\u0432\u0430.<\/p>\n<p><a class=\"anchor\" name=\"3.7\" id=\"3.7\"><\/a><\/p>\n<h3>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h3>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <img decoding=\"async\" class=\"formula inline\" source=\"MSE\" alt=\"MSE\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/319\/f10\/4be\/319f104be58d6d3873dcd145fe3df067.svg\"\/> \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0438 \u0432\u0435\u0440\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 weak learner \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043e\u0448\u0438\u0431\u043a\u0438, \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u0443\u044e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c. \u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0430\u043c \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438 \u0438\u0445 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0443\u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 weak learner, \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b weak learner \u043d\u0435 \u0431\u044b\u043b \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f, \u0438\u043d\u0430\u0447\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c weak learner&#8217;\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043d\u0430 \u0447\u0435\u043c \u0443\u0447\u0438\u0442\u044c\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 weak learner&#8217;\u0430 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b. \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043d\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 weak learner&#8217;\u0430, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0432\u0435\u0441\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c.<\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e &#171;\u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e&#187; \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c, \u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b\u0439 AdaBoost. \u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0441 \u0432\u044b\u0447\u0438\u0441\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u0441\u044f \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435, \u043d\u043e \u0431\u044b\u043b\u043e \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b \u0432 \u043f\u043b\u0430\u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c AdaBoost \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u0435\u043d \u0447\u0430\u0441\u0442\u043d\u043e\u043c\u0443 \u0441\u043b\u0443\u0447\u0430\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430.<\/p>\n<p><a class=\"anchor\" name=\"3.8\" id=\"3.8\"><\/a><\/p>\n<h3>\u0421\u0432\u044f\u0437\u044c \u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c<\/h3>\n<p>\u0418\u0434\u0435\u044f \u043a\u0430\u043a \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0442\u0430\u043a \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b <em>\u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c<\/em>, \u0430 \u0437\u0430\u0442\u0435\u043c \u0445\u043e\u0434\u0438\u043c \u0441\u0434\u0432\u0438\u043d\u0443\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443, \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0445 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c\u0438.<\/p>\n<p>\u041d\u043e \u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043f\u0443\u0441\u043a\u0435 \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043d\u0430 \u0432\u0435\u0441\u0430 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432, \u0430 \u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043d\u043e\u0432\u043e\u0433\u043e weak learner&#8217;\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043f\u0443\u0441\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 &#8212; \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 (\u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 weak learner \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043d\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b).<\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043a\u0430\u043a \u043f\u043e\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439.<\/p>\n<p><a class=\"anchor\" name=\"4\" id=\"4\"><\/a><\/p>\n<h2>XGBoost<\/h2>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043d\u0430\u0434 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c\u0438, \u0438 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 XGBoost.<\/p>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <a href=\"https:\/\/github.com\/dmlc\/xgboost\">XGBoost<\/a> (<a href=\"https:\/\/arxiv.org\/abs\/1603.02754\">Chen and Guestrin, 2016<\/a>) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043d\u0430\u0434 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c\u0438. \u041f\u043e\u043c\u0438\u043c\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 \u0432\u0432\u0435\u0434\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\{x_i, y_i\\}_{i=1}^N\" alt=\"\\{x_i, y_i\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc8\/b51\/73b\/bc8b5173bb2b3513c745e6bfff5d2566.svg\"\/> &#8212; \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46f\/fdc\/a67\/46ffdca67ed7d47039f9760ac202f61e.svg\"\/> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0432 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"f_k: x \\to y\" alt=\"f_k: x \\to y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62e\/efe\/ba1\/62eefeba1c8b69cfc2a166696cc8d209.svg\"\/> &#8212; k-e \u0434\u0435\u0440\u0435\u0432\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"F: x \\to y\" alt=\"F: x \\to y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/611\/11c\/5e2\/61111c5e256d7551311f85f87c2e967b.svg\"\/> &#8212; \u0432\u0435\u0441\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"{loss}: y_{true} \\times y_{pred} \\to \\mathbb{R}\" alt=\"{loss}: y_{true} \\times y_{pred} \\to \\mathbb{R}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/431\/91c\/c0b\/43191cc0bce12d38574916b7a30a226c.svg\"\/> &#8212; \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u0430\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"T_k\" alt=\"T_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4aa\/50b\/45a\/4aa50b45ac3e13cc44e5e90dd35bb9b2.svg\"\/> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c7\/36a\/344\/8c736a34434b0fa2d3bd0828154aa97e.svg\"\/>-\u043c \u0434\u0435\u0440\u0435\u0432\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"w_k\" alt=\"w_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e85\/c24\/ec4\/e85c24ec440fbf8a4e10f3e6eec80a16.svg\"\/> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440, \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u0437 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d94\/488\/e6e\/d94488e6ecc56ec589257beab97ab04c.svg\"\/>-\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 XGBoost \u043e\u0442\u0432\u0435\u0442\u044b \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"F(x) = \\sum\\limits_{k=1}^K f_k(x)\" alt=\"F(x) = \\sum\\limits_{k=1}^K f_k(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba0\/388\/2d6\/ba03882d621e066f055d7583890e2796.svg\"\/><\/p>\n<p>\u0421\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0432 XGBoost \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"{total\\_loss} = \\sum\\limits_{i=1}^N {loss}(y_i, F(x_i)) + \\gamma\\sum\\limits_{k=1}^K T_k + \\frac{1}{2}\\lambda\\sum\\limits_{k=1}^K \\|w_k\\|^2\" alt=\"{total\\_loss} = \\sum\\limits_{i=1}^N {loss}(y_i, F(x_i)) + \\gamma\\sum\\limits_{k=1}^K T_k + \\frac{1}{2}\\lambda\\sum\\limits_{k=1}^K \\|w_k\\|^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a8\/f14\/7ac\/9a8f147ac91016f0223bb9c1ca7c7edd.svg\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\gamma\" alt=\"\\gamma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/763\/ee7\/a52\/763ee7a522c90c7edf3b1f0224c6c255.svg\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d67\/e3d\/457\/d67e3d457a6bf62e6f1f9e4ec3970e9a.svg\"\/> &#8212; \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 &#8212; \u044d\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u0432\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0437\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0438\u0441\u0442\u044c\u0435\u0432, \u0442\u0440\u0435\u0442\u044c\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0437\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u0422\u0440\u0435\u0442\u044c\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u043c \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u041e\u043d\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0432\u043d\u043e\u0441\u0438\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043b\u0438\u0448\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430, \u043d\u0435 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435. \u0414\u043b\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"{total\\_loss}\" alt=\"{total\\_loss}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba8\/e51\/4c3\/ba8e514c3b4176b2012b8093500a778a.svg\"\/> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435, \u043d\u043e \u0438 \u0432\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. <a href=\"https:\/\/arxiv.org\/abs\/1603.02754\">Chen and Guestrin, 2016<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 2.2).<\/p>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u0430, \u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u0448\u0430\u0433\u043e\u043c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440 \u043f\u0435\u0440\u0441\u0435\u043d\u0442\u0438\u043b\u0435\u0439, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u041f\u043e\u0438\u0441\u043a \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u0438 \u044d\u0442\u0438\u0445 \u043f\u0435\u0440\u0441\u0435\u043d\u0442\u0438\u043b\u0435\u0439. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u0438 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. \u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0442\u0432\u044c, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0441 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 XGBoost \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f. \u0417\u0430 \u0441\u0447\u0435\u0442 \u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438, \u043f\u043e\u0438\u0441\u043a \u043f\u043e\u0440\u043e\u0433\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u0438 \u043f\u0435\u0440\u0441\u0435\u043d\u0442\u0438\u043b\u0435\u0439, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043a\u044d\u0448\u0435\u043c \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0441\u043e\u0442\u043d\u0438 \u0440\u0430\u0437 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043d\u0430\u0438\u0432\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439.<\/p>\n<p><a class=\"anchor\" name=\"5\" id=\"5\"><\/a><\/p>\n<h2>CatBoost: \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u0439 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/h2>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <a href=\"https:\/\/catboost.ai\/\">CatBoost<\/a> (<a href=\"https:\/\/arxiv.org\/abs\/1706.09516\">Prokhorenkova et al., 2017<\/a>; <a href=\"https:\/\/arxiv.org\/abs\/1810.11363\">Dorogush et al, 2018<\/a>) &#8212; \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043d\u0430\u0434 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 (\u043d\u0435 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438):<\/p>\n<ol>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 (\u0440\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432)<\/p>\n<\/li>\n<li>\n<p>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/li>\n<li>\n<p>\u0411\u0443\u0441\u0442\u0438\u043d\u0433 \u0441 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/p>\n<\/li>\n<\/ol>\n<p><a class=\"anchor\" name=\"5.1\" id=\"5.1\"><\/a><\/p>\n<h3>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h3>\n<p>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u044b \u0443\u0436\u0435 \u043a\u0440\u0430\u0442\u043a\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#171;\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438&#187;. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u043a\u0438\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e3\/041\/80d\/6e304180d2b7343b66fe2d428e0f3787.svg\"\/>. \u0412\u0441\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f. \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49a\/4c7\/150\/49a4c715015543a242df3ae67b89cb0f.svg\"\/>-\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u043c\u0435\u0435\u0442 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"c_i\" alt=\"c_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53e\/4a5\/d92\/53e4a5d926ee43dd8696155c739109ce.svg\"\/>. \u0414\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c\u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/913\/8d5\/e2f\/9138d5e2f14542e72e452e0d1143cbe8.svg\"\/>, \u0438\u043c\u0435\u044e\u0449\u0438\u043c\u0438 \u0442\u0443 \u0436\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"c_i\" alt=\"c_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3db\/246\/165\/3db246165cce3d61a87525a175a0ad7e.svg\"\/>. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/729\/334\/b20\/729334b20c6fc41136ff68dc22ee22a9.svg\"\/>. \u041e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0441\u043c. \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e CatBoost (<a href=\"https:\/\/catboost.ai\/en\/docs\/concepts\/algorithm-main-stages_cat-to-numberic\">1<\/a>, <a href=\"https:\/\/catboost.ai\/en\/docs\/references\/training-parameters\/ctr\">2<\/a>).<\/p>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043d\u0435\u0442\u043e\u0447\u043d\u043e (\u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 CatBoost target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437, \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0441 \u043d\u043e\u0432\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p><a class=\"anchor\" name=\"5.2\" id=\"5.2\"><\/a><\/p>\n<h3>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446<\/h3>\n<p>\u0420\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u043d\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 (oblivious decision tree). \u0412 \u0442\u0430\u043a\u043e\u043c \u0434\u0435\u0440\u0435\u0432\u0435 \u0432\u0441\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f (\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043e\u0442 \u043a\u043e\u0440\u043d\u044f) \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a (<a href=\"https:\/\/www.researchgate.net\/publication\/221112419_Bottom-Up_Induction_of_Oblivious_Read-Once_Decision_Graphs\">Kohavi, 1994<\/a>; <a href=\"https:\/\/www.researchgate.net\/publication\/225237661_Decision_Trees\">Rokach and Maimon, 2005<\/a>). \u0417\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p>\u0412 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432 CatBoost, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0449\u0438\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u043d\u043e \u0438 \u043e\u0431\u0449\u0438\u0439 \u043f\u043e\u0440\u043e\u0433 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e <a href=\"https:\/\/arxiv.org\/abs\/1609.05610\">Modr\u00fd and Ferov, 2016<\/a>). \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0435 \u0432\u0430\u0436\u0435\u043d: \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0443\u0440\u043e\u0432\u043d\u0438 \u0434\u0435\u0440\u0435\u0432\u0430, \u0438 \u0435\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f. \u0422\u0430\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0431\u043e\u043b\u0435\u0435 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u043e\u043b\u043e\u043d\u043a\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 0 \u0438\u043b\u0438 1. \u0415\u0441\u043b\u0438 \u0432 \u0434\u0435\u0440\u0435\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/800\/ecc\/bab\/800eccbabf800db766544cd6475f5532.svg\"\/> \u0443\u0440\u043e\u0432\u043d\u0435\u0439 , \u0442\u043e \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72d\/12a\/24d\/72d12a24d2bddab04b0993806206d6a0.svg\"\/> \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"2^N\" alt=\"2^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/806\/f53\/cf2\/806f53cf2391c7908c97cde94f3a50d9.svg\"\/> \u0441\u0442\u0440\u043e\u043a, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043a\u043e\u043b\u043e\u043d\u043e\u043a. \u041a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0442\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u0430\u0431\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u0441 \u043e\u0431\u044b\u0447\u043d\u044b\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e\u043c, \u0445\u043e\u0442\u044f \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043f\u043e \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c.<\/p>\n<p>\u041d\u0430 <em>\u0440\u0438\u0441. 5<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 CatBoost \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"y(x) = x_2 - x_1\" alt=\"y(x) = x_2 - x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb9\/501\/3d3\/eb95013d35666c705832b60c0e712dd6.svg\"\/> (\u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u0441 <em>\u0440\u0438\u0441. 2<\/em>).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0438\u0441. 5. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e CatBoost.\" title=\"\u0420\u0438\u0441. 5. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e CatBoost.\" height=\"301\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/43b\/6d5\/97d\/43b6d597daac3d2b4369fb44270e91f8.png\" data-width=\"846\"\/><figcaption>\u0420\u0438\u0441. 5. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e CatBoost.<\/figcaption><\/figure>\n<p>\u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0432 \u043e\u0434\u043d\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0435\u0441\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c CatBoost \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u043e\u0434\u043d\u043e\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0447\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u0438\u0437 <em>\u0440\u0438\u0441. 5<\/em>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043b\u044e\u0431\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0430 \u0432 \u0441\u0443\u043c\u043c\u0443 \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0442\u0430\u0431\u043b\u0438\u0446.<\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, CatBoost \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u043d\u043e \u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f (\u0441\u043c. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <a href=\"https:\/\/catboost.ai\/en\/docs\/references\/training-parameters\/common#grow_policy\">grow_policy<\/a>). \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u0435\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0431\u044b\u043b\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u041a\u0430\u043a \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u0434\u0438\u043d \u0438\u0437 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0447\u0438\u043a\u043e\u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0421\u0442\u0430\u043d\u0438\u0441\u043b\u0430\u0432 \u041a\u0438\u0440\u0438\u043b\u043b\u043e\u0432:<\/p>\n<blockquote>\n<p>\u041c\u044b \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0438 \u0435\u0433\u043e [CatBoost] \u043a\u0430\u043a \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u0445 \u042f\u043d\u0434\u0435\u043a\u0441\u0430, \u043e\u0442\u0441\u044e\u0434\u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u044b\u0435 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0443 \u043d\u0430\u0448\u0438\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u0430 \u0434\u043b\u044f CatBoost. (<a href=\"https:\/\/habr.com\/ru\/company\/yandex\/blog\/580950\/\">habr<\/a>)<\/p>\n<\/blockquote>\n<blockquote>\n<p>\u0412 \u0447\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u0442 \u043d\u0430\u0448\u0438\u0445 oblivious-\u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432? \u041e\u043d\u0438 \u0431\u044b\u0441\u0442\u0440\u043e \u0443\u0447\u0430\u0442\u0441\u044f, \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c \u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u043f\u043e\u0434\u0431\u043e\u0440\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. (<a href=\"https:\/\/habr.com\/ru\/company\/yandex\/blog\/458790\/\">habr<\/a>)<\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"5.3\" id=\"5.3\"><\/a><\/p>\n<h3>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h3>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0438\u043c\u0435\u0435\u0442 \u043e\u0434\u043d\u0443 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u0412\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u0448\u0430\u0433 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/816\/768\/41a\/81676841a5220957a76a9344d51b3dfc.svg\"\/>, \u043e\u0431\u0443\u0447\u0438\u0432 \u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dac\/250\/007\/dac250007578ad564e8ca7ee87213652.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b8\/816\/9f4\/0b88169f4c8dcf49e6e6e9ce591e632c.svg\"\/> \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u044f\u0432\u0438\u0442\u044c \u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ca\/ff7\/1de\/2caff71dea60c4aa1225c4ba50782c3f.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c0\/fe4\/0fd\/2c0fe40fda5d71201c54afab0d4fdce0.svg\"\/> \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0442\u0435 \u0436\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/197\/622\/9ea\/1976229eaa9758813d27f50702255259.svg\"\/>, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e14\/7b9\/754\/e147b9754b330dd249f6717c8b50449e.svg\"\/>. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/915\/c12\/cd1\/915c12cd1725957829a65c6df79d0b2e.svg\"\/> (\u0442\u043e\u0447\u043d\u0435\u0435, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c) \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea1\/f1b\/b22\/ea1f1bb228ab75c306b919c56a1c47f4.svg\"\/> \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/34a\/677\/d52\/34a677d524c85e40c6908d646beb4bb7.svg\"\/>, \u0438 \u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430 \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0436\u0435 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430.<\/p>\n<blockquote>\n<p>Gradients used at each step are estimated using the same data points the current model was built on. This leads to a shift of the distribution of estimated gradients in any domain of feature space in comparison with the true distribution of gradients in this domain, which leads to overfitting. The idea of biased gradients was discussed in previous literature <a href=\"https:\/\/www.stat.berkeley.edu\/~breiman\/OOBestimation.pdf\">[1]<\/a> <a href=\"https:\/\/www.researchgate.net\/publication\/222573328_Stochastic_Gradient_Boosting\">[9]<\/a>. (<a href=\"https:\/\/arxiv.org\/abs\/1810.11363\">Dorogush et al, 2018<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 3)<\/p>\n<\/blockquote>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P(x, y)\" alt=\"P(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/438\/1ca\/759\/4381ca759fd3763cf2e5308031388ed5.svg\"\/> \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u044e\u0449\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0437\u044f\u0442\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430. \u0421\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x, y\" alt=\"x, y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/639\/47d\/39b\/63947d39b530bc21991d867da5323b51.svg\"\/> \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ef\/26e\/240\/6ef26e2403d4b7262a758c7141df8a70.svg\"\/> (<a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%92%D1%8B%D0%B1%D0%BE%D1%80%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F\">\u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/a>). \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f7a\/ab7\/b2b\/f7aab7b2bbfc72e3b1f01b126e4f2126.svg\"\/> \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"P(y|x)\" alt=\"P(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/087\/3d5\/30a\/0873d530a975ef0898f8543c4bdc2724.svg\"\/>, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f8\/286\/556\/4f82865567938e1fffc72fc08bf19264.svg\"\/> \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"P(g(x, y)|x) = P(\\cfrac{\\partial {Loss}(y, F(x))}{\\partial F(x)}|x)\" alt=\"P(g(x, y)|x) = P(\\cfrac{\\partial {Loss}(y, F(x))}{\\partial F(x)}|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca7\/301\/c62\/ca7301c629db1b2604c41b5d9ccd30c2.svg\"\/><\/p>\n<p>\u0426\u0435\u043b\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da3\/aeb\/c1a\/da3aebc1a7ac4078e509806eae379348.svg\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"P(g(x, y)|x)\" alt=\"P(g(x, y)|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/650\/ab0\/c60\/650ab0c60f8003b25ff8152ed5b245da.svg\"\/> \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u044e\u0449\u0435\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x, y {\\sim} P\" alt=\"x, y {\\sim} P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fde\/c64\/1b7\/fdec641b7c086ddd7948e2eba1b717f5.svg\"\/>, \u043e\u0434\u043d\u0430\u043a\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"P(g(x, y)|x)\" alt=\"P(g(x, y)|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/429\/0d7\/433\/4290d74339194a53d40a9ec834367f1c.svg\"\/> \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x, y {\\sim} P_{train}\" alt=\"x, y {\\sim} P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/18d\/856\/dfb\/18d856dfb9a9396c5e2cc423a211346b.svg\"\/>. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6eb\/5cd\/6c6\/6eb5cd6c65022b58d887673b31216a05.svg\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u043c (biased), \u043f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f \u0438\u0441\u043a\u0430\u0436\u0435\u043d\u043d\u044b\u043c, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 \u043d\u0430 \u0432\u0441\u0435\u043c \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u044e\u0449\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"P\" alt=\"P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee9\/8d0\/037\/ee98d003754ffeb439e2a907ee1b8e9f.svg\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"g(x, y) | x, y {\\sim} P \\neq g(x, y) | x, y {\\sim} P_{train}\" alt=\"g(x, y) | x, y {\\sim} P \\neq g(x, y) | x, y {\\sim} P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a4\/664\/4b2\/3a46644b24af1fe846ea905463877e08.svg\"\/><\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0435\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/95a\/199\/282\/95a199282c13c08a4df9d665f4290c00.svg\"\/> \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/854\/de0\/ac0\/854de0ac053b68a00ea8db4d5db5d374.svg\"\/>, \u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"g(x, y) | x, y {\\sim} P \\equiv 0\" alt=\"g(x, y) | x, y {\\sim} P \\equiv 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c7\/92b\/605\/8c792b605e1d41dea8d323e7f3e57a17.svg\"\/>. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ded\/22b\/6e9\/ded22b6e9741c74558801a8bb2ca07ae.svg\"\/> \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043d\u0435 \u0438\u0437 \u0442\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432 \u0438\u0434\u0435\u0430\u043b\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0412 \u0438\u0434\u0435\u0430\u043b\u0435 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5dc\/bf7\/530\/5dcbf7530d00a083aff80e64cbdbb5e5.svg\"\/> \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f, \u043d\u043e \u0442\u043e\u0433\u0434\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u0447\u0442\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0448\u0430\u0433\u043e\u0432.<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u0435\u0449\u0435 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0443\u0447\u0435\u043d\u0438\u043a <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf0\/35c\/53f\/cf035c53f2732d8e3b9a98ec449b40b7.svg\"\/> \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P\" alt=\"P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/07e\/7e5\/d9c\/07e7e5d9c639ee3d3c0f3ec8b1f89227.svg\"\/> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435 \u0434\u0440\u043e\u0431\u0435\u0439), \u0438\u043c\u0435\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/015\/29f\/bc5\/01529fbc54d09c7095f0125b9f36ea3e.svg\"\/>, \u0438 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0437\u0430\u0434\u0430\u0447 <img decoding=\"async\" class=\"formula inline\" source=\"P_{test}\" alt=\"P_{test}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/457\/788\/6f4\/4577886f42264341aed19aee898f81c3.svg\"\/>. \u0427\u0430\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/610\/442\/b8a\/610442b8a242e320d8cf6463e450a034.svg\"\/> \u0443\u0447\u0435\u043d\u0438\u043a <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1c\/95c\/31a\/e1c95c31a23dfced5ca25f308e621491.svg\"\/> \u043d\u0435 \u043f\u043e\u043d\u044f\u043b \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043b, \u043d\u043e \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0447\u0435\u043d\u0438\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d1e\/ca4\/6cb\/d1eca46cb7ad5aa5aa4cf0765b3310e5.svg\"\/> \u0434\u0430\u0442\u044c \u0435\u043c\u0443 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"P_{test}\" alt=\"P_{test}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/985\/c6d\/a3f\/985c6da3fa56b1f714f5c394733ac6b8.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b, \u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447 \u043e\u043d \u0440\u0435\u0448\u0438\u0442, \u043d\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0430 \u043d\u0438\u0445 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0434\u0430\u0442\u044c \u0443\u0447\u0435\u043d\u0438\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a19\/5fb\/cd4\/a195fbcd4c643c55953a70e8e7693e9c.svg\"\/> \u0441\u043d\u043e\u0432\u0430 \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"P_{train}\" alt=\"P_{train}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b35\/df7\/5a6\/b35df75a63dd1f28d7dc2c67aa816e91.svg\"\/>, \u0442\u043e \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438 \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043e\u043a, \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445 \u0443\u0436\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u043e\u0434\u0430 (\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442 \u0438 \u043d\u0430\u043f\u0438\u0448\u0435\u0442 \u0447\u0442\u043e-\u0442\u043e \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0435, \u0447\u0442\u043e \u0441\u043e\u0439\u0434\u0435\u0442\u0441\u044f \u0441 \u043e\u0442\u0432\u0435\u0442\u043e\u043c). \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043e\u043a \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043e\u0432\u0441\u0435\u043c \u0440\u0430\u0437\u043d\u044b\u043c \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0439 \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Leakage_(machine_learning)\">target leakage<\/a>).<\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0442\u0430\u043a\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043e\u043d \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0434\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u043b\u0438 \u0433\u043b\u0430\u0437\u0430. \u0410\u0432\u0442\u043e\u0440\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 CatBoost \u043d\u0430\u0448\u043b\u0438 \u0441\u043f\u043e\u0441\u043e\u0431 \u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043d\u0430\u0437\u0432\u0430\u043d\u043d\u044b\u0439 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u043c.<\/p>\n<p><a class=\"anchor\" name=\"5.4\" id=\"5.4\"><\/a><\/p>\n<h3>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/h3>\n<p>\u0412 <a href=\"https:\/\/arxiv.org\/abs\/1706.09516\">Prokhorenkova et al., 2017<\/a> (\u0440\u0430\u0437\u0434\u0435\u043b 4) \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445. \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435), \u043d\u043e \u0442\u043e\u0433\u0434\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e \u0434\u0435\u0440\u0435\u0432\u043e, \u043a\u0430\u043a \u0438 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435. \u0412 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u0435\u0441\u043c\u0435\u0449\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430. \u0412\u0432\u0435\u0434\u0435\u043c \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u043d\u0435\u043a\u0438\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a (\u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0432 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u043c target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438) \u0438 \u043f\u0440\u043e\u043d\u0443\u043c\u0435\u0440\u0443\u0435\u043c \u0438\u0445 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0440\u044f\u0434\u043a\u0443: <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{D} = \\{x_i, y_i\\}_{i=1}^N\" alt=\"\\mathcal{D} = \\{x_i, y_i\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e4\/da7\/711\/6e4da7711084ab55ef1f12b2258f30e4.svg\"\/>. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/371\/166\/0cb\/3711660cb8dc91ea624bdf6874e7d3f0.svg\"\/> \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435 \u043e\u0434\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0430 \u043d\u0430\u0431\u043e\u0440 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u043c\u0435\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"f_{i, t}\" alt=\"f_{i, t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fcd\/65f\/b8d\/fcd65fb8dac5788eee4eac16731d0fc8.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/206\/144\/2d8\/2061442d8ff0e21ace2d58b7e29fa65e.svg\"\/> \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0440\u0430\u0434\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/236\/b32\/566\/236b325663b0705c7c7bd7bb2d4390b2.svg\"\/>: <img decoding=\"async\" class=\"formula inline\" source=\"F_{i, t} = f_{i, 0} + \\dots + f_{i, t}\" alt=\"F_{i, t} = f_{i, 0} + \\dots + f_{i, t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed1\/fa3\/2c5\/ed1fa32c557b07936d4da26c348931ac.svg\"\/> (<em>\u0440\u0438\u0441. 6<\/em>). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443 \u043d\u0430\u0441 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e5\/7dd\/4b9\/4e57dd4b95036085f493368a07b335c5.svg\"\/>-\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0441 1-\u0433\u043e \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/247\/0d8\/788\/2470d8788f88c79604884fec950388c1.svg\"\/>-\u0439 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i+1\" alt=\"i+1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da2\/d4f\/991\/da2d4f99183de5bfc17c81be367e5b4b.svg\"\/>-\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/093\/792\/518\/0937925188a99fbefef17f9533e1f56f.jpg\" alt=\"\u0420\u0438\u0441. 6. \u041e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430.\" title=\"\u0420\u0438\u0441. 6. \u041e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430.\" width=\"882\" height=\"366\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/093\/792\/518\/0937925188a99fbefef17f9533e1f56f.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 6. \u041e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430.<\/figcaption><\/figure>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 100-\u043c \u0448\u0430\u0433\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u044c 10-\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 10 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043b\u044f 10-\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c 9-\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 (\u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044f \u0432\u0441\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 9 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445), \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043b\u044f 9-\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c 8-\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u0435\u0440\u0432\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043f\u0440\u0430\u0432\u0434\u0430, \u043d\u0435 \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u0442\u0441\u044f &#8212; \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u043d\u0430 \u043d\u0435\u043c \u0432\u0441\u0435\u0433\u0434\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1c\/424\/309\/a1c4243093a5976549ab731834913b2c.svg\"\/> \u0448\u0430\u0433\u043e\u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"F_{N, T}\" alt=\"F_{N, T}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ed\/932\/fa7\/2ed932fa7b80f208bd3f3067a48afc66.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0430, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445. \u042d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u0422\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0435 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f.<\/p>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 \u043e\u0446\u0435\u043d\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u043c\u0435\u0449\u0435\u043d\u043d\u043e\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u041c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432 \u0433\u0440\u0443\u043f\u043f\u044b, \u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0434\u0435\u0440\u0435\u0432\u0443 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b, \u043d\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0410\u0432\u0442\u043e\u0440\u044b CatBoost \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u043d\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u0442\u0430\u043a\u0436\u0435 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u043d\u0435\u0441\u043c\u0435\u0449\u0435\u043d\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><a class=\"anchor\" name=\"5.5\" id=\"5.5\"><\/a><\/p>\n<h3>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c CatBoost<\/h3>\n<p>\u041e\u0431\u0449\u0430\u044f \u0438\u0434\u0435\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 CatBoost \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445 \u043c\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0430 \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c\u0438 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0442\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435.<\/p>\n<p>\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 (\u0434\u0435\u0440\u0435\u0432\u043e). \u0413\u043b\u0443\u0431\u0438\u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0440\u0430\u043d\u0435\u0435. \u0415\u0441\u043b\u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0440\u0430\u0432\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/18c\/bc1\/53b\/18cbc153b8ca19ee4db46915f2246469.svg\"\/>, \u0442\u043e \u0434\u0435\u0440\u0435\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/480\/13d\/3c9\/48013d3c9b4e2cb59f7482175b6808fe.svg\"\/> \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043f\u043e\u0440\u043e\u0433\u043e\u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0438\u043c\u0435\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"2^N\" alt=\"2^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/189\/53f\/0bc\/18953f0bcc8c774cb5cf3813dd346323.svg\"\/> \u043b\u0438\u0441\u0442\u044c\u0435\u0432.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u0432 \u043a\u0430\u043a\u043e\u043c \u043e\u043d \u0434\u0430\u043d \u0432 <a href=\"https:\/\/arxiv.org\/abs\/1706.09516\">Prokhorenkova et al., 2017<\/a>, appendix B. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c CatBoost \u0438\u043c\u0435\u0435\u0442 \u0434\u0432\u0430 \u0440\u0435\u0436\u0438\u043c\u0430: <em>plain<\/em> (\u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0431\u0435\u0437 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u044f) \u0438 <em>ordered<\/em> (\u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433), \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0436\u0438\u043c <em>ordered<\/em>.<\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435. \u0412 CatBoost \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u0441\u043c. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <\/em><code>boosting_type<\/code>. \u0422\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0438\u0434\u044b \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (\u0441\u043c. \u0434\u0430\u043b\u0435\u0435). \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"407\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01d\/507\/69c\/01d50769c7aff40b69032589bded9acd.png\" data-width=\"649\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u043f\u0440\u043e\u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"1\" alt=\"1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d45\/ec2\/0fc\/d45ec20fc403e16ab6755028d4770702.svg\"\/> \u0434\u043e <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/599\/def\/cb3\/599defcb34f9ba1ef41922b252ea18d4.svg\"\/>, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0430\u0433\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"I\" alt=\"I\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/19d\/741\/1c6\/19d7411c6110611bb7bff8419f9c8700.svg\"\/>, \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c <img decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ec\/945\/2d9\/7ec9452d98d8387c282b98f2060f5855.svg\"\/> \u0438 \u0434\u0432\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/512\/6f4\/2ff\/5126f42ff12762c5ec32f4ae9a5752e2.svg\"\/>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u043a\u0430\u043a learning rate (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b &#171;\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430&#187;) \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/909\/2a3\/31d\/9092a331d767766392da6e76cca886a2.svg\"\/> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u043a \u043c\u0438\u043d\u0443\u0441 \u0435\u0434\u0438\u043d\u0438\u0446\u0430.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 (\u0441\u0442\u0440\u043e\u043a\u0430 1) \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"s+1\" alt=\"s+1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7b\/729\/005\/c7b72900570ee7c4044b4620ad0c6fdb.svg\"\/> \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u043a, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043c. <code>np.random.permutation<\/code>). \u041f\u043e\u0437\u0438\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/131\/29b\/dd1\/13129bdd1d160f5df8a3c91a856a5c41.svg\"\/>-\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0432 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_r\" alt=\"\\sigma_r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a8\/2e0\/d2a\/3a82e0d2a104c0fb66745d97d5445d35.svg\"\/> \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_r(i)\" alt=\"\\sigma_r(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/142\/d3e\/ee1\/142d3eee1421ee39744a80eb6cef8f3a.svg\"\/>. \u042d\u0442\u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u041f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_1, \\dots, \\sigma_s\" alt=\"\\sigma_1, \\dots, \\sigma_s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd0\/075\/583\/bd0075583bf90e99ee2ad7ed025f966a.svg\"\/> \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_0\" alt=\"\\sigma_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf3\/c64\/613\/cf3c64613847860340c8881335a21b37.svg\"\/> \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430.<\/p>\n<p>\u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d42\/4c7\/45c\/d424c745cebbcf2990dbd2f961260343.svg\"\/> \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 (\u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430). \u0412 CatBoost \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0442\u043e\u0436\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e \u0434\u0435\u0440\u0435\u0432\u043e, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043c\u043d\u043e\u0433\u0438\u0445 &#171;\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445&#187; \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430. \u042d\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u043c\u0430\u0441\u0441\u0438\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d3\/b9c\/e32\/5d3b9ce3257c12c8e7183e88f534db24.svg\"\/>.<\/p>\n<p>\u0417\u0430\u043f\u0438\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"M_{r, j}(i)\" alt=\"M_{r, j}(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3f1\/8de\/464\/3f18de464a1a62286478bc8c87345808.svg\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 (\u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 &#8212; \u0447\u0438\u0441\u043b\u043e), \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/010\/f9d\/306\/010f9d306dcc9ebd13fd657258c580e9.svg\"\/>-\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 &#171;\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439&#187; \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"r, j\" alt=\"r, j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a3\/872\/0b3\/8a38720b300dedea57642a926408f7ba.svg\"\/>. \u0418\u043d\u0434\u0435\u043a\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"r\" alt=\"r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65d\/95e\/6cc\/65d95e6cc41507dffef595faf0dd7a13.svg\"\/> \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u043e\u043c\u0435\u0440\u0443 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 (\u043f\u0440\u0438 \u044d\u0442\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"r=0\" alt=\"r=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/58f\/baf\/689\/58fbaf6890fd417b19ef6450144ebede.svg\"\/> &#8212; \u043e\u0441\u043e\u0431\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u0438\u043d\u0434\u0435\u043a\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/337\/796\/65a\/33779665a9fb65f5ff38df3478733deb.svg\"\/> \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442). \u0418\u0434\u0435\u044f \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0435\u043a\u0438\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b &#171;\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433&#187;), \u0438 \u0438\u043d\u0434\u0435\u043a\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a8e\/f71\/60f\/a8ef7160fd92ac6b3eaa6abf90edd04e.svg\"\/> \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0440\u044f\u0434\u043a\u0443. \u0412 \u043f\u0440\u043e\u0441\u0442\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (<em>\u0440\u0438\u0441. 6<\/em>). \u041d\u043e \u0438\u0437 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 CatBoost \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d1\/ab6\/aaa\/6d1ab6aaaaa0434fb29d5f05dfb9f256.svg\"\/> \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\lceil \\log_2 n \\rceil\" alt=\"\\lceil \\log_2 n \\rceil\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f2\/dae\/cb0\/1f2daecb006843728abb1f8b0d0da3f4.svg\"\/> \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0438\u043d\u0434\u0435\u043a\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d2\/de9\/29a\/2d2de929a8a44ca2f273b92fbda5d2b4.svg\"\/>). \u0421\u0438\u043c\u0432\u043e\u043b <img decoding=\"async\" class=\"formula inline\" source=\"\\lceil\\ \\rceil\" alt=\"\\lceil\\ \\rceil\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a5\/630\/4ed\/9a56304edc46eec82645194a48206bc1.svg\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u0434\u043e \u0446\u0435\u043b\u043e\u0433\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\lceil \\log_2 n \\rceil\" alt=\"\\lceil \\log_2 n \\rceil\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d90\/2ea\/e0e\/d902eae0e0beb7f184bb67cdb71e7d2f.svg\"\/> \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c 70 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041c\u044b \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0438\u0445 \u043f\u043e \u043c\u0435\u0448\u043a\u0430\u043c, \u0438 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u0435\u0448\u043e\u043a \u043a\u043b\u0430\u0434\u0435\u043c \u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0447\u0435\u043c \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439. \u0422\u043e\u0433\u0434\u0430 \u0432 \u043c\u0435\u0448\u043a\u0430\u0445 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f 1, 2, 4, 8, 16, 32 \u0438 7 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043c\u0435\u0448\u043e\u043a \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u043d\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e). \u041a\u0430\u0436\u0434\u043e\u043c\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d7\/c6a\/5a4\/7d7c6a5a40c602dd55968373dfd9fe50.svg\"\/>-\u043c\u0443 \u043c\u0435\u0448\u043a\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 &#171;\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f&#187; \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 \u043c\u0435\u0448\u043a\u043e\u0432 \u0441 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"1, 2, \\dots, i\" alt=\"1, 2, \\dots, i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bca\/64d\/16f\/bca64d16fb11fb39c3e94bf4f234d00b.svg\"\/> \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"i+1\" alt=\"i+1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/893\/63a\/b34\/89363ab34d5c14a5966bb1b58c8b6d2d.svg\"\/>-\u0433\u043e \u043c\u0435\u0448\u043a\u0430.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/106\/e13\/4e0106e13840733a979ebb6fe6c2e7eb.svg\"\/> &#8212; \u044d\u0442\u043e \u043c\u0430\u0441\u0441\u0438\u0432 \u0447\u0438\u0441\u0435\u043b. \u041f\u043e\u0434\u043c\u0430\u0441\u0441\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c11\/90b\/4f1\/c1190b4f118fa66978bc39e2083503ea.svg\"\/> \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4d9\/4a3\/b12\/4d94a3b12daa7c5a26aac709f30fb293.svg\"\/>, \u043f\u043e\u0434\u043c\u0430\u0441\u0441\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"M_r\" alt=\"M_r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b29\/e2c\/014\/b29e2c014b7763b16e7ede3f6413a369.svg\"\/> \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"r=1, \\dots, s\" alt=\"r=1, \\dots, s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f2f\/782\/750\/f2f7827503f84f65b803dfab386fbd09.svg\"\/> \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\lceil \\log_2 n \\rceil \\times n\" alt=\"\\lceil \\log_2 n \\rceil \\times n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/93c\/795\/5f9\/93c7955f9bc545de2ef6ebb566640691.svg\"\/>. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0438\u043d\u0434\u0435\u043a\u0441, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043d\u043e\u043c\u0435\u0440\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0440\u0443\u0433\u043b\u044b\u0445 \u0441\u043a\u043e\u0431\u043a\u0430\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"M_0(0)\" alt=\"M_0(0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b2\/fef\/f58\/6b2feff589122b1135db3f55607ae649.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"M_{1, 0}(0)\" alt=\"M_{1, 0}(0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a2\/650\/81a\/1a265081aa855adb2e5b573a9fd42e19.svg\"\/> &#8212; \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u0430. \u0412 \u0441\u0442\u0440\u043e\u043a\u0430\u0445 2-4 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043c\u0430\u0441\u0441\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc7\/ee8\/d96\/fc7ee8d96de1e64be377f00bcfbcc4b1.svg\"\/> \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0443\u043b\u044f\u043c\u0438.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0446\u0438\u043a\u043b \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"I\" alt=\"I\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f0b\/07f\/4a2\/f0b07f4a234df5cd3aa7808198b24ee1.svg\"\/> \u0448\u0430\u0433\u043e\u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430. \u0412 \u0441\u0442\u0440\u043e\u043a\u0435 6 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u043e\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e (\u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"BuildTree\" alt=\"BuildTree\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca5\/fbf\/5c3\/ca5fbf5c35253ac7b9887588b3d6d6a9.svg\"\/> \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435), \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\{M_r\\}_{r=1}^s\" alt=\"\\{M_r\\}_{r=1}^s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/222\/70a\/0dd\/22270a0dd948c9d3f13a24a346666088.svg\"\/> \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\{\\sigma_i\\}_{i=1}^s\" alt=\"\\{\\sigma_i\\}_{i=1}^s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f74\/722\/5eb\/f747225ebec19d44affcc4983dfe8239.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b80\/64f\/55c\/b8064f55c5bfcb9094d3a14ce4611497.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_0\" alt=\"\\sigma_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40b\/790\/6ee\/40b7906ee00cadd62fe63376621518d2.svg\"\/> \u043d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f. \u0414\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T_t\" alt=\"T_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/433\/c37\/049\/433c37049d1172e9b380acdd53266587.svg\"\/>, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0435 \u043d\u0430 \u0448\u0430\u0433\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/245\/cac\/856\/245cac856730ed65e2117a88bc192f59.svg\"\/>, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b, \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438 \u043f\u043e\u0440\u043e\u0433\u0430. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"T_t\" alt=\"T_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a6\/01d\/fad\/5a601dfad92d60beeaf345fd1eb108ef.svg\"\/> \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u044b (\u0438\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439).<\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"GetLeaf\" alt=\"GetLeaf\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed8\/b89\/785\/ed8b89785f2bafb9921868438bdc304e.svg\"\/> (\u0441\u0442\u0440\u043e\u043a\u0430 7) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u043e\u043c\u0435\u0440\u0430 \u043b\u0438\u0441\u0442\u0430 \u0432 \u0434\u0435\u0440\u0435\u0432\u0435. \u0417\u0430\u043f\u0438\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"{GetLeaf}(x_i, T_t, \\sigma_0)\" alt=\"{GetLeaf}(x_i, T_t, \\sigma_0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9fd\/a8a\/3a4\/9fda8a3a4a37b3897cb05ab3ac50feb7.svg\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435: \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_0\" alt=\"\\sigma_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0fb\/1e0\/417\/0fb1e0417b59be1678e5d24516becd8c.svg\"\/>, \u043c\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d32\/dd1\/0a3\/d32dd10a33b88c403452dbbed149e3ec.svg\"\/>. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u0442\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0443\u0442\u044c \u0432 \u0434\u0435\u0440\u0435\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"T_t\" alt=\"T_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c60\/b7d\/74b\/c60b7d74bbc3a5dd796c310d25de5ade.svg\"\/> \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u043e\u043c\u0435\u0440 \u043b\u0438\u0441\u0442\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u0441\u0442\u0440\u043e\u043a\u0435 7 \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043d\u043e\u043c\u0435\u0440 \u043b\u0438\u0441\u0442\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_0\" alt=\"\\sigma_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bef\/500\/563\/bef50056367069b521df4c075de2a329.svg\"\/>. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0432\u0441\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u043b\u0438\u0441\u0442\u044c\u044f\u043c \u0434\u0435\u0440\u0435\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"T_t\" alt=\"T_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/549\/105\/f45\/549105f458e1cc70d0b17b246da85b4a.svg\"\/>.<\/p>\n<p>\u0412 \u0441\u0442\u0440\u043e\u043a\u0435 8 \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e2e\/669\/6fb\/e2e6696fbd9de9d860bdcc5f2a7d96d8.svg\"\/>. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"{grad}_0(i)\" alt=\"{grad}_0(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30e\/8fe\/57e\/30e8fe57e0315d800ccaad5ef566331e.svg\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ff\/68c\/5f1\/6ff68c5f1c2732a01f5875e5b52effeb.svg\"\/>-\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u0443. \u0418\u043d\u0434\u0435\u043a\u0441 0 \u0437\u0434\u0435\u0441\u044c \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf0\/781\/147\/cf07811479cc1266001e241e5e180f7c.svg\"\/>. \u0414\u0430\u043b\u0435\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f9\/a8f\/e2b\/0f9a8fe2b327e81d7cc966792fdd17f8.svg\"\/> \u0434\u0435\u0440\u0435\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"T_t\" alt=\"T_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/edc\/bf1\/ca7\/edcbf1ca702780c3261492e3cd734ef4.svg\"\/> \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"b_j^t\" alt=\"b_j^t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/596\/e2e\/47b\/596e2e47bf90c6f6de1fbc8a4ac55a36.svg\"\/> \u043d\u0430 \u044d\u0442\u043e\u043c \u043b\u0438\u0441\u0442\u0435, \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b (\u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441) \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u043b\u0438\u0441\u0442. \u0414\u0430\u043b\u0435\u0435 (\u0441\u0442\u0440\u043e\u043a\u0430 12) \u043c\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/51e\/82c\/ab9\/51e82cab95db2b326aeef2fea6bfa5cd.svg\"\/>, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0432 \u043d\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0438\u0437 \u043d\u043e\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u0412 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"b^t_{{leaf}_0(i)}\" alt=\"b^t_{{leaf}_0(i)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e91\/403\/718\/e91403718ee16b288b1178edc5fdc513.svg\"\/> \u043d\u0438\u0436\u043d\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u043c\u0435\u0440 \u043b\u0438\u0441\u0442\u0430 \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41b\/18e\/505\/41b18e505259def8291d5badcfcf290e.svg\"\/>-\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u0441\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ceb\/753\/868\/ceb75386880296b5192e3f9deff8be87.svg\"\/>-\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"b_j^t\" alt=\"b_j^t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/66b\/720\/ee8\/66b720ee806fcc9a3e94d6620db12d2b.svg\"\/> \u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0434\u0435\u0440\u0435\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"T_t\" alt=\"T_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0dc\/deb\/296\/0dcdeb29615850b63145f75e0bd26524.svg\"\/>.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0448\u0430\u0433\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f0\/789\/dd7\/6f0789dd7dfce891b05f2b131bb54983.svg\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T_t\" alt=\"T_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cfe\/dd8\/55a\/cfedd855a6105143380374f9193d8514.svg\"\/> \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"b_j^t\" alt=\"b_j^t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/80b\/a4f\/6f2\/80ba4f6f2c78629495d6d23919e42699.svg\"\/> \u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u044f\u0445. \u0422\u0430\u043a\u0436\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u0441\u0441\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/451\/f41\/df8\/451f41df89b211b7bd99598011597054.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0448\u0430\u0433\u0430\u0445, \u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 CatBoost \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u0432 \u0441\u0442\u0440\u043e\u043a\u0435 13. \u041c\u044b \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c (\u0441 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/23a\/ee8\/8f2\/23aee88f2aac026486ab35d21d69b06c.svg\"\/>, \u043a\u0430\u043a \u0438 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438). \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430 \u0435\u0433\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u0430\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c  (\u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u0438\u043c\u0432\u043e\u043b <img decoding=\"async\" class=\"formula inline\" source=\"ApplyMode\" alt=\"ApplyMode\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/729\/377\/e61\/729377e61ad8ab48584a6eee3fb9ab3f.svg\"\/>, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438). \u0417\u0430\u043f\u0438\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"b_j^t \\mathbb{1}_{{GetLeaf}(x, T_t, {ApplyMode})=j}\" alt=\"b_j^t \\mathbb{1}_{{GetLeaf}(x, T_t, {ApplyMode})=j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8e8\/56c\/c2c\/8e856cc2cb201f8ed0fea7be0dc5b784.svg\"\/> \u0441\u0443\u0434\u044f \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"b^t_{{GetLeaf}(x, T_t, {ApplyMode})}\" alt=\"b^t_{{GetLeaf}(x, T_t, {ApplyMode})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d0\/2d4\/1bf\/0d02d41bf17cd84e7a7857358d319fa1.svg\"\/>, \u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0435 \u0432 \u0432\u0438\u0434\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"BuildTree\" alt=\"BuildTree\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77d\/cf2\/e72\/77dcf2e72348dbed1fc29db8c9cb2403.svg\"\/>. \u042d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b86\/6e9\/9ed\/b866e99edcc907f54d2701bf7da3516a.svg\"\/> (\u043a\u0440\u043e\u043c\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/217\/77b\/b64\/21777bb644eed34f8608d7b240a8afb5.svg\"\/>), \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u043a (\u043a\u0440\u043e\u043c\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_0\" alt=\"\\sigma_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8d8\/421\/a4d\/8d8421a4df8d6423b53100457fa16b65.svg\"\/>), \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe3\/7b7\/c93\/fe37b7c930122769ec407a76af4ffc4d.svg\"\/>. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u043e\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42c\/a68\/fd8\/42ca68fd825aec51592fde93d760ad5b.svg\"\/> \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"688\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/169\/8b4\/b62\/1698b4b624e6601a425502f27a4b9cef.png\" data-width=\"611\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"BuildTree\" alt=\"BuildTree\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/920\/f0d\/828\/920f0d828e1fbd7de63f2aa18e066fcd.svg\"\/> \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_r\" alt=\"\\sigma_r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ecf\/edc\/c3a\/ecfedcc3a5c284b1339cbc45584f01b8.svg\"\/> \u0438 \u0434\u0430\u043b\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043d\u0435\u0439. \u042d\u0442\u043e\u0439 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"M_r\" alt=\"M_r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62f\/7a0\/305\/62f7a0305b6386cc452e665397b791a9.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\lceil \\log_2 n \\rceil \\times n\" alt=\"\\lceil \\log_2 n \\rceil \\times n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/130\/b15\/784\/130b1578477bd6ae4c10ab76306c4caa.svg\"\/>. \u041f\u043e \u044d\u0442\u043e\u043c\u0443 \u043c\u0430\u0441\u0441\u0438\u0432\u0443 \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"{grad}_r\" alt=\"{grad}_r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/212\/bdd\/a3e\/212bdda3e9b02d34037be02e783a8361.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 \u0442\u0430\u043a\u0443\u044e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 (<img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/018\/909\/01f\/01890901f8d7f9798c29a5180aaba96a.svg\"\/>) \u043c\u0430\u0441\u0441\u0438\u0432\u0430 M \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0443 \u0432 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435. \u041a\u0430\u0436\u0434\u043e\u043c\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0af\/c6c\/b69\/0afc6cb6972efe7c3e2cb7c17de6c365.svg\"\/>-\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\lfloor \\log_2(\\sigma_r(i)-1) \\rfloor\" alt=\"\\lfloor \\log_2(\\sigma_r(i)-1) \\rfloor\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a0c\/629\/403\/a0c629403059615151bf1c0d318e9030.svg\"\/> \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441\u0443. \u0412 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 \u043c\u0435\u0448\u043a\u0430\u043c\u0438 \u044d\u0442\u043e \u043d\u043e\u043c\u0435\u0440 \u043c\u0435\u0448\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e7\/b08\/898\/1e7b088985733150204541d79cca8df8.svg\"\/>-\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/p>\n<p>\u041c\u0430\u0441\u0441\u0438\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"G\" alt=\"G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88b\/6e1\/652\/88b6e165274622b4a8e5d98f8f781292.svg\"\/> (\u0441\u0442\u0440\u043e\u043a\u0430 3) \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/93e\/2e6\/a1f\/93e2e6a1fb2d9bc5e6590a4d0b2e7dfe.svg\"\/> (\u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438) \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/694\/50f\/5bb\/69450f5bb849c357dcf4105810f7ea89.svg\"\/> \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e &#171;\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438&#187;, \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0437\u0430 \u044d\u0442\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 (\u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f\u0441\u044f \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cec\/394\/0d7\/cec3940d771302f2c36b23e325c327cd.svg\"\/> \u043c\u0435\u0448\u043a\u0430\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"(i+1)\" alt=\"(i+1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/935\/466\/6e8\/9354666e807f6b71d582d2e4ed1a7d25.svg\"\/>-\u043c \u043c\u0435\u0448\u043a\u0435).<\/p>\n<p>\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0440\u043e\u0441\u0442\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 \u043c\u044b \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u043c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/658\/396\/625\/658396625e9d0f7f5c566052bf121123.svg\"\/> (\u0441\u0442\u0440\u043e\u043a\u0430 6), \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u043f\u043e\u0440\u043e\u0433\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/00e\/a0c\/47d\/00ea0c47d3900fc83e6ad5a251cade74.svg\"\/>, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T_c\" alt=\"T_c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eac\/048\/feb\/eac048feb76be4dabd97c65c2b8d4313.svg\"\/> \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"G\" alt=\"G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b0d\/2f9\/014\/b0d2f90145c6211c6bd72278d6dc3d9d.svg\"\/>. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043b\u0438\u0441\u0442\u044c\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_r\" alt=\"\\sigma_r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61c\/f24\/9fc\/61cf249fc08d9b7def03b3c5610d5cc6.svg\"\/> \u0434\u043b\u044f target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f (\u0441\u0442\u0440\u043e\u043a\u0430 8). \u0414\u0430\u043b\u0435\u0435 \u043d\u0443\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043b\u0438\u0441\u0442\u0435, \u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c (\u0441\u0442\u0440\u043e\u043a\u0430 10). \u0413\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435, \u043e\u0431\u0449\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u043d\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e90\/a62\/924\/e90a629243e56696e3b5cc1804c9aafe.svg\"\/>-\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta(i)\" alt=\"\\Delta(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/90d\/f3a\/a5e\/90df3aa5ebb18df23c43ec0b9cddde95.svg\"\/> \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"G\" alt=\"G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/752\/92f\/9af\/75292f9af3b1677a07e4193102110a25.svg\"\/> \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b66\/cd3\/734\/b66cd3734f1a01c5389c50c31a104da1.svg\"\/>, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u043c \u0432 \u044d\u0442\u043e\u0442 \u0436\u0435 \u043b\u0438\u0441\u0442 (<img decoding=\"async\" class=\"formula inline\" source=\"{leaf}_r(p)={leaf}_r(i)\" alt=\"{leaf}_r(p)={leaf}_r(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c0\/9b2\/2b3\/3c09b22b3f084d7857b76bd64a3fad3e.svg\"\/>) \u0438 \u0438\u043c\u0435\u044e\u0449\u0438\u043c \u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 \u0432 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 (<img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_r(p) &lt; \\sigma_r(i)\" alt=\"\\sigma_r(p) &lt; \\sigma_r(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1d\/00d\/7d5\/f1d00d7d5fb29799da342a63a0b4cde4.svg\"\/>). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0434\u0435\u0440\u0435\u0432\u0430 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u0443\u0436\u0435 \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0434\u0435\u0440\u0435\u0432\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043e (\u0441\u0442\u0440\u043e\u043a\u0430 10 \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 CatBoost).<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta(i)\" alt=\"\\Delta(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/718\/0c3\/7d9\/7180c37d91eb770d463623d34f2cb1ea.svg\"\/> \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Cosine_similarity\">cosine similarity<\/a> \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"G\" alt=\"G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/805\/540\/683\/8055406837e72e1e6ef211489761dc06.svg\"\/> (\u0441\u0442\u0440\u043e\u043a\u0430 11), \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0434\u0435\u0440\u0435\u0432\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043e, \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u0432\u0441\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1c\/c56\/30c\/e1cc5630cf9e0e982c583b1a5894762c.svg\"\/> (\u0441\u0442\u0440\u043e\u043a\u0438 13-17), \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e\u043c \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438. \u0417\u0434\u0435\u0441\u044c \u0432 \u0446\u0435\u043b\u043e\u043c \u0432\u0441\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e.<\/p>\n<p><a class=\"anchor\" name=\"5.6\" id=\"5.6\"><\/a><\/p>\n<h3>\u041a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 CatBoost<\/h3>\n<p>\u0415\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0439 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e CatBoost \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b. \u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430, \u0438 \u043f\u0440\u0438 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0443\u0442\u0435\u0440\u044f\u043d\u0430 (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b &#171;\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438&#187;). \u0427\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0432 CatBoost \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f (\u0441\u043c. <a href=\"https:\/\/arxiv.org\/abs\/1810.11363\">Dorogush et al, 2018<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b &#171;Feature combinations&#187;).<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0443\u0436\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b6\/e57\/d96\/0b6e57d96bf5ffebac05d5b5225c8644.svg\"\/> \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0434\u0435\u0440\u0435\u0432\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432 \u0434\u043b\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"K_1, \\dots, K_n\" alt=\"K_1, \\dots, K_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3dd\/5f4\/9d3\/3dd5f49d3e998aaa50ab2b71f6c26e90.svg\"\/>, \u0438 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"n+1\" alt=\"n+1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/93c\/6d9\/bec\/93c6d9bece826d7ab4f4a1de28954f0a.svg\"\/>-\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e \u043d\u0435\u043a\u043e\u0435\u043c\u0443 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e80\/e7c\/636\/e80e7c63605045e1a17da18b6f25ef68.svg\"\/>. \u041c\u044b \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f90\/b1b\/be6\/f90b1bbe6ef36d9a4e657974481a3efa.svg\"\/> \u0441 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"K_1, \\dots, K_n\" alt=\"K_1, \\dots, K_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e66\/baf\/8d8\/e66baf8d8b5c2eb401bb848368f7f2e9.svg\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u043e\u0432\u043e\u0433\u043e (\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e) \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"K, K_1, \\dots, K_n\" alt=\"K, K_1, \\dots, K_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aab\/ffe\/d83\/aabffed83afcb7e0f5cce8d134b1b150.svg\"\/>, \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c.<\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u044d\u0442\u043e\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u043f\u0438\u0441\u0430\u043d \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0442\u043a\u043e, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c, \u043a\u0430\u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043e\u043d \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d. \u0412 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 CatBoost \u0437\u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>max_ctr_complexity<\/code>.<\/p>\n<p><a class=\"anchor\" name=\"5.7\" id=\"5.7\"><\/a><\/p>\n<h3>\u041e\u0431\u0437\u043e\u0440 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 CatBoost<\/h3>\n<p>\u0412\u044b\u0448\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u0432 \u043a\u0430\u043a\u043e\u043c \u043e\u043d \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u0432 \u043d\u0430\u0443\u0447\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u041f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043c, \u0447\u0442\u043e \u0432 \u043d\u0435\u0439 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0412\u0430\u0436\u043d\u043e \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e CatBoost \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u043a CPU, \u0442\u0430\u043a \u0438 GPU (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>task_type<\/code> \u043c\u0435\u0442\u043e\u0434\u0430 <code>fit<\/code>). \u041c\u043d\u043e\u0433\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043b\u0438\u0431\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f CPU, \u043b\u0438\u0431\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f GPU, \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>grow_policy<\/code> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0442\u0438\u043f \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><code>grow_policy=SymmetricTree<\/code> (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e) &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446: \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0432\u0441\u0435\u0445 \u043b\u0438\u0441\u0442\u044c\u0435\u0432, \u043e\u0431\u0449\u0435\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430<\/p>\n<\/li>\n<li>\n<p><code>grow_policy=Depthwise<\/code> &#8212; \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0432\u0441\u0435\u0445 \u043b\u0438\u0441\u0442\u044c\u0435\u0432, \u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0435\u0442\u0432\u044f\u0445<\/p>\n<\/li>\n<li>\n<p><code>grow_policy=Lossguide<\/code> &#8212; \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0439<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>boosting_type<\/code> \u0437\u0430\u0434\u0430\u0435\u0442 \u0442\u0438\u043f \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0438\u043b\u0438 \u043d\u0435\u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445. \u041d\u0430 CPU \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e <code>boosting_type='Plain'<\/code>, \u0430 \u043d\u0430 GPU \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430: \u0435\u0441\u043b\u0438 \u0432 \u043d\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 50 \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <code>boosting_type='Ordered'<\/code>, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 (\u0441\u043c. <a href=\"https:\/\/catboost.ai\/en\/docs\/references\/training-parameters\/common#boosting_type\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e<\/a>).<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0432 CatBoost \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f bootstrap aggregation (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>bootstrap_type<\/code>, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. \u0432 <a href=\"https:\/\/catboost.ai\/en\/docs\/concepts\/algorithm-main-stages_bootstrap-options\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a>). \u041e\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0440\u0435\u043b\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445:<\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043e\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u043d\u0430 \u0432\u0441\u0435\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0430 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0435 (<code>bootstrap_type='Bernoulli'<\/code>). \u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 &#171;\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430&#187;. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 (<code>bootstrap_type='Bayesian'<\/code>), \u0438 \u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b \u0432 CatBoost, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0448\u0430\u0433\u043e\u043c (\u043a\u0430\u043a \u0438 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445 &#8212; XGBoost, LightGBM). \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. <a href=\"https:\/\/arxiv.org\/abs\/1810.11363\">Dorogush et al, 2018<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b &#171;Dense numerical features&#187;.<\/p>\n<p>CatBoost \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 (\u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u044f\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c bag-of-words). \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 CatBoost \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0435 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u044b \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u043e\u0433\u043e ML, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438. \u0412 \u043c\u0435\u0442\u043e\u0434\u0435 <code>fit<\/code> \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <code>cat_features<\/code> \u0438 <code>text_features<\/code>, \u0447\u0442\u043e\u0431\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043c\u043e\u0433 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0442\u044c \u0442\u0438\u043f\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0441 \u043d\u0438\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c.<\/p>\n<p><a class=\"anchor\" name=\"6\" id=\"6\"><\/a><\/p>\n<h2>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h2>\n<p>\u041e\u0434\u043d\u043e \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0432 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0443 \u0444\u043e\u0440\u043c\u0435. \u041f\u0440\u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0447\u0430\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f, \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c, \u0441\u043a\u0430\u0436\u0435\u043c, \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p><a class=\"anchor\" name=\"6.1\" id=\"6.1\"><\/a><\/p>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445<\/h3>\n<p>\u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 (feature importance) \u043d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a. \u041e\u0446\u0435\u043d\u043a\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 \u043d\u0435\u0441\u043e\u043c\u043d\u0435\u043d\u043d\u0443\u044e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043f\u043e\u043b\u044c\u0437\u0443. \u041f\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043e\u043d\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043e\u0442\u0441\u0435\u044f\u0442\u044c \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u0432 \u0446\u0435\u043b\u043e\u043c \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0435\u0441\u043b\u0438 \u043c\u044b \u0441\u0443\u043c\u0435\u0435\u043c \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441 \u044f\u0432\u043d\u043e \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043d\u043e\u0439 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c\u044e, \u0442\u043e \u0442\u0430\u043a \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0443\u0442\u0435\u0447\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/599573\/\">\u0437\u0434\u0435\u0441\u044c<\/a>).<\/p>\n<p>\u041f\u043e\u043d\u044f\u0442\u0438\u0435 &#171;\u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438&#187; \u043c\u043e\u0436\u043d\u043e \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431 <strong>mean decrease impurity<\/strong> (MDI), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445. \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0430\u043a \u0448\u0430\u0433 \u0440\u043e\u0441\u0442\u0430 \u0434\u0435\u0440\u0435\u0432\u0430, \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0449\u0438\u0439 \u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T_{\\text{before}}\" alt=\"T_{\\text{before}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b7\/60c\/1e6\/9b760c1e6272c03ca53e0ad24fa74fdc.svg\"\/> \u0432 \u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T_{\\text{after}}\" alt=\"T_{\\text{after}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0e8\/07f\/0f1\/0e807f0f106a451d5e103ce4cb7d38b0.svg\"\/> (\u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T_{\\text{after}}\" alt=\"T_{\\text{after}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/207\/23c\/0c6\/20723c0c627e648ef4c49638dbf0b89f.svg\"\/> \u0438\u043c\u0435\u0435\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u043b\u0438\u0441\u0442 \u0431\u043e\u043b\u044c\u0448\u0435). \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0431\u043e\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\text{loss}(T_{\\text{before}})\" alt=\"\\text{loss}(T_{\\text{before}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b14\/b8f\/a17\/b14b8fa17a19aa5b2caf972a240ab84e.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\text{loss}(T_{\\text{after}})\" alt=\"\\text{loss}(T_{\\text{after}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9bb\/f87\/f56\/9bbf87f564159d6a27223b282ba4c9dc.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u043e\u0441\u044c \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\text{loss}(T_{\\text{after}})\" alt=\"\\text{loss}(T_{\\text{after}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b30\/9a1\/b45\/b309a1b4503ff4308cc01b50164fe7dc.svg\"\/> (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b &#171;\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430&#187;).<\/p>\n<p>\u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"\\text{loss}(T_{\\text{after}}) - \\text{loss}(T_{\\text{before}})\" alt=\"\\text{loss}(T_{\\text{after}}) - \\text{loss}(T_{\\text{before}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/037\/34e\/67d\/03734e67dca077c8cf1b100003cc77e0.svg\"\/>, \u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430. \u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u0438 \u0432\u0437\u044f\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u0438 \u043f\u0440\u0430\u0432\u0438\u043b \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0434\u0435\u0440\u0435\u0432\u0443 \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430. \u0415\u0441\u043b\u0438 \u0434\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043b\u0438\u0441\u0442\u0435 \u0431\u044b\u043b\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d51\/1f5\/b1b\/d511f5b1b79966ffcd5df227c92afc80.svg\"\/>, \u0430 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0434\u0432\u0430 \u043b\u0438\u0441\u0442\u0430 \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"y_1\" alt=\"y_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/044\/f0f\/32a\/044f0f32a36d3b950afab85fdf0dacbb.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"y_2\" alt=\"y_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d22\/d0f\/435\/d22d0f435b6988c1c67a2d8040833784.svg\"\/> (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b &#171;\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438&#187;), \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0440\u0430\u0432\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"N_1\" alt=\"N_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd8\/508\/3e0\/fd85083e09746850b49da41325c88be9.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"N_2\" alt=\"N_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d35\/93e\/5b5\/d3593e5b59bc42565a95c3736fe90c9e.svg\"\/>, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"N_1 (y_1 - y)^2 + N_2 (y_2 - y)^2\" alt=\"N_1 (y_1 - y)^2 + N_2 (y_2 - y)^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e2\/3a0\/a4b\/5e23a0a4b92fb8cf8cebfcfe76d17362.svg\"\/><\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 CatBoost (\u0441\u043c. <a href=\"https:\/\/catboost.ai\/en\/docs\/concepts\/fstr#regular-feature-importance\">PredictionValuesChange<\/a>).<\/p>\n<p>\u0414\u0440\u0443\u0433\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 <strong>permutation importance<\/strong>, \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c: \u043c\u044b \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0437\u0430\u0442\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438 \u0441\u043d\u043e\u0432\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u041f\u0430\u0434\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0437\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.<\/p>\n<p>\u0412 \u043e\u0446\u0435\u043d\u043a\u0435 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0442\u0430\u043a\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u043a\u0440\u043e\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u0437\u043d\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/001\/053\/700\/0010537003e15ab4370d4dcb033767a0.svg\"\/> \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438\u0448\u044c \u0432 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u043b\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043f\u0440\u0438\u0437\u043d\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"B\" alt=\"B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/229\/108\/fa2\/229108fa2ea807496a9f683cf04f224c.svg\"\/> \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u043e \u0432\u043e \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u0445. \u041e\u0431\u0430 \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432\u0430\u0436\u043d\u044b, \u043d\u043e \u044d\u0442\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430, \u0438 \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0438\u0434\u043d\u043e \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f.<\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a8\/ca3\/f81\/5a8ca3f818b6d5c5217180ab17fdb3d1.svg\"\/> \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430 \u0434\u043e\u043b\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u043d\u0438\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0430 \u044d\u0442\u0430 \u0434\u043e\u043b\u044f \u043c\u043e\u0436\u0435\u0442 \u0432\u0430\u0440\u044c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0441\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u044d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435. \u042d\u0442\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.<\/p>\n<p>\u041f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0432 \u0446\u0435\u043b\u043e\u043c \u043d\u0435\u0432\u0435\u0440\u043d\u0443\u044e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0415\u0441\u043b\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430, \u0442\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u043d\u043e \u0435\u0441\u043b\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430, \u0442\u043e \u043e\u0442\u0431\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u0435\u0442 \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p><a class=\"anchor\" name=\"6.2\" id=\"6.2\"><\/a><\/p>\n<h3>SHAP values<\/h3>\n<p>\u0415\u0449\u0435 \u043e\u0434\u043d\u0438\u043c, \u0431\u043e\u043b\u0435\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f SHAP values, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u0433\u0440. SHAP values \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. SHAP values \u0438\u043c\u0435\u044e\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. SHAP values, \u043a\u0430\u043a \u0438 mean decrease impurity, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u043e\u0439 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b &#171;\u043c\u043e\u0434\u0435\u043b\u044c + \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445&#187;. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0435 SHAP values \u0434\u043b\u044f \u0442\u0435\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n<p>\u041f\u0435\u0440\u0435\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c SHAP values \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430, \u0435\u0433\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u043c\u0438 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. \u0432 \u043e\u0431\u0437\u043e\u0440\u0435 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/599573\/\">\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u0434\u0430\u043d\u043d\u044b\u0445: LIME, SHAP \u0438 Shapley Flow<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"7\" id=\"7\"><\/a><\/p>\n<h2>\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h2>\n<p><a class=\"anchor\" name=\"7.1\" id=\"7.1\"><\/a><\/p>\n<h3>\u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438<\/h3>\n<p>\u041b\u044e\u0431\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f &#8212; \u044d\u0442\u043e \u043d\u0435\u043a\u043e\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"M = \\{f_\\theta|\\theta \\in \\Theta\\}\" alt=\"M = \\{f_\\theta|\\theta \\in \\Theta\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dd6\/411\/2f3\/dd64112f33ca4f005ad3b05b00b5d5af.svg\"\/>. \u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043e\u0434\u043d\u0443 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"x \\to y\" alt=\"x \\to y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e8e\/62e\/08d\/e8e62e08d2e6e955bc36837413145f49.svg\"\/>. \u041f\u043e\u0434 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e (expressivity) \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bff\/712\/cad\/bff712cada57a4a90563e6bb92175c52.svg\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c: \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"M_1\" alt=\"M_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b0\/8e0\/b0e\/7b08e0b0e6b209845b74a985157e55d6.svg\"\/> \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u0447\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"M_2\" alt=\"M_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/570\/f42\/102\/570f42102f08106113e8333b443aea63.svg\"\/>, \u0435\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"M_1 \\supsetneq M_2\" alt=\"M_1 \\supsetneq M_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7c8\/722\/f47\/7c8722f47cb79e87fdd63c6cd3fa0e2b.svg\"\/>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"M_1\" alt=\"M_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a76\/ea9\/176\/a76ea91769ca631059632299bf093030.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"M_2\" alt=\"M_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ba\/a87\/414\/7baa874142f093fbcd182d1146c2c273.svg\"\/> \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043f\u043e \u0440\u0430\u0437\u043d\u043e\u043c\u0443.<\/p>\n<p>\u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b7\/2e5\/311\/3b72e5311662d25ecd55e860dc6bbe60.svg\"\/> \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ec\/bb9\/0af\/5ecbb90af8f86115521a52049add2438.svg\"\/>, \u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/968\/ace\/5d6\/968ace5d6821a0d1872ac9b09039feef.svg\"\/> \u043d\u0430\u0439\u0434\u0443\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043a <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/694\/2d1\/414\/6942d14146c004cf01e5ebbe65f8c968.svg\"\/> &#8212; \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0435\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b9\/758\/ea1\/4b9758ea14aa20e93003ce5847f9ca53.svg\"\/> \u043c\u043e\u0434\u0435\u043b\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e9\/13f\/4d5\/9e913f4d551d214849d39cfe6ead1902.svg\"\/>. \u041c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/68a\/97d\/c84\/68a97dc8466452153dde5d3e703be18c.svg\"\/> \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u043c, \u0435\u0441\u043b\u0438 \u0441 \u0435\u0435 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0441\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u044e\u0431\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438\u0437  \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043b\u044e\u0431\u0443\u044e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438\u043b\u0438 \u043b\u044e\u0431\u0443\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e; \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u0440\u043e\u0433\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438 \u0441\u043c., \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Universal_approximation_theorem#Arbitrary-width_case\">\u0437\u0434\u0435\u0441\u044c<\/a>).<\/p>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435, \u0447\u0435\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c, \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. <a href=\"https:\/\/en.wikipedia.org\/wiki\/Multilayer_perceptron\">\u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c<\/a> \u0441 \u043e\u0434\u043d\u0438\u043c \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043b\u043e\u0435\u043c \u0431\u0435\u0437 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438\u043c\u0435\u0435\u0442 \u0442\u0443 \u0436\u0435 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0431\u0435\u0437 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 (\u0435\u0441\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0445\u043e\u0434\u0430 \u0438 \u0432\u044b\u0445\u043e\u0434\u0430). \u0422\u043e \u0435\u0441\u0442\u044c \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0432\u043d\u044b \u043a\u0430\u043a \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0445\u043e\u0442\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0441 \u043e\u0434\u043d\u0438\u043c \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043b\u043e\u0435\u043c \u0438 \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u043d\u0435\u043f\u043e\u043b\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ReLU \u0438\u043b\u0438 tanh) \u0438\u043c\u0435\u0435\u0442 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0435\u0442\u044c \u0431\u0435\u0437 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043b\u043e\u0435\u0432, \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 ReLU, \u0442\u043e \u043f\u0440\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u0430\u043a\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u0441\u0435\u0442\u0438, \u0447\u0442\u043e\u0431\u044b \u0441\u0435\u0442\u044c \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u043b\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"sin(x)\" alt=\"sin(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/843\/93f\/78f\/84393f78fb07e58477a162f46198a3a8.svg\"\/>, \u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044f \u0432\u0435\u0441\u0430 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"[x_1, x_2]\" alt=\"[x_1, x_2]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af2\/6dc\/ed1\/af26dced1a334b36b05ed6b768d1807b.svg\"\/>.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u043c &#8212; \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u043b\u0438 \u043f\u043b\u043e\u0445\u043e? \u0412\u043e\u043f\u0440\u043e\u0441 \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0439. \u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u0444\u0430\u043a\u0442\u0430 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u0431 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0421 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0442\u0438\u043f\u0430\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0448\u0438\u0440\u043e\u043a\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u0448\u0443\u043c\u0435 (\u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0435 \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f).<\/p>\n<p>\u0418\u0442\u0430\u043a, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u0430\u043c\u0438?<\/p>\n<p><a class=\"anchor\" name=\"7.2\" id=\"7.2\"><\/a><\/p>\n<h3>\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/h3>\n<p>\u0420\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f (\u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0432 CatBoost), \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b4\/c71\/da5\/1b4c71da5fc347f8630d3ffc533ae97b.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0443\u0447\u0430\u0441\u0442\u043a\u0438, \u0432\u0432\u0435\u0434\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0447\u0430\u0441\u0442\u043a\u0435 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf4\/2b1\/cc9\/bf42b1cc9560d644e38237f8a7a647b5.svg\"\/>. \u0422\u0430\u043a\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A1%D1%83%D0%BC%D0%BC%D0%B0_%D0%A0%D0%B8%D0%BC%D0%B0%D0%BD%D0%B0\">\u0441\u0443\u043c\u043c\u0443 \u0420\u0438\u043c\u0430\u043d\u0430<\/a> (\u0441\u043c. \u0442\u0430\u043a\u0436\u0435 Royden and Fitzpatrick <a href=\"https:\/\/s2pnd-matematika.fkip.unpatti.ac.id\/wp-content\/uploads\/2019\/03\/Real-Analysis-4th-Ed-Royden.pdf\">&#171;Real Analysis&#187;<\/a>, The Simple Approximation Theorem).<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0447\u0430\u0441\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442, \u0438 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441 \u043e \u0442\u043e\u043c, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b. \u042f \u043d\u0435 \u0441\u043c\u043e\u0433 \u043d\u0430\u0439\u0442\u0438 \u0432 \u043d\u0430\u0443\u0447\u043d\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043e \u0442\u043e\u043c, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u0430\u043c\u0438.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c3\/d01\/dc2\/0c3d01dc28883a42aec42736bb1ae963.svg\"\/> \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u043c \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u0438\u0448\u044c \u0442\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u044b \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/18a\/558\/540\/18a55854043e617cdeea5b178d4069ff.svg\"\/> \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"f(x) = x_1 x_2 \\dots x_{N+1}\" alt=\"f(x) = x_1 x_2 \\dots x_{N+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d0\/eda\/b4a\/2d0edab4a2e51b57d4d07d81e4454a1f.svg\"\/> \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/185\/676\/fd8\/185676fd89843fbd98d814809fa80ed7.svg\"\/>.<\/p>\n<p><a class=\"anchor\" name=\"7.3\" id=\"7.3\"><\/a><\/p>\n<h3>\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h3>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c (\u0442. \u0435. \u0441\u0443\u043c\u043c\u0443) \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u0441\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438\u043c\u0435\u044e\u0442 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 1, \u0437\u0430\u0442\u0435\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2, \u0438 \u0437\u0430\u0442\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1c6\/6d6\/927\/1c66d69270e54fa4c3e81b12d75cd144.svg\"\/>.<\/p>\n<p><strong>\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1<\/strong><\/p>\n<p>\u041f\u0440\u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 1 \u043a\u0430\u0436\u0434\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438 \u0434\u0432\u0443\u0445 \u043b\u0438\u0441\u0442\u044c\u0435\u0432. \u041a\u0430\u0436\u0434\u043e\u0435 \u0442\u0430\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u043a\u0430\u043a \u043a\u0443\u0441\u043e\u0447\u043d\u043e-\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430: <img class=\"formula inline\" source=\"f(x) = (c_1 \\text{  if  }  x{>}t \\text{  else  } c_2)&#187; alt=&#187;f(x) = (c_1 \\text{  if  }  x{>}t \\text{  else  } c_2)&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c12\/783\/111\/c127831115dee4a631a03d681d55c699.svg&#187;\/>. \u0421\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0432 \u0432\u0441\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0432 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435 \u043f\u043e \u043d\u043e\u043c\u0435\u0440\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0432 \u0442\u0430\u043a\u043e\u043c \u0432\u0438\u0434\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"f(x) = \\sum\\limits_i f_i(x_i) \\tag{2}\" alt=\"f(x) = \\sum\\limits_i f_i(x_i) \\tag{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a31\/8bc\/63c\/a318bc63cc5523844ea07649fd237fe0.svg\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f_i\" alt=\"f_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e3\/fd5\/4a0\/3e3fd54a0d0e0e1a57ddf931f891e111.svg\"\/> &#8212; \u043b\u044e\u0431\u044b\u0435 \u043a\u0443\u0441\u043e\u0447\u043d\u043e-\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0435 \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0432\u0438\u0434\u0430 <img class=\"formula inline\" source=\"c_1 \\text{  if  }  x{>}t \\text{  else  } c_2&#8243; alt=&#187;c_1 \\text{  if  }  x{>}t \\text{  else  } c_2&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef8\/255\/b02\/ef8255b027e18a3edcdc781a4df13d34.svg&#187;\/>.<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043b\u044e\u0431\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u0443\u044e \u0432 \u0432\u0438\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/45c\/769\/0f7\/45c7690f74822e485906cd89b37221e2.svg\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"f_i\" alt=\"f_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49e\/858\/f16\/49e858f16bc6ecbe89a7927fc64d3e76.svg\"\/> &#8212; \u043b\u044e\u0431\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438\u0437 \u043e\u0447\u0435\u043d\u044c \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 (\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u043f\u043e \u0420\u0438\u043c\u0430\u043d\u0443) \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u043a\u0443\u0441\u043e\u0447\u043d\u043e-\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u043b\u044e\u0431\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u0432 \u0444\u043e\u0440\u043c\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f56\/19e\/c82\/f5619ec82a025709e763b041878eac48.svg\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"F_i\" alt=\"F_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44b\/882\/660\/44b882660210be789156399cd7646bb3.svg\"\/> &#8212; \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0415\u0441\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u0430\u043c\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/118\/d13\/00e\/118d1300e9184ae3b5db79cac2d37ac7.svg\"\/>, \u0430 \u0435\u0433\u043e \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0443, \u0442\u043e\u0433\u0434\u0430 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77d\/923\/fe2\/77d923fe25f4e999e59dbc1026c97de6.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p><strong>\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2<\/strong><\/p>\n<p>\u0414\u0435\u0440\u0435\u0432\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2 \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0434\u043e \u0442\u0440\u0435\u0445 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0431\u044b\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043e\u0442 \u0442\u0440\u0435\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0443 \u0434\u0432\u0443\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 (<em>\u0440\u0438\u0441. 7<\/em>). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0438\u0437 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043a\u0430\u0436\u0434\u0430\u044f \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 1 \u0438\u043b\u0438 2 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/5d8\/e62\/697\/5d8e62697c589bfe35d90d5973a4163e.jpg\" alt=\"\u0420\u0438\u0441. 7. \u0414\u0435\u0440\u0435\u0432\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0435\u0435 \u0442\u0440\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0443\u043c\u043c\u0443 \u0434\u0432\u0443\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u043f\u043e \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.\" title=\"\u0420\u0438\u0441. 7. \u0414\u0435\u0440\u0435\u0432\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0435\u0435 \u0442\u0440\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0443\u043c\u043c\u0443 \u0434\u0432\u0443\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u043f\u043e \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.\" width=\"1113\" height=\"296\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d8\/e62\/697\/5d8e62697c589bfe35d90d5973a4163e.jpg\" data-blurred=\"true\"\/><figcaption>\u0420\u0438\u0441. 7. \u0414\u0435\u0440\u0435\u0432\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0435\u0435 \u0442\u0440\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0443\u043c\u043c\u0443 \u0434\u0432\u0443\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u043f\u043e \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430.<\/figcaption><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u0430 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435, \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u043e \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"f(x) = \\sum\\limits_{i, j} f_{i, j}(x_i, x_j) \\tag{3}\" alt=\"f(x) = \\sum\\limits_{i, j} f_{i, j}(x_i, x_j) \\tag{3}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/283\/456\/7a7\/2834567a76e97f4d5c42ac7db99743fa.svg\"\/><\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043b\u044e\u0431\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 \u0434\u0432\u0443\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u043e\u0439 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2. \u0414\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u043b\u044e\u0431\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"f(x, y)\" alt=\"f(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f10\/317\/1d3\/f103171d3ff067c13dc954793ee0b4fd.svg\"\/> (\u0438\u0437 \u043e\u0447\u0435\u043d\u044c \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430) \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c &#171;\u043a\u0438\u0440\u043f\u0438\u0447\u0438\u043a\u0430\u043c\u0438&#187; \u0432\u0438\u0434\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"(c \\text{  if  } x_1{&lt;}x{&lt;}x_2 \\text{  and  } y_1{&lt;}y{&lt;}y_2)\" alt=\"(c \\text{  if  } x_1{&lt;}x{&lt;}x_2 \\text{  and  } y_1{&lt;}y{&lt;}y_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/85f\/b7f\/64f\/85fb7f64f699e0290ab9fa70c10c5990.svg\"\/>, \u0438 \u0442\u0430\u043a\u043e\u0439 &#171;\u043a\u0438\u0440\u043f\u0438\u0447\u0438\u043a&#187; \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2:<\/p>\n<ul>\n<li>\n<p><img class=\"formula inline\" source=\"{Tree}_1: c \\text{  if  }  \\big( x{>}x_1 \\text{  and  } y{>}y_1 \\big) \\text{  else  } 0&#8243; alt=&#187;{Tree}_1: c \\text{  if  }  \\big( x{>}x_1 \\text{  and  } y{>}y_1 \\big) \\text{  else  } 0&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3dc\/380\/61c\/3dc38061c8dbbf1118a2907e0ac67a02.svg&#187;\/><\/p>\n<\/li>\n<li>\n<p><img class=\"formula inline\" source=\"{Tree}_2: -c \\text{  if  }  \\big( x{>}x_2 \\text{  and  } y{>}y_1 \\big) \\text{  else  } 0&#8243; alt=&#187;{Tree}_2: -c \\text{  if  }  \\big( x{>}x_2 \\text{  and  } y{>}y_1 \\big) \\text{  else  } 0&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd6\/870\/6ac\/bd68706aca4bf13d8abddb51f215457d.svg&#187;\/><\/p>\n<\/li>\n<li>\n<p><img class=\"formula inline\" source=\"{Tree}_3: -c \\text{  if  }  \\big( x{>}x_1 \\text{  and  } y{>}y_2 \\big) \\text{  else  } 0&#8243; alt=&#187;{Tree}_3: -c \\text{  if  }  \\big( x{>}x_1 \\text{  and  } y{>}y_2 \\big) \\text{  else  } 0&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a20\/4d5\/b02\/a204d5b022b212e0fab3083f5f5f0a86.svg&#187;\/><\/p>\n<\/li>\n<li>\n<p><img class=\"formula inline\" source=\"{Tree}_4: c \\text{  if  }  \\big( x{>}x_2 \\text{  and  } y{>}y_2 \\big) \\text{  else  } 0&#8243; alt=&#187;{Tree}_4: c \\text{  if  }  \\big( x{>}x_2 \\text{  and  } y{>}y_2 \\big) \\text{  else  } 0&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c33\/61f\/311\/c3361f311759c82be4ee01f0ddd97c27.svg&#187;\/><\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u043e \u0442\u043e\u043c, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u043b\u044e\u0431\u0443\u044e (\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u043f\u043e \u0420\u0438\u043c\u0430\u043d\u0443) \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u0443\u044e \u0432 \u0432\u0438\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f18\/be1\/76b\/f18be176beb4867a9ae49d462fd64512.svg\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"f_{i, j}\" alt=\"f_{i, j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b8\/e92\/2a7\/5b8e922a70b6b7be7c7b825440876803.svg\"\/> \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043b\u044e\u0431\u044b\u043c\u0438.<\/p>\n<p><strong>\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dae\/326\/432\/dae326432f0fb790aa6a5121ee961c1b.svg\"\/><\/strong><\/p>\n<p>\u0414\u043e\u043a\u0430\u0436\u0435\u043c, \u0447\u0442\u043e \u043d\u0438 \u043f\u0440\u0438 \u043a\u0430\u043a\u043e\u043c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42f\/6c6\/6a6\/42f6c66a651485b336fc80018eb6fba5.svg\"\/> \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a6\/717\/e9c\/6a6717e9c28b708e4765517d6967cb68.svg\"\/> \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u043c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N+1\" alt=\"N+1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ac\/ca7\/078\/4acca7078e2f0fa98333ba74bdce1978.svg\"\/> \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0441\u0443\u043c\u043c\u043e\u0439 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9d6\/054\/4f8\/9d60544f819f7d9e994eb62feb7a666e.svg\"\/>.<\/p>\n<p>\u0412\u0432\u0435\u0434\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f \\overset{\\large{\\epsilon}}{\\approx} g\" alt=\"f \\overset{\\large{\\epsilon}}{\\approx} g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f57\/590\/e45\/f57590e45402894d0a6d3e81f8c072cb.svg\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\max |f(x) - g(x)| &lt; \\epsilon\" alt=\"\\max |f(x) - g(x)| &lt; \\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee0\/c5b\/7d0\/ee0c5b7d0d4b2b56ecdbf5669ab0ec3e.svg\"\/>. \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0440\u0430\u0432\u043d\u044b \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0411\u0443\u0434\u0435\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff0\/db7\/ca5\/ff0db7ca51dfc392a9eb31f695125b5d.svg\"\/> \u00ab\u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0442\u00bb \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/020\/23e\/ded\/02023eded6b45e109b8ccd12caf76b92.svg\"\/>, \u0435\u0441\u043b\u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e <img class=\"formula inline\" source=\"\\epsilon > 0&#8243; alt=&#187;\\epsilon > 0&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/263\/df0\/7fa\/263df07fa127cb987fa664423751834e.svg&#187;\/> \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u0430\u043a\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"a \\in A\" alt=\"a \\in A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b4\/bfe\/419\/8b4bfe419975563edd480e5885ebef3a.svg\"\/>, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"a \\overset{\\large{\\epsilon}}{\\approx} F\" alt=\"a \\overset{\\large{\\epsilon}}{\\approx} F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a10\/50d\/ffa\/a1050dffa75493ff541c5aec8da1902e.svg\"\/>. \u0418\u043d\u0430\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/371\/3f5\/bbf\/3713f5bbffb80a7b104d2daac45c584e.svg\"\/>, <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%B0%D0%B2%D0%BD%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D1%81%D1%85%D0%BE%D0%B4%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D1%8C\">\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0441\u0445\u043e\u0434\u044f\u0449\u0430\u044f\u0441\u044f<\/a> \u043a <img decoding=\"async\" class=\"formula inline\" source=\"F\" alt=\"F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cf\/7bf\/c0c\/9cf7bfc0c974aa53578cd00656a53e31.svg\"\/>. \u0414\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0437\u0430\u043c\u043a\u043d\u0443\u0442\u043e\u043c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"[0, 1]\" alt=\"[0, 1]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/851\/096\/2cf\/8510962cfd6bba090b61b517050b7c40.svg\"\/>. \u0412\u0432\u0435\u0434\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"T_N\" alt=\"T_N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d5\/41f\/722\/7d541f7228b4cff12e22c47b003dfe07.svg\"\/> &#8212; \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0445 \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/399\/f07\/f58\/399f07f58fa235443e0df4d01d38ca62.svg\"\/>.<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"A_N\" alt=\"A_N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/454\/680\/b10\/454680b105f42dcdcd85c6ce907ecb38.svg\"\/> &#8212; \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0445 \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/772\/f55\/1ec\/772f551ecc6cd999ed6c94355991687e.svg\"\/> \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u043a\u0430\u0436\u0435\u043c, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T_N \\subset A_N\" alt=\"T_N \\subset A_N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbb\/c3e\/cbf\/cbbc3ecbf7283fd4f945a36a5bf18a4e.svg\"\/>. \u041a\u0430\u0436\u0434\u043e\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/332\/f09\/d8b\/332f09d8b98a9da2d86dc2dfddcb3e99.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0443 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043b\u0438\u0448\u044c \u043e\u0434\u0438\u043d \u043b\u0438\u0441\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/436\/f70\/d4f\/436f70d4f6c69ca0344b5e2171081fce.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c12\/02b\/df2\/c1202bdf209437a84bcb313f8aec13a1.svg\"\/> \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 (\u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f <img decoding=\"async\" class=\"formula inline\" source=\"N=2\" alt=\"N=2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf4\/546\/247\/bf45462473a7ed1257d3db4409b2e577.svg\"\/> \u0441\u043c. <em>\u0440\u0438\u0441. 7<\/em>).<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"A_N\" alt=\"A_N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a10\/b29\/425\/a10b29425097fe837a200f792f7e4536.svg\"\/> \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"F(x) = x_1 x_2 \\dots  x_{N+1}\" alt=\"F(x) = x_1 x_2 \\dots  x_{N+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b81\/e6f\/81d\/b81e6f81d28b94d0819681f40516fbad.svg\"\/>. \u0427\u0442\u043e\u0431\u044b \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043d\u043e\u0442\u0430\u0446\u0438\u044e, \u0434\u043e\u043a\u0430\u0436\u0435\u043c \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f <img decoding=\"async\" class=\"formula inline\" source=\"N=3\" alt=\"N=3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f50\/3c2\/940\/f503c29407d64350dee73723e300edc4.svg\"\/>. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab6\/5d2\/219\/ab65d2219f60989f3e40c8f67146e31e.svg\"\/>.<\/p>\n<p><em>\u0422\u0435\u043e\u0440\u0435\u043c\u0430<\/em>. \u0424\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"F(x) = x_1 x_2 x_3 x_4\" alt=\"F(x) = x_1 x_2 x_3 x_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/367\/47a\/3f4\/36747a3f459354b7a0aff1edb962d657.svg\"\/> \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"A_3\" alt=\"A_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f38\/417\/8d7\/f384178d716e10e2a25bc1b8d050fc20.svg\"\/> (\u0430 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"T_3\" alt=\"T_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bfa\/396\/573\/bfa3965738a52c31a97043d36ccc0dc7.svg\"\/>).<\/p>\n<p><em>\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e<\/em>. \u0414\u043e\u043a\u0430\u0436\u0435\u043c \u043e\u0442 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u0433\u043e. \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\epsilon\" alt=\"\\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/daa\/e07\/26c\/daae0726c98c8b2ef06f4bfe3e491bcb.svg\"\/>. \u041f\u0443\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u0441\u043a\u043e\u043c\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"f_1(x_2,x_3,x_4)+f_2(x_1,x_3,x_4)+f_3(x_1,x_2,x_4)+f_4(x_1,x_2,x_3) \\overset{\\large{\\epsilon}}{\\approx} x_1 x_2 x_3 x_4\" alt=\"f_1(x_2,x_3,x_4)+f_2(x_1,x_3,x_4)+f_3(x_1,x_2,x_4)+f_4(x_1,x_2,x_3) \\overset{\\large{\\epsilon}}{\\approx} x_1 x_2 x_3 x_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ce\/246\/6cf\/8ce2466cff4b7e3c45ee505c54dc75af.svg\"\/><\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043b\u0443\u0447\u0430\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_4=0\" alt=\"x_4=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/133\/a3f\/304\/133a3f304ff6ac871e2ba49d368cb51c.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_4=1\" alt=\"x_4=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01a\/a27\/0d7\/01aa270d73acfcc2bacfe8458f8c40cf.svg\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"x_4=0: \\quad f_1(x_2,x_3,0)+f_2(x_1,x_3,0)+f_3(x_1,x_2,0)+f_4(x_1,x_2,x_3) \\overset{\\large{\\epsilon}}{\\approx} 0\" alt=\"x_4=0: \\quad f_1(x_2,x_3,0)+f_2(x_1,x_3,0)+f_3(x_1,x_2,0)+f_4(x_1,x_2,x_3) \\overset{\\large{\\epsilon}}{\\approx} 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/058\/36e\/38b\/05836e38b21a64813d32844524473c89.svg\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"x_4=1: \\quad f_1(x_2,x_3,1)+f_2(x_1,x_3,1)+f_3(x_1,x_2,1)+f_4(x_1,x_2,x_3) \\overset{\\large{\\epsilon}}{\\approx} x_1 x_2 x_3\" alt=\"x_4=1: \\quad f_1(x_2,x_3,1)+f_2(x_1,x_3,1)+f_3(x_1,x_2,1)+f_4(x_1,x_2,x_3) \\overset{\\large{\\epsilon}}{\\approx} x_1 x_2 x_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/931\/a2a\/8ca\/931a2a8ca29cd78f3d881f1ab0a1fce1.svg\"\/><\/p>\n<p>\u0412\u044b\u0447\u0442\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u0441\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\underbrace{f_1(x_2,x_3,1)-f_1(x_2,x_3,0)}_{\\large{g_1(x_2,x_3)}}+\\underbrace{f_2(x_1,x_3,1)-f_2(x_1,x_3,0)}_{\\large{g_2(x_1,x_3)}} \\\\ +\\underbrace{f_3(x_1,x_2,1)-f_3(x_1,x_2,0)}_{\\large{g_3(x_1,x_2)}} \\overset{\\large{2 \\epsilon}}{\\approx} x_1 x_2 x_3\" alt=\"\\underbrace{f_1(x_2,x_3,1)-f_1(x_2,x_3,0)}_{\\large{g_1(x_2,x_3)}}+\\underbrace{f_2(x_1,x_3,1)-f_2(x_1,x_3,0)}_{\\large{g_2(x_1,x_3)}} \\\\ +\\underbrace{f_3(x_1,x_2,1)-f_3(x_1,x_2,0)}_{\\large{g_3(x_1,x_2)}} \\overset{\\large{2 \\epsilon}}{\\approx} x_1 x_2 x_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/340\/c34\/ab6\/340c34ab6832597c3437db54daf1626d.svg\"\/><\/p>\n<p>\u041c\u044b \u043f\u0440\u0438\u0448\u043b\u0438 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2 x_3\" alt=\"x_1 x_2 x_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/509\/b61\/7bf\/509b617bfbfc7a4d9a141ea2004893d7.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 \u0434\u0432\u0443\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445. \u0413\u043e\u0432\u043e\u0440\u044f \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0438\u043c\u0435\u044f \u0440\u044f\u0434 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"A_3\" alt=\"A_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e5\/e24\/b72\/3e5e24b72a1ba6cabd2836cecc66f728.svg\"\/>, \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0439\u0441\u044f \u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2 x_3 x_4\" alt=\"x_1 x_2 x_3 x_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/55f\/8d5\/167\/55f8d5167e8f5ca9d5b028009a8c480b.svg\"\/>, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0440\u044f\u0434 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"A_2\" alt=\"A_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ee\/ed6\/734\/9eeed67341c37faca3d7a6b1725bfd89.svg\"\/>, \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0439\u0441\u044f \u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2 x_3\" alt=\"x_1 x_2 x_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/24c\/c5b\/273\/24cc5b273e74e82e38972a9048e41606.svg\"\/>.<\/p>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u0438\u0432 \u0442\u0430\u043a\u043e\u0439 \u0448\u0430\u0433, \u043f\u0440\u0438\u0434\u0435\u043c \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2\" alt=\"x_1 x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01d\/69a\/ced\/01d69aced5cb935fc70ee3923e6d2f36.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439. \u0415\u0449\u0435 \u0440\u0430\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0432 \u0442\u0430\u043a\u043e\u0439 \u0448\u0430\u0433, \u043f\u0440\u0438\u0434\u0435\u043c \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"x_1\" alt=\"x_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/426\/132\/67b\/42613267ba9642f6db30379d9f4a3629.svg\"\/> \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u0447\u0442\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u043e. \u25a0<\/p>\n<p><a class=\"anchor\" name=\"7.4\" id=\"7.4\"><\/a><\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p>\u041a\u0430\u043a \u043c\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438, \u0441\u0443\u043c\u043c\u043e\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u043d\u0435\u043b\u044c\u0437\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0438\u043f\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0432\u0437\u044f\u0442\u043e\u0439 \u0438\u0437 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0442\u0430\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u041f\u0440\u043e\u0441\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043e \u0441 \u0441\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"F(x) = x_1 x_2\" alt=\"F(x) = x_1 x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ac\/8bd\/0ce\/1ac8bd0ceaa1f050af657e2fdc017141.svg\"\/>. \u0412\u043e\u0437\u044c\u043c\u0435\u043c \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 4 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"(0, 0), (0, 1), (1, 0), (1, 1)\" alt=\"(0, 0), (0, 1), (1, 0), (1, 1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d75\/30d\/b08\/d7530db08121ff430667ad0a45c691a5.svg\"\/>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 (\u0441\u043c. \u0444\u043e\u0440\u043c\u0443\u043b\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b77\/ccc\/3df\/b77ccc3df66f919772df31348943011d.svg\"\/>), \u0442\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/502\/de8\/b07\/502de8b0768d4e44ccf42de2b7701cff.svg\"\/> \u0438\u0437 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u0440\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"f(0, 1) - f(0, 0) = f(1, 1) - f(1, 0)\" alt=\"f(0, 1) - f(0, 0) = f(1, 1) - f(1, 0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/596\/66f\/653\/59666f653133ba188a6f9dfb973ee027.svg\"\/>.<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"F(x) = x_1 x_2\" alt=\"F(x) = x_1 x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42a\/aa2\/44b\/42aaa244ba81df1f2a2d641f9a508a43.svg\"\/> \u044d\u0442\u043e \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0430\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u043c\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u043c \u0432\u0438\u0434\u0435\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u041d\u043e \u0435\u0441\u043b\u0438 \u043a \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c, \u0442\u043e\u0433\u0434\u0430, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u043a \u043d\u0443\u043b\u044e, \u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c \u0438 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2\" alt=\"x_1 x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1f\/761\/207\/b1f7612077b26b998da5322348be8684.svg\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1{+}x_2\" alt=\"x_1{+}x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ccf\/4a4\/6b3\/ccf4a46b32ac88e4c3922696088131bf.svg\"\/>, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 256 \u0442\u043e\u0447\u0435\u043a, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0442\u043e\u0447\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u043b\u0438\u0431\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u043b\u0438\u0431\u044e\u043e \u043f\u043e \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u0435. \u0411\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c 1000 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 1 \u0438\u043b\u0438 2. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043d\u0430 <em>\u0440\u0438\u0441. 8<\/em>. \u041a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img decoding=\"async\" class=\"formula inline\" source=\"f(x_1, x_2)\" alt=\"f(x_1, x_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d46\/94a\/1e6\/d4694a1e6c4e8eaf98b40e9c585a0469.svg\"\/>, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c\u0443\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0438\u0441. 7. \u0410\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 x_1 + x_2 \u0438 x_1 x_2.\" title=\"\u0420\u0438\u0441. 7. \u0410\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 x_1 + x_2 \u0438 x_1 x_2.\" height=\"552\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bb0\/00f\/17c\/bb000f17c75d85379c3df77304c76abe.png\" data-width=\"1000\"\/><figcaption>\u0420\u0438\u0441. 7. \u0410\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 x_1 + x_2 \u0438 x_1 x_2.<\/figcaption><\/figure>\n<p>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1{+}x_2\" alt=\"x_1{+}x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6f\/ef5\/13a\/e6fef513acb0437d9bb689b70b11d5d8.svg\"\/>, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2\" alt=\"x_1 x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ac\/893\/573\/8ac89357361572604704df150e365c1e.svg\"\/> (\u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446): \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0442\u043e\u0447\u0435\u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u0430 \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0442\u043e\u0447\u0435\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043b\u0438\u0448\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. \u0410\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u0435\u0437 \u0442\u0440\u0443\u0434\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2\" alt=\"x_1 x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8e6\/52a\/31e\/8e652a31e2d8322cc8ba2b740be62275.svg\"\/> (\u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446).<\/p>\n<p>\u0427\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u043b\u0443\u0447\u0448\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"x_1{+}x_2\" alt=\"x_1{+}x_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/477\/82f\/475\/47782f4758fc95f8586fd7d1b16524d8.svg\"\/> \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0442\u043e\u0447\u043a\u0430\u0445, \u0447\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2. \u041f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443, \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0434\u0435\u0440\u0435\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u0435\u0441\u043b\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u0438\u0441\u043a\u043e\u043c\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0434 <img decoding=\"async\" class=\"formula inline\" source=\"(2)\" alt=\"(2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7e\/48c\/41d\/c7e48c41daa3a133735d44757937f80b.svg\"\/> \u0438\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"(3)\" alt=\"(3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7a\/f68\/61d\/b7af6861d757733bb2e855829f561602.svg\"\/>.<\/p>\n<p>\u0422\u0430\u043a\u0438\u0435 \u0432\u044b\u0432\u043e\u0434\u044b, \u0441\u0443\u0434\u044f \u043f\u043e \u0432\u0441\u0435\u043c\u0443, \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438. \u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b, \u0433\u0434\u0435 \u0438\u0441\u043a\u043e\u043c\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u043c\u0435\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0432\u0438\u0434 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445.  \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a CatBoost, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u043c\u0435\u044e\u0442 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0434\u0435\u0440\u0435\u0432\u0430, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0442\u0430\u043a\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 (\u043d\u0435\u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u0441\u044f, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438).<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043e \u0432\u044b\u0434\u0430\u0447\u0435 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0432\u0430\u0442\u044c \u043b\u0438\u0448\u044c \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u0442\u0440\u043e\u0433\u043e \u0441\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0439. \u0415\u0441\u043b\u0438 \u043a\u0430\u0436\u0434\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432 \u0432\u0438\u0434\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0442\u043e \u0438\u0441\u043a\u043e\u043c\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0432\u0438\u0434 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"x_1 x_2 \\dots x_n\" alt=\"x_1 x_2 \\dots x_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/89d\/6fa\/69b\/89d6fa69b6971096fe0aa63b95d15ba6.svg\"\/>. \u0425\u043e\u0442\u044f, \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043f\u043e\u0434\u043e\u0431\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0432\u0438\u0434\u0435: <img class=\"formula inline\" source=\"x_1 + x_2 + \\dots + x_n > N&#187; alt=&#187;x_1 + x_2 + \\dots + x_n > N&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d0e\/963\/f76\/d0e963f767a41e572dfa441ce5b74fcd.svg&#187;\/>. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e \u0442\u043e\u043c, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c, \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c. \u0412\u043f\u043e\u043b\u043d\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0447\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 <em>\u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/em>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445.<\/p>\n<p><a class=\"anchor\" name=\"8\" id=\"8\"><\/a><\/p>\n<h2>\u0421\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/h2>\n<p><a href=\"https:\/\/www.jmlr.org\/papers\/volume9\/biau08a\/biau08a.pdf\">Biau et al., 2008<\/a>. Consistency of Random Forests and Other Averaging Classifiers.<br \/> <a href=\"https:\/\/link.springer.com\/article\/10.1023\/A:1010933404324\">Breiman, 2001<\/a>. Random Forests.<br \/> <a href=\"https:\/\/arxiv.org\/abs\/1603.02754\">Chen and Guestrin, 2016<\/a>. XGBoost: A Scalable Tree Boosting System.<br \/> <a href=\"https:\/\/www.microsoft.com\/en-us\/research\/wp-content\/uploads\/2016\/02\/CriminisiForests_FoundTrends_2011.pdf\">Criminisi et al., 2011<\/a>. Decision forests: A unified framework for classification, regression, density estimation, manifold learning and semi-supervised learning.<br \/> <a href=\"https:\/\/arxiv.org\/abs\/1810.11363\">Dorogush et al., 2018<\/a>. CatBoost: gradient boosting with categorical features support.<br \/> <a href=\"https:\/\/www.face-rec.org\/algorithms\/Boosting-Ensemble\/decision-theoretic_generalization.pdf\">Freund and Schapire, 1997<\/a>. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting.<br \/> <a href=\"https:\/\/jerryfriedman.su.domains\/ftp\/trebst.pdf\">Friedman, 2001<\/a>. Greedy Function Approximation: A Gradient Boosting Machine.<br \/> <a href=\"https:\/\/core.ac.uk\/download\/pdf\/81927999.pdf\">Hancock et al., 1996<\/a>. Lower Bounds on Learning Decision Lists and Trees.<br \/> <a href=\"https:\/\/people.csail.mit.edu\/rivest\/HyafilRivest-ConstructingOptimalBinaryDecisionTreesIsNPComplete.pdf\">Hyafil and Rivest, 1976<\/a>. Constructing optimal binary decision trees is NP-complete.<br \/> <a href=\"https:\/\/proceedings.neurips.cc\/paper\/2017\/file\/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf\">Ke et al., 2017<\/a>. LightGBM: A Highly Efficient Gradient Boosting Decision Tree.<br \/> <a href=\"https:\/\/www.researchgate.net\/publication\/221112419_Bottom-Up_Induction_of_Oblivious_Read-Once_Decision_Graphs\">Kohavi, 1994<\/a>. Bottom-Up Induction of Oblivious Read-Once Decision Graphs.<br \/> <a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>. Explainable AI for Trees: From Local Explanations to Global Understanding.<br \/> <a href=\"https:\/\/arxiv.org\/abs\/1609.05610\">Modr\u00fd and Ferov, 2016<\/a>. Enhancing LambdaMART Using Oblivious Trees.<br \/> <a href=\"http:\/\/cda.psych.uiuc.edu\/statistical_learning_course\/morgan_sonquist.pdf\">Morgan and Sonquist, 1963<\/a>. Problems in the Analysis of Survey Data, and a Proposal.<br \/> <a href=\"https:\/\/arxiv.org\/abs\/2104.00629\">Pargent et al., 2021<\/a>. Regularized target encoding outperforms traditional methods in supervised machine learning with high cardinality features.<br \/> <a href=\"https:\/\/arxiv.org\/abs\/1706.09516\">Prokhorenkova et al., 2017<\/a>. CatBoost: unbiased boosting with categorical features.<br \/> <a href=\"https:\/\/www.researchgate.net\/publication\/225237661_Decision_Trees\">Rokach and Maimon, 2005<\/a>. Decision Trees.<br \/> <a href=\"https:\/\/s2pnd-matematika.fkip.unpatti.ac.id\/wp-content\/uploads\/2019\/03\/Real-Analysis-4th-Ed-Royden.pdf\">Royden and Fitzpatrick<\/a>. Real Analysis.<br \/> <a href=\"https:\/\/www.cs.cornell.edu\/courses\/cs4780\/2018fa\/lectures\/lecturenote12.html\">Weinberger, 2018<\/a>. Lecture 12: Bias-Variance Tradeoff.<br \/> <a href=\"https:\/\/www.hse.ru\/mirror\/pubs\/share\/215285956\">\u0421\u043e\u043a\u043e\u043b\u043e\u0432, 2018<\/a>. \u0420\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f.<\/p>\n<hr\/>\n<p>\u0414\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 <a href=\"http:\/\/www.generalized.ru\/\">generalized.ru<\/a>, \u0433\u0434\u0435 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u0431\u0437\u043e\u0440\u044b.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/645887\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/645887\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445 \u0438 \u0438\u0445 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a CatBoost \u0438 XGBoost, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0432\u0441\u0435 \u0438\u043c\u0435\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b &#171;\u0438\u0437\u043d\u0443\u0442\u0440\u0438&#187;.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043c. \u041c\u044b \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e\u0431 XGBoost \u0438 CatBoost. \u0421\u0440\u0435\u0434\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 CatBoost:<\/p>\n<ul>\n<li>\n<p>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>one_hot_max_size<\/code>)<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e <code>grow_policy='SymmetricTree'<\/code>)<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0442\u0432\u0435\u0439 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c, \u043d\u043e \u0438 \u043f\u043e \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f\u043c (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>max_ctr_complexity<\/code>)<\/p>\n<\/li>\n<li>\n<p>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>boosting_type='Ordered'<\/code>) \u0434\u043b\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>text_features<\/code> \u043c\u0435\u0442\u043e\u0434\u0430 <code>fit<\/code>) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e bag-of-words<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 GPU (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>task_type='GPU'<\/code> \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 <code>fit<\/code>), \u0445\u043e\u0442\u044f \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043a\u043e\u043d\u0446\u0435 \u043e\u0431\u0437\u043e\u0440\u0430 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (MDI, SHAP) \u0438 \u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 CatBoost, \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u0430\u043c\u0438: \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u043e\u0431\u0437\u043e\u0440\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c (\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c) \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0433\u043b\u0443\u0431\u0438\u043d\u044b N \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0441\u043a\u043e\u043b\u044c \u0443\u0433\u043e\u0434\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e . \u041f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0442\u0430\u043a\u0436\u0435 \u043e \u0432\u044b\u0432\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<h2>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h2>\n<p><a href=\"#1\">\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/><a href=\"#2\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.1\">\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.2\">\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.3\">\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.4\">\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u043e\u0431\u0440\u0435\u0437\u043a\u0430 \u0434\u0435\u0440\u0435\u0432\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.5\">\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#2.6\">\u0414\u0440\u0443\u0433\u0438\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/><a href=\"#3\">\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.1\">\u0411\u044d\u0433\u0433\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.2\">\u0411\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.3\">\u0420\u0430\u043d\u043d\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: AdaBoost<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.4\">\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.5\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.6\">\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.7\">\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#3.8\">\u0421\u0432\u044f\u0437\u044c \u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c<\/a><br \/><a href=\"#4\">XGBoost<\/a><br \/><a href=\"#5\">CatBoost: \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u0439 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.1\">\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0435 target-\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.2\">\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.3\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.4\">\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.5\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c CatBoost<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.6\">\u041a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 CatBoost<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#5.7\">\u041e\u0431\u0437\u043e\u0440 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 CatBoost<\/a><br \/><a href=\"#6\">\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.1\">\u041e\u0446\u0435\u043d\u043a\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u0445<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#6.2\">SHAP values<\/a><br \/><a href=\"#7\">\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.1\">\u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.2\">\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.3\">\u0412\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/a><br \/> \u00a0\u00a0\u00a0\u00a0<a href=\"#7.4\">\u0412\u044b\u0432\u043e\u0434\u044b \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/a><br \/><a href=\"#8\">\u0421\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/a><\/p>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<h2>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h2>\n<p>\u0420\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0445\u043e\u0442\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f). \u0412 \u043e\u0431\u0449\u0435\u043c \u0432\u0438\u0434\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e &#8212; \u044d\u0442\u043e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432 \u0432\u0438\u0434\u0435 \u0433\u0440\u0430\u0444\u0430. \u0412 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u0445 (\u0437\u0432\u0435\u043d\u044c\u044f\u0445) \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u0438\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u0438 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u0443\u0442\u044c \u0432 \u0433\u0440\u0430\u0444\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 \u0432\u0435\u0440\u0448\u0438\u043d (\u043b\u0438\u0441\u0442\u044c\u0435\u0432).<\/p>\n<p>\u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0432\u0435\u043d\u044c\u044f \u0438 \u043b\u0438\u0441\u0442\u044c\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u043a\u0430\u0436\u0434\u044b\u0439 \u043b\u0438\u0441\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443, \u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0432\u0435\u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 (<em>\u0440\u0438\u0441. 1<\/em>). \u0415\u0441\u043b\u0438 \u0432 \u0437\u0432\u0435\u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u0442\u043e \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0443\u0442\u0438, \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430 &#8212; \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0443\u0442\u0438, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438 (<em>\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435, \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0437\u0436\u0435<\/em>).<\/p>\n<figure class=\"full-width\"><figcaption>\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0433\u0440\u0430\u0444\u0430 (\u043a\u043e\u0440\u043d\u044f).<\/figcaption><\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u0438\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u0443\u0432\u0435\u043a\u0430 \u043d\u0430\u0437\u0430\u0434 (<a href=\"http:\/\/cda.psych.uiuc.edu\/statistical_learning_course\/morgan_sonquist.pdf\">Morgan and Sonquist, 1963<\/a>), \u0438 \u0441 \u0442\u0435\u0445 \u043f\u043e\u0440 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c. \u0412 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043e\u0434\u043d\u0438 \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (scikit-learn, XGBoost, LightGBM, CatBoost) \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432.<\/p>\n<p>\u0421 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u0430 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043e\u0434\u043d\u0438\u0445 \u0437\u0430\u0434\u0430\u0447, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p><strong>\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/strong> \u041c\u043d\u043e\u0433\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0430\u043a \u0431\u043b\u043e\u043a-\u0441\u0445\u0435\u043c\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0434\u0438\u0430\u0433\u043d\u043e\u0437\u0430 \u0432\u0440\u0430\u0447 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443. \u0415\u0441\u043b\u0438 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0432\u044b\u0448\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430, \u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u0434\u0443 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0433\u043e\u0440\u043b\u043e, \u043f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c \u043b\u0435\u0433\u043a\u0438\u0435 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041b\u0438\u0441\u0442\u044c\u044f\u043c\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043e\u043a\u0430\u0436\u0443\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0434\u0438\u0430\u0433\u043d\u043e\u0437\u044b. \u0412 \u0446\u0435\u043b\u043e\u043c, \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0434\u0435\u0435 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p><strong>\u041d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/strong> \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e  (<em>\u0440\u0438\u0441. 2a<\/em>) \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e\u043c (<em>\u0440\u0438\u0441. 2b<\/em>). \u0420\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u043f\u0440\u044f\u043c\u043e\u0443\u0433\u043e\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430. \u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u044f\u0432\u043d\u043e \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u0435\u043d. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0435\u0441\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 , \u0442\u043e \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0437\u0440\u044b\u0432\u043d\u043e\u0439 (\u043a\u0443\u0441\u043e\u0447\u043d\u043e-\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439), \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f  \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u0430. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0430 \u043e\u0442\u0432\u0435\u0442 \u0432\u043b\u0438\u044f\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c , \u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0432\u0435\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0431\u043e , \u043b\u0438\u0431\u043e , \u0447\u0442\u043e \u0442\u043e\u0436\u0435 \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e. \u0414\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0445\u043e\u0442\u044f \u0441\u0430\u043c\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f  \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0430. \u0418 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435), \u0442\u043e \u0432 \u0442\u0435\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u043c\u0430\u043b\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u043e\u043d\u0438 \u0432\u043e\u0432\u0441\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442, \u0444\u0443\u043d\u043a\u0446\u0438\u044f  \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0430 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e (\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438).<\/p>\n<figure class=\"full-width\"><figcaption>\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0434\u043d\u0438\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e\u043c \u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432.<\/figcaption><\/figure>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0437\u0440\u044b\u0432\u043d\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438  \u0438 \u043d\u0435\u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446 \u043c\u0435\u0436\u0434\u0443 \u043b\u0438\u0441\u0442\u044c\u044f\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u044f\u0433\u0447\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435 \u043e\u0434\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0430 \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c \u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u044b (<em>\u0440\u0438\u0441. 2c<\/em>). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043b\u0438\u0431\u043e \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043b\u0438\u0431\u043e \u0441\u0430\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e\u0431\u044b \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 &#171;\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441&#187; \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0430 \u0438\u043b\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0440\u0430\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0437\u0436\u0435. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u0435 \u0436\u0435 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f &#8212; \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u0435 \u0432\u0441\u0435\u0445 \u0442\u0435\u0445, \u0447\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041d\u0430 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 (<em>\u0440\u0438\u0441. 2<\/em>) \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0434\u0430\u044e\u0442 \u043d\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u044e\u0449\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0432 \u044d\u0442\u043e\u0439 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u0447\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u041d\u043e \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0441\u0435\u0439\u0447\u0430\u0441 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<blockquote>\n<p>While deep learning models are more appropriate in fields like image recognition, speech recognition, and natural language processing, tree-based models consistently outperform standard deep models on tabular-style datasets where features are individually meaningful and do not have strong multi-scale temporal or spatial structures. (<a href=\"https:\/\/arxiv.org\/abs\/1905.04610\">Lundberg et al., 2019<\/a>)<\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"2\" id=\"2\"><\/a><\/p>\n<h2>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432<\/h2>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 \u043f\u0430\u0440  \u0438 \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u043e \u043d\u0435\u043c\u0443 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e. \u041c\u043e\u0436\u043d\u043e \u0431\u0435\u0437 \u0442\u0440\u0443\u0434\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u043e\u0434\u043d\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0434\u0430\u044e\u0449\u0438\u0445 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 100%-\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c (\u0435\u0441\u043b\u0438 \u0432 \u043d\u0435\u0439 \u043d\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 , \u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 ). \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0434\u043b\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043b\u044e\u0431\u043e\u0439 \u043f\u043e\u0440\u043e\u0433, \u0438 \u0442\u043e\u0433\u0434\u0430 \u0440\u0430\u043d\u043e \u0438\u043b\u0438 \u043f\u043e\u0437\u0434\u043d\u043e \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043b\u0438\u0441\u0442\u044c\u044f. \u041d\u043e \u043d\u0430\u043c \u0432\u0430\u0436\u043d\u0430 \u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0430 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f &#8212; \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u043c \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u044e\u0449\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0437\u044f\u0442\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430.<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u043c \u0431\u0440\u0438\u0442\u0432\u044b \u041e\u043a\u043a\u0430\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0445, \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 (\u043f\u043e \u0441\u0443\u043c\u043c\u0440\u043d\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0438\u043b\u0438 \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0434\u043b\u0438\u043d\u0435 \u043f\u0443\u0442\u0438 \u0432 \u0433\u0440\u0430\u0444\u0435) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f NP-\u043f\u043e\u043b\u043d\u043e\u0439 (<a href=\"https:\/\/core.ac.uk\/download\/pdf\/81927999.pdf\">Hancock et al., 1996<\/a>; <a href=\"https:\/\/people.csail.mit.edu\/rivest\/HyafilRivest-ConstructingOptimalBinaryDecisionTreesIsNPComplete.pdf\">Hyafil and Rivest, 1976<\/a>), \u0442\u043e \u0435\u0441\u0442\u044c (\u0435\u0441\u043b\u0438 ) \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0439.<\/p>\n<p>\u0412\u043e\u043e\u0431\u0449\u0435 \u043c\u043d\u043e\u0433\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438, \u0435\u0441\u043b\u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438\u0437 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0438\u0441\u043a (exhaustive search). \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043b\u0438\u0431\u043e \u0436\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a (greedy search), \u043b\u0438\u0431\u043e \u043b\u0443\u0447\u0435\u0432\u043e\u0439 \u043f\u043e\u0438\u0441\u043a (beam search). \u0416\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0438\u0449\u0435\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0449\u0435\u0435 \u043a \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u043c\u0443 &#171;\u0441\u0438\u044e\u043c\u0438\u043d\u0443\u0442\u043d\u043e\u043c\u0443&#187; \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u043d\u0430\u043a\u043e\u043c\u044f\u0441\u044c \u0441 \u0434\u0435\u0432\u0443\u0448\u043a\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f, \u0432\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 (\u0442. \u0435. \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0438\u0441\u043a), \u043d\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u0444\u0440\u0430\u0437\u044b \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 (\u0436\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a).<\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u043f\u043e\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438, \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0437\u0434\u043d\u0435\u0435.<\/em><\/p>\n<p><a class=\"anchor\" name=\"2.1\" id=\"2.1\"><\/a><\/p>\n<h3>\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/h3>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c \u0436\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u0441\u0442\u0440\u043e\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u044f \u043e\u0434\u0438\u043d \u0438\u0437 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u043d\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432\u0435\u0434\u0443\u0449\u0435\u0435 \u043a \u0434\u0432\u0443\u043c \u043b\u0438\u0441\u0442\u044c\u044f\u043c. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u041b\u0438\u0441\u0442 , \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c<\/p>\n<\/li>\n<li>\n<p>\u0421\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f (\u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043f\u043e\u0440\u043e\u0433)<\/p>\n<\/li>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f  \u0438  \u043d\u0430 \u0434\u0432\u0443\u0445 \u043d\u043e\u0432\u044b\u0445 \u043b\u0438\u0441\u0442\u044c\u044f\u0445<\/p>\n<\/li>\n<\/ol>\n<p>\u042d\u0442\u043e\u0442 \u0432\u044b\u0431\u043e\u0440 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0432\u0441\u0435\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043b\u0438\u0441\u0442\u0443 .<\/p>\n<p>\u0428\u0430\u0433 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u043c\u044b \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u043c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043b\u0438\u0441\u0442\u044c\u044f, \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u043f\u043e\u0440\u043e\u0433\u0438 (\u0435\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 , \u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435  \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0431\u043e\u043b\u0435\u0435  \u043f\u043e\u0440\u043e\u0433\u043e\u0432).<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-328390","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/328390","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=328390"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/328390\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=328390"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=328390"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=328390"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}