{"id":350911,"date":"2023-07-28T15:00:58","date_gmt":"2023-07-28T15:00:58","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=350911"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=350911","title":{"rendered":"<span>\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 CatBoost \u0438 LightGBM: \u043a\u0430\u043a\u043e\u0439 \u043e\u0442 \u043d\u0438\u0445 \u043f\u0440\u043e\u0444\u0438\u0442<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u0440\u0442\u0443\u0440. \u042f \u0442\u0438\u043c\u043b\u0438\u0434 \u0414\u0421 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0422\u043e\u0447\u043a\u0430. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0432\u0430\u043c \u043f\u0440\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 CatBoost \u0438 LightGBM. \u0414\u043b\u044f \u0447\u0435\u0433\u043e \u043e\u043d\u0438 \u043d\u0443\u0436\u043d\u044b, \u0432 \u0447\u0451\u043c \u0438\u0445 \u0444\u0438\u0448\u043a\u0438 \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u044e\u0442 \u043d\u0430\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.\u00a0<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0442\u0443 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e. \u0413\u043e\u0442\u043e\u0432\u044f\u0441\u044c \u043a \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044e \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u043c\u0438\u0442\u0430\u043f\u0435 \u043f\u043e \u0442\u0435\u043c\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0443 CatBoost \u0438 LightGBM, \u044f \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u043d\u0435 \u0441\u043c\u043e\u0433 \u043d\u0430\u0439\u0442\u0438 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u0431\u044b\u043b\u0438 \u0431\u044b \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043d\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443 CatBoost \u0438 LightGBM. \u041f\u0440\u0438\u0447\u0451\u043c \u043d\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043d\u0430 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434\u0435, \u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438.  <\/p>\n<p>\u041c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0439 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u0438\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u043c\u044b\u0441\u043b.<\/p>\n<h2>\u041a\u043e\u043c\u0443 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e  <\/h2>\n<p><strong>\u041d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u043c<\/strong>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0442\u0435\u043c, \u043a\u0442\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u043f\u0443\u0442\u044c \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438 \u0443\u0436\u0435 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439. \u041f\u0435\u0440\u0432\u0430\u044f \u043f\u043e-\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443 \u043a\u0440\u0443\u0442\u0430\u044f \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u0432 \u043d\u0430\u0440\u043e\u0434\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u2014 XGBoost (\u043e \u043d\u0435\u0439 \u043a\u0430\u043a \u0440\u0430\u0437 \u043c\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u0435\u0437\u0434\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c \u0435\u0433\u043e \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435), \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e\u0431 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u0445, \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0438\u043c\u0435\u0435\u043c \u0432 \u0432\u0438\u0434\u0443 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043d\u0430\u0434 XGBoost.<em>\u00a0<\/em><\/p>\n<p>\u041d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u043e <strong>\u0441\u043f\u0435\u0446\u0430\u043c DS \u0434\u043e \u0443\u0440\u043e\u0432\u043d\u044f middle+<\/strong> \u0434\u043b\u044f \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u043a\u0440\u0443\u0433\u043e\u0437\u043e\u0440\u0430 (\u043a\u043e\u0433\u0434\u0430 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0448\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u043d\u043e \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u043d\u0438\u043a\u043d\u0443\u0442\u044c, \u043a\u0430\u043a \u0442\u0430\u043c \u0447\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442).<\/p>\n<p>\u0418 \u0440\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f <strong>\u0442\u0435\u043c, \u043a\u0442\u043e \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u0441\u044f \u043a \u0441\u043e\u0431\u0435\u0441\u0430\u043c<\/strong> \u0438 \u0445\u043e\u0447\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435. \u041e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430 \u043f\u0440\u043e EFB, \u0434\u0443\u043c\u0430\u044e, \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u041d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0433\u0440\u0435\u0439\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u0445 \u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u043b\u0441\u044f, \u0435\u0441\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044f\u043b \u0445\u043e\u0442\u044f \u0431\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438.<\/p>\n<h2>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u043c\u0438, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430.\u00a0<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440:<\/summary>\n<div class=\"spoiler__content\">\n<p> \u0435\u0441\u043b\u0438 \u0432\u044b \u0432\u0441\u0451 \u044d\u0442\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u0435, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u0435 \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0443 \u043f\u0440\u043e CatBoost, \u0430 \u0435\u0441\u043b\u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0433\u043b\u0443\u0431\u0436\u0435, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0432\u043e\u0442 \u044d\u0442\u043e\u0442 <a href=\"https:\/\/academy.yandex.ru\/handbook\/ml\/article\/gradientnyj-busting\"><u>\u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043e\u0442 \u0410\u043a\u0430\u0434\u0435\u043c\u0438\u0438 \u042f\u043d\u0434\u0435\u043a\u0441\u0430<\/u><\/a>   <\/p>\n<\/div>\n<\/details>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"a(x) = a_k(x) = b_1(x) + ... + b_k(x)\" alt=\"a(x) = a_k(x) = b_1(x) + ... + b_k(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88a\/3c8\/be5\/88a3c8be542fc8d5130c6d4a12829420.svg\" width=\"275\" height=\"22\"\/><\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c:<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/318\/e02\/eed\/318e02eed7759210ad7aa421fd657352.svg\" width=\"11\" height=\"12\"\/>\u2014 \u043e\u0431\u044a\u0435\u043a\u0442 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/774\/931\/4f2\/7749314f2f8ea962f72f5d4994e98603.svg\" width=\"17\" height=\"17\"\/>\u2014 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a(x)\" alt=\"a(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a48\/cd5\/36b\/a48cd536b9bbafb8bba9d17c7cda25da.svg\" width=\"37\" height=\"22\"\/>\u2014 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0439 \u0441\u043e\u0431\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b_k(x)\" alt=\"b_k(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7d\/144\/46b\/a7d14446b7edcfbe7e572893481ece91.svg\" width=\"44\" height=\"22\"\/>(\u0432\u043e \u0432\u0441\u0435\u0445 \u201c\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445\u201d \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u0445 \u2014 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438\u0437 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b3\/941\/924\/2b394192403dfebe04dc31b39dc723c0.svg\" width=\"8\" height=\"17\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a(x) = a_k(x) = b_1(x) + ... + b_k(x)\" alt=\"a(x) = a_k(x) = b_1(x) + ... + b_k(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/faf\/2dd\/4f2\/faf2dd4f2b5c123e76e5e73f21f80fc9.svg\" width=\"279\" height=\"22\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L(y, a(x))\" alt=\"L(y, a(x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/029\/12d\/3ea\/02912d3ea31879c36e6aead9d8916207.svg\" width=\"84\" height=\"22\"\/> \u2014 \u0433\u043b\u0430\u0434\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c<\/p>\n<h3>\u0421\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u00ab\u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0438\u0441\u043a\u00bb<\/h3>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\sum_{i=1}^{N}{\\mathcal{L}(y_i, a(x_i))}\" alt=\"\\sum_{i=1}^{N}{\\mathcal{L}(y_i, a(x_i))}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca7\/8ef\/1c4\/ca78ef1c4008ef0e23053e1f6cb365a5.svg\" width=\"127\" height=\"60\"\/><\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_k(x) = a_{k-1}(x) + b_k(x)\" alt=\"a_k(x) = a_{k-1}(x) + b_k(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dea\/28d\/e42\/dea28de425d6f067b7597f715d31df7a.svg\" width=\"204\" height=\"22\"\/>, \u0433\u0434\u0435<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"a_{k-1}(x) - \u0442\u0435\u043a\u0443\u0449\u0435\u0435\\ \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435;\\\\b_k(x) - \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435\\ \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f\" alt=\"a_{k-1}(x) - \u0442\u0435\u043a\u0443\u0449\u0435\u0435\\ \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435;\\\\b_k(x) - \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435\\ \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b80\/84e\/a01\/b8084ea0179b7d8b1a3f460ebda68db4.svg\" width=\"668\" height=\"50\"\/><\/p>\n<p>\u041a\u0430\u043a-\u0442\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_1(x)\" alt=\"a_1(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b5\/fb8\/77f\/6b5fb877f23aa749c570469b6e325a46.svg\" width=\"45\" height=\"22\"\/>(\u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a)<br \/>\u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430 \u0448\u0430\u0433\u0435<img class=\"formula inline\" source=\"k>1&#8243; alt=&#187;k>1&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6dc\/a88\/3b4\/6dca883b4b1dc44ca5fcae0811fd6d84.svg&#187; width=&#187;45&#8243; height=&#187;17&#8243;\/>\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b_k(x)\" alt=\"b_k(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d18\/877\/4e9\/d188774e916a9ce98fabe62e15db5588.svg\" width=\"44\" height=\"22\"\/>\u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0438\u0441\u043a:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"b_k = \\underset{b \\in B}{\\arg\\min} \\sum_{i=1}^{N}{\\mathcal{L}(y_i, a_{k-1}(x_i) + b(x_i))}\" alt=\"b_k = \\underset{b \\in B}{\\arg\\min} \\sum_{i=1}^{N}{\\mathcal{L}(y_i, a_{k-1}(x_i) + b(x_i))}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d2c\/603\/0ba\/d2c6030baea85a65e3d9cb9bc0f820c8.svg\" width=\"326\" height=\"60\"\/><\/p>\n<p>\u0420\u0430\u0437\u043b\u043e\u0436\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}\" alt=\"\\mathcal{L}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/851\/780\/fe9\/851780fe9830755a6038819b93c411b8.svg\" width=\"14\" height=\"17\"\/>\u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0447\u043b\u0435\u043d\u0430 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(y_i, a_{k-1}(x_i))\" alt=\"(y_i, a_{k-1}(x_i))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac7\/5e5\/703\/ac75e5703fc6a198d2fac6c1a27ddc1b.svg\" width=\"111\" height=\"22\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}(y_i, a_{k-1}(x_i) + b(x_i)) \\approx \\mathcal{L}(y_i, a_{k-1}(x_i)) + b(x_i)\\frac{\\partial\\mathcal{L}(y_i, z)}{\\partial z}\\bigg|_{z=a_{k-1}(x_i)} =\" alt=\"\\mathcal{L}(y_i, a_{k-1}(x_i) + b(x_i)) \\approx \\mathcal{L}(y_i, a_{k-1}(x_i)) + b(x_i)\\frac{\\partial\\mathcal{L}(y_i, z)}{\\partial z}\\bigg|_{z=a_{k-1}(x_i)} =\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c71\/131\/e68\/c71131e68ed579355a91882245005783.svg\" width=\"582\" height=\"51\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"= \\mathcal{L}(y_i, a_{k-1}(x_i)) + b(x_i)g_i^{k-1}\" alt=\"= \\mathcal{L}(y_i, a_{k-1}(x_i)) + b(x_i)g_i^{k-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f10\/94a\/e1f\/f1094ae1fc23ea551efeae4641a639e1.svg\" width=\"247\" height=\"27\"\/><\/p>\n<p>\u0421\u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0447\u0442\u043e<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b(x_i) \" alt=\"b(x_i) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/31c\/5f7\/016\/31c5f7016e2a8c661a3e4ddd743d2323.svg\" width=\"41\" height=\"22\"\/>\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u044b, \u0447\u0442\u043e\u0431\u044b \u0442\u0430\u043a\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u043c. \u041f\u0435\u0440\u0432\u044b\u0439 \u0447\u043b\u0435\u043d \u043d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"b_k \\approx \\underset{b \\in B}{\\arg\\min} \\sum_{i=1}^{N}{b(x_i)g_i^{k-1}}\" alt=\"b_k \\approx \\underset{b \\in B}{\\arg\\min} \\sum_{i=1}^{N}{b(x_i)g_i^{k-1}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d50\/e83\/982\/d50e83982f9ea4ddf07d1891be7e0549.svg\" width=\"219\" height=\"60\"\/><\/p>\n<p>\u0422.\u0435. \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432: (\u00ab\u0432\u0435\u043a\u0442\u043e\u0440 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430\u00a0\u043e\u0431\u044a\u0435\u043a\u0442\u0430\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438\u00bb, \u00ab\u0432\u0435\u043a\u0442\u043e\u0440 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043d\u0430\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430\u00a0\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435\u00bb).<\/p>\n<p>\u041c\u0438\u043d\u0438\u043c\u0443\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b(x_i)\" alt=\"b(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e15\/20d\/b92\/e1520db926264c23ea4c21d5c3ed67e6.svg\" width=\"42\" height=\"22\"\/> \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u0435\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g_i^{k-1}\" alt=\"g_i^{k-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec8\/5b0\/a62\/ec85b0a62fd8f25ced26d9c4460ecbce.svg\" width=\"36\" height=\"27\"\/>, \u0442.\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b(x_i) = - g_i^{k-1}\" alt=\"b(x_i) = - g_i^{k-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca2\/67b\/fbe\/ca267bfbe96e4583954db779a1c9eee9.svg\" width=\"119\" height=\"27\"\/> \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b_k(x)\" alt=\"b_k(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/66c\/c0a\/c22\/66cc0ac2200b9c8fc5b1f4cc38b3aa02.svg\" width=\"44\" height=\"22\"\/>\u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_{k-1}(x_i)\" alt=\"a_{k-1}(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e8e\/19d\/d57\/e8e19dd573c7d21091e3aaad367079bf.svg\" width=\"70\" height=\"22\"\/>\u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435.<\/p>\n<h3>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/h3>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b_{k}\" alt=\"b_{k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/11d\/48d\/06d\/11d48d06d483f9266a419645bc7a38fa.svg\" width=\"17\" height=\"20\"\/>\u043c\u044b \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 \u0442\u0430\u0440\u0433\u0435\u0442\u043e\u043c, \u0440\u0430\u0432\u043d\u044b\u043c \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_k = b_1+\\ ...\\ +b_{k-1})\" alt=\"a_k = b_1+\\ ...\\ +b_{k-1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/326\/17e\/e9c\/32617ee9cfc4c1c22a5f174eb51a9914.svg\" width=\"187\" height=\"22\"\/><\/p>\n<p>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u044e\u0431\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u0412\u0430\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f5\/cd0\/7d8\/4f5cd07d864e80251bfc84dad59053e0.svg\" width=\"12\" height=\"17\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u0415\u0451 \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0432\u0435\u0442\u0432\u043b\u0435\u043d\u0438\u044f<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"| R | \\cdot S(R) - |R_{right}| \\cdot S(R_{right}) - |R_{left}| \\cdot S(R_{left}) \\rightarrow \\max,\" alt=\"| R | \\cdot S(R) - |R_{right}| \\cdot S(R_{right}) - |R_{left}| \\cdot S(R_{left}) \\rightarrow \\max,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/139\/e9d\/bf4\/139e9dbf42a0b83d9ce7dcbeac10f24b.svg\" width=\"483\" height=\"23\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S(r)\" alt=\"S(r)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae5\/fe2\/bc8\/ae5fe2bc8f2138c57030d59b3ff51ff3.svg\" width=\"37\" height=\"22\"\/>\u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/054\/67e\/1d9\/05467e1d97415ed19d771f216c6bb1ae.svg\" width=\"13\" height=\"17\"\/> \u0432 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R\" alt=\"R\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3f0\/27f\/07f\/3f027f07fbe9dcf8f5aee77ff49259b2.svg\" width=\"15\" height=\"17\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S(R_{left})\" alt=\"S(R_{left})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f23\/bd0\/0cc\/f23bd00cc1f68552fc3b194639c8fc7d.svg\" width=\"68\" height=\"23\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S(R_{right})\" alt=\"S(R_{right})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/767\/3a9\/972\/7673a997267674ef78f9b1341454f49c.svg\" width=\"75\" height=\"23\"\/> &#8212; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043b\u0435\u0432\u044b\u0445 \u0438 \u043f\u0440\u0430\u0432\u044b\u0445 \u0441\u044b\u043d\u043e\u0432\u044c\u044f\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R\" alt=\"R\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c8\/2bc\/e99\/6c82bce99eb8f42e9c62b1601474f878.svg\" width=\"15\" height=\"17\"\/>\u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0438\u043a\u0430\u0442\u0430,<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"|\\cdot|\" alt=\"|\\cdot|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e25\/855\/e2c\/e25855e2c2b7d0d0601824ec6311f1ab.svg\" width=\"25\" height=\"22\"\/> \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u043f\u0440\u0438\u0448\u0435\u0434\u0448\u0438\u0445 \u0432 \u0432\u0435\u0440\u0448\u0438\u043d\u0443.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"L_2(g,p)=\\sum_{i=1}^N{(p_i-g_i)}^2, Cosine(g,p) = -\\frac{\\sum_{i=1}^N{(p_i \\cdot g_i)}}{\\sqrt{\\sum_{i=1}^N{p_i^2}}\\cdot \\sqrt{\\sum_{i=1}^N{g_i^2}}}\" alt=\"L_2(g,p)=\\sum_{i=1}^N{(p_i-g_i)}^2, Cosine(g,p) = -\\frac{\\sum_{i=1}^N{(p_i \\cdot g_i)}}{\\sqrt{\\sum_{i=1}^N{p_i^2}}\\cdot \\sqrt{\\sum_{i=1}^N{g_i^2}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5be\/ba0\/3b9\/5beba03b949aaf90ef402e0f50be9d1f.svg\" width=\"552\" height=\"72\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_i\" alt=\"p_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c0\/014\/b6a\/3c0014b6a9c34a3a8597995fedc58d58.svg\" width=\"17\" height=\"15\"\/>&#8212; \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ff\/ebc\/a29\/7ffebca2968653195f058c5c67ac28f5.svg\" width=\"18\" height=\"15\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g_i\" alt=\"g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df7\/e97\/897\/df7e978974410273177a24a61d7311f0.svg\" width=\"16\" height=\"16\"\/>&#8212; \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0447\u0438\u0442\u0441\u044f \u0434\u0435\u0440\u0435\u0432\u043e, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p = \\{p_i\\}_{i=1}^N\" alt=\"p = \\{p_i\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f64\/79b\/536\/f6479b536ceda4b4cce6b8a055c16864.svg\" width=\"97\" height=\"26\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g = \\{g_i\\}_{i=1}^N\" alt=\"g = \\{g_i\\}_{i=1}^N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c63\/05d\/87d\/c6305d87de9656198634e89164cca6c2.svg\" width=\"96\" height=\"26\"\/>. \u0424\u0443\u043d\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b04\/9ac\/ac7\/b049acac7adca9938666265b4fdfc1e1.svg\" width=\"22\" height=\"19\"\/>\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443, \u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Cosine\" alt=\"Cosine\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f99\/e4f\/b9f\/f99e4fb9fdc71d0e1c7a264330e4f68c.svg\" width=\"61\" height=\"17\"\/>\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435  \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0438 \u0430\u043d\u0442\u0433\u0438\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ee\/cc8\/b0a\/7eecc8b0af22e2e5a5adae2c02dafd4c.svg\" width=\"22\" height=\"19\"\/>\u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0432\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u043a \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u043c\u0443 \u0432\u0441\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0443 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 catBoost&#8217;\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435.<\/p>\n<h2>\u041f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a CatBoost<\/h2>\n<p>\u041c\u044b \u0432\u0441\u0435 \u043b\u044e\u0431\u0438\u043c CatBoost, \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0438 \u0443\u0432\u0430\u0436\u0430\u0435\u043c \u0435\u0433\u043e. \u0418 \u0435\u0441\u0442\u044c \u0437\u0430 \u0447\u0442\u043e. CatBoost, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0436\u0435 \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb \u0431\u0435\u0437 \u0443\u0442\u043e\u043c\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0423\u043a\u0430\u0437\u0430\u043b \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u043f\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0434\u0430\u043b \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u043e\u043a \u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c. <br \/>\u0415\u0441\u043b\u0438 \u043a\u043e\u043f\u043d\u0443\u0442\u044c \u0447\u0443\u0442\u044c \u0433\u043b\u0443\u0431\u0436\u0435, \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0440\u0435\u0448\u0430\u044e\u0442\u0441\u044f \u0435\u0449\u0451 \u0438 \u00ab\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435\u00bb \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u0441\u0435\u0445 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u0432. \u042d\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0443\u0442\u0435\u0447\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439. \u0427\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0449\u0435\u0439:<\/p>\n<ol>\n<li>\n<p>\u0421\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/p>\n<\/li>\n<\/ol>\n<h3>\u0421\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f<\/h3>\n<p>\u0417\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f, \u043e\u043d\u0438 \u0436\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u0427\u0435\u043c \u043e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u0438.<\/p>\n<ol>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u041a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435<\/p>\n<\/li>\n<li>\n<p>\u0423\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u0412 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0437\u043b\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0443\u0440\u043e\u0432\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u0442\u043e\u0447\u043a\u0430 \u0440\u0430\u0441\u0449\u0435\u043f\u043b\u0435\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ca8\/44d\/764\/ca844d7640ac142889530ce734aba3b0.png\" alt=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430\" title=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430\" width=\"1464\" height=\"800\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca8\/44d\/764\/ca844d7640ac142889530ce734aba3b0.png\"\/><\/p>\n<div><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044e, \u0447\u0442\u043e \u0432 CatBoost \u043a\u0440\u043e\u043c\u0435 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u00a0 \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, <code>growpolicy=\u2019SymmetricTree\u2019<\/code>) \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u044f LightGBM (\u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043f\u043e\u0432\u0435\u0440\u0448\u0438\u043d\u043d\u043e, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0438\u0441\u044c\u0442\u0435\u0432, <code>growpolicy= Lossguide\u2019<\/code>) \u0438 XGBoost (\u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0441\u043b\u043e\u0439 \u0437\u0430 \u0441\u043b\u043e\u0435\u043c, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430<em>, <\/em><code>growpolicy= \u2018Depthwise\u2019<\/code>).\u00a0<\/p>\n<h3>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438<\/h3>\n<p>\u0427\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438? \u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6c2\/6a7\/8aa\/6c26a78aa05f353374e05fb209d23df8.png\" width=\"1464\" height=\"757\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c2\/6a7\/8aa\/6c26a78aa05f353374e05fb209d23df8.png\"\/><\/figure>\n<p><strong>\u0415\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b:<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.\u00a0<\/strong><\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0438\u0437\u043d\u0430\u043a \u00ab\u0414\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u041f\u0438\u0442\u043e\u043c\u0435\u0446\u00bb \u0438\u043c\u0435\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f: \u041a\u043e\u0442\u0438\u043a, \u041f\u0451\u0441\u0435\u043b\u044c, \u0425\u043e\u043c\u044f\u043a \u0438 \u0442.\u0434.) \u043e\u0442 0 \u0434\u043e N (label encoding). \u041a\u043e\u0442\u0438\u043a \u2014 0, \u041f\u0451\u0441\u0435\u043b\u044c \u2014 1 \u0438 \u0442\u0434.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u044f\u0434\u043e\u043a (\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0435\u0442) \u043c\u0435\u0436\u0434\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u041f\u0451\u0441\u0435\u043b\u044c (1)\u00a0 > \u041a\u043e\u0442\u0438\u043a (0)<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<li>\n<p><strong>One-hot encoding.\u00a0<\/strong><\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u043d\u0430\u0448\u0443 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443 \u0432 \u0442\u0430\u043a\u0443\u044e, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u043d\u0438\u0436\u0435. \u0422.\u0435. \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u043e\u0434\u0438\u043d \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0430 N \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u0425\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043c\u0430\u043b\u043e.\u00a0<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c60\/63d\/510\/c6063d510242a0d57724eba9d4e9b1bf.png\" width=\"1464\" height=\"766\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c60\/63d\/510\/c6063d510242a0d57724eba9d4e9b1bf.png\"\/><\/figure>\n<p><strong>\u0415\u0441\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b<\/strong> (\u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u0445 \u043f\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c).\u00a0<\/p>\n<p>\u0417\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0430 (<strong>\u043f\u0440\u043e\u0441\u0442\u043e\u0439 mean target encoding<\/strong>).\u00a0<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong>. \u041a\u043e\u0442\u0438\u043a<em> <\/em>\u0432 \u043d\u0430\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f 3 \u0440\u0430\u0437\u0430. \u041c\u0435\u0442\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0430 \u0440\u0430\u0432\u043d\u0430 1 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430. \u0417\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u041a\u043e\u0442\u0438\u043a\u0430 \u043d\u0430 2\/3. \u0412 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0435 \u043d\u0438\u0436\u0435 \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0432\u0438\u0434\u0435 \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0439 \u0434\u0440\u043e\u0431\u0438. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c51\/899\/a48\/c51899a48df12cc8e01a5836e7e09615.png\" width=\"1464\" height=\"813\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c51\/899\/a48\/c51899a48df12cc8e01a5836e7e09615.png\"\/><\/figure>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/strong>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c.\u00a0<\/p>\n<ol>\n<li>\n<p>\u042f\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u2014 \u0425\u043e\u043c\u044f\u043a. \u0412\u0441\u0442\u0440\u0435\u0442\u0438\u043b\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438 \u0435\u0433\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u0440\u0433\u0435\u0442\u0430. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0442\u0430\u043a\u043e\u0439 \u0441\u0432\u044f\u0437\u0438, \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043d\u0435 \u0431\u0443\u0434\u0435\u0442.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u043d\u0435\u0435 \u044f\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u043c\u044b \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u00ab\u043c\u0438\u043d\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u00bb. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0432\u0441\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0435. \u0427\u0442\u043e, \u0432 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0442\u0435\u0447\u043a\u043e\u0439.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0432 CatBoost<\/h4>\n<p>\u0412 CatBoost \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d<strong> <\/strong>\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a mean target encoding.<\/p>\n<p><strong>\u041a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0430 <\/strong>\u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 (\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430):<\/p>\n<ol>\n<li>\n<p>\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u00ab\u043f\u043e \u043f\u0440\u043e\u0448\u043b\u043e\u043c\u0443\u00bb. \u0414\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u0441\u043b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u043f\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c \u0441\u0442\u0440\u043e\u043a\u0430\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0434\u043b\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<ol>\n<li>\n<p>#positive \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a \u0432 \u00ab\u043c\u0435\u0442\u043a\u0435 \u043a\u043b\u0430\u0441\u0441\u0430\u00bb, \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0432\u0448\u0438\u0445\u0441\u044f \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0437\u0430\u043f\u0438\u0441\u0438;<\/p>\n<\/li>\n<li>\n<p>#All \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0432\u0448\u0438\u0445\u0441\u044f \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0437\u0430\u043f\u0438\u0441\u0438;<\/p>\n<\/li>\n<li>\n<p>Prior \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e.<\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6d0\/ae4\/d25\/6d0ae4d259005bf19890db9f227de0b1.png\" width=\"1464\" height=\"267\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d0\/ae4\/d25\/6d0ae4d259005bf19890db9f227de0b1.png\"\/><\/figure>\n<p>\u041f\u043e\u043a\u0430\u0436\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f (Prior = 0.01 &#8212; \u044d\u0442\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0441 Id == 2. \u0414\u043e \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0432 \u043a\u043b\u0430\u0441\u0441\u0435 \u00ab<em>\u041a\u043e\u0442\u0438\u043a<\/em>\u00bb \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u043b\u043e\u0441\u044c \u0434\u0432\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 #All = 2. \u0423 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u00ab\u043c\u0435\u0442\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0430\u00bb == 1 \u0432 \u043e\u0434\u043d\u043e\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0438 (id == 1)<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5d2\/a2d\/c76\/5d2a2dc764ace9c4afa20ee290fb2b61.png\" width=\"1464\" height=\"760\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d2\/a2d\/c76\/5d2a2dc764ace9c4afa20ee290fb2b61.png\"\/><\/figure>\n<p><strong>\u041a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438.<\/strong> \u0422\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439. \u042d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u0430\u044f \u0444\u0438\u0448\u043a\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u0422\u0430\u043a \u043a\u0430\u043a \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0441\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439 \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e.\u00a0<\/p>\n<p>\u0412 \u043a\u0430\u0442\u0431\u0443\u0441\u0442\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043a\u0430\u0442\u0444\u0438\u0447\u0435\u0439 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043d\u0435 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u0436\u0430\u0434\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u041f\u0440\u0438\u0432\u0435\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440. \u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 x1, x2, x3, x4. \u0415\u0441\u043b\u0438 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u0434\u043b\u044f \u0441\u043f\u043b\u0438\u0442\u0430 \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a x1, \u0442\u043e \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0431\u0443\u0434\u0443\u0442 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438: \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435 (x1, \u2026, x4) \u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0435\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c (x1+x2, x1+x3, x1+x4). \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c \u0442\u0435\u043f\u0435\u0440\u044c, \u0447\u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f x1+x4. \u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0437\u0430 \u043d\u0438\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043e\u043f\u044f\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435(x1, \u2026, x4), \u0434\u0432\u043e\u0439\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0441 \u043f\u0435\u0440\u0432\u044b\u043c \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c (x1+x2, x1+x3, x1+x4) \u0438 \u0442\u0440\u043e\u0439\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0441 \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u043d\u0435\u0435 \u043f\u0430\u0440\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 ([x1+x4] + x2, [x1+x4] + x3). \u0418 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0422\u0430\u043a\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043d\u0430\u0439\u0442\u0438 \u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439.<\/p>\n<p><strong>One-hot encoding<\/strong>. \u041a\u0441\u0442\u0430\u0442\u0438, \u043a\u0440\u043e\u043c\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0432 CatBoost \u0442\u0430\u043a\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 One-hot encoding. \u0423\u0441\u043b\u043e\u0432\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <em>one_hot_max_size. <\/em>\u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u0437\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c, \u0442\u0430\u043a\u0430\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0444\u0438\u0447\u0435\u0439 \u0441 2 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438.<\/p>\n<h3>\u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433: \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 CatBoost<\/h3>\n<p><strong>\u041a\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u043e<\/strong>: \u0414\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u2014 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c \u0432 \u043b\u0438\u0441\u0442\u0435 (\u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u044f\u0446\u0438\u0438 \u0438 \u0442.\u0434.). \u0412\u044b\u0445\u043e\u0434\u0438\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0435\u0433\u043e \u0442\u0430\u0440\u0433\u0435\u0442 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0442.\u0435. \u043d\u0435\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0435\u043c \u0432 \u0442\u0430\u0440\u0433\u0435\u0442 \u0438 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u0442\u043e \u043d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445.\u00a0<\/p>\n<p><strong>\u041d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 CatBoost<\/strong> \u2014 \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0438\u0434\u0435\u044f, \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430 \u0442\u0443, \u0447\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0432 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e:<\/p>\n<ol>\n<li>\n<p>\u0414\u0435\u043b\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043b\u0438\u0441\u0442\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0432 \u043b\u0438\u0441\u0442\u0435 \u0440\u0430\u043d\u044c\u0448\u0435. \u0412 \u043b\u043e\u0431 \u0442\u0430\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0438\u043c\u0435\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c. \u0412 CatBoost \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041e\u0442\u043c\u0435\u0447\u0443<\/strong>, \u0447\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u00ab\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445\u00bb \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445. \u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u043d\u0443\u0436\u0435\u043d. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 CatBoost \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043b\u0438 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0448\u0435 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0438\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434.<\/p>\n<h2>\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 LightGBM<\/h2>\n<p>LGBM \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f (\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e) \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c CatBoost. \u0412 \u043d\u0451\u043c \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u2014 \u043e\u043d \u0443\u043b\u044c\u0442\u0440\u0430\u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u043d\u0435\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c.<\/p>\n<p>\u041a\u0430\u043a \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u044b <a href=\"https:\/\/proceedings.neurips.cc\/paper_files\/paper\/2017\/file\/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf\"><u>\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f<\/u><\/a> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 LGBM, \u0441\u043b\u0430\u0431\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0442\u043e\u0447\u0435\u043a \u0440\u0430\u0441\u0449\u0435\u043f\u043b\u0435\u043d\u0438\u044f. \u0422\u043e \u0435\u0441\u0442\u044c, \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f. \u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f O(m-\u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0445 k-\u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432).<\/p>\n<p>\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435: \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0418 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0437\u0430\u0447\u0435\u043c \u0432 LGBM \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u044d\u0442\u0438 \u043f\u0440\u0438\u0451\u043c\u044b:<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u0432\u0435\u0440\u0448\u0438\u043d\u043d\u043e\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u2014 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b.<\/p>\n<\/li>\n<li>\n<p>GOSS (Gradient-based One-Side Sampling). \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>EFB (Exclusive Feature Bunding). \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0417\u0430\u043c\u0435\u0442\u043a\u0430.<\/strong> \u0423\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0433\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0430\u043c\u0438, \u0442.\u043a. \u043e\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u0440\u0451\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445.<\/p>\n<p>\u041f\u043e\u0439\u0434\u0451\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<h3>\u041f\u043e\u0432\u0435\u0440\u0448\u0438\u043d\u043d\u043e\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (Leaf-wise tree growth)<\/h3>\n<p>\u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b\u0441\u044f \u044d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u041e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u043d\u0451\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. \u041c\u044b \u0441\u0442\u0440\u043e\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0435 \u0441\u043b\u043e\u0439 \u0437\u0430 \u0441\u043b\u043e\u0435\u043c, \u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0438\u0441\u0442 \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0448 loss \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u0432 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445. \u042d\u0442\u043e\u0442 \u043b\u0438\u0441\u0442 \u0434\u0430\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c, \u0440\u0430\u0441\u0442\u0438\u043c, \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435. \u042d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c (Friedman et al., 2000) \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b (\u0442\u0438\u043f\u0430 CART (Breiman et al., 1984) \u0438\u043b\u0438 C4.5 (Quinlan, 1993)) \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0439 \u0437\u0430 \u0441\u043b\u043e\u0435\u043c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/488\/613\/5dd\/4886135dd6a4fbec52119b71270a791f.png\" alt=\"\u0421\u0445\u0435\u043c\u0430 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 LightGBM\" title=\"\u0421\u0445\u0435\u043c\u0430 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 LightGBM\" width=\"1464\" height=\"800\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/488\/613\/5dd\/4886135dd6a4fbec52119b71270a791f.png\"\/><\/p>\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 LightGBM<\/figcaption><\/div>\n<\/figure>\n<h3>GOSS<\/h3>\n<p>\u041f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043e\u0442\u0431\u043e\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432. <strong>\u0412 \u0447\u0451\u043c \u0444\u0438\u0448\u043a\u0430<\/strong>: \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439. \u041e\u0431\u044b\u0447\u043d\u043e \u0442\u0430\u0440\u0433\u0435\u0442 \u043d\u0430 \u043d\u0438\u0445 \u0445\u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f (\u0442.\u0435. \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b \u0434\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438), \u0447\u0435\u043c \u043d\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u0445, \u0433\u0434\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439.\u00a0 \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b, \u043e\u0431\u0443\u0447\u0430\u044f\u0441\u044c, \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u044d\u0442\u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u0447\u0435\u043c \u043d\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c. <\/p>\n<p>\u0422.\u043a. \u0434\u043b\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b_k \\approx \\underset{b \\in B}{\\arg\\min} \\sum_{i=1}^{N}{b(x_i)g_i^{k-1}}\" alt=\"b_k \\approx \\underset{b \\in B}{\\arg\\min} \\sum_{i=1}^{N}{b(x_i)g_i^{k-1}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d98\/5a7\/038\/d985a70383e1f4248b7411a498b1b4dd.svg\" width=\"219\" height=\"60\"\/><\/p>\n<p>\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u0445, \u0433\u0434\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g_i^{k-1}\" alt=\"g_i^{k-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79b\/8e0\/dca\/79b8e0dcab16c95264490357b8583605.svg\" width=\"36\" height=\"27\"\/>\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u0435\u043d. \u041e\u0442\u0432\u0435\u0442\u044b \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0431\u044b\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b(x_i) = -g_i^{k-1}\" alt=\"b(x_i) = -g_i^{k-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/199\/f9b\/009\/199f9b009e5b89b724b77b6d76100064.svg\" width=\"119\" height=\"27\"\/>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0430\u043c\u044b\u0435 \u00ab\u0432\u0435\u0441\u043e\u043c\u044b\u0435\u00bb \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438, \u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u2014 \u043f\u043e\u0433\u043e\u0434\u0443 \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u044e\u0442.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u044d\u0442\u043e \u0432\u0441\u0451 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u0412\u044b \u0431\u0435\u0440\u0451\u0442\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0435 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0434\u043e\u043b\u044e (\u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u044f \u043d\u0430\u0437\u0432\u0430\u043b <em>a<\/em> \u0442\u0430\u043a\u0438\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439). \u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f. \u0418\u0437 \u043d\u0435\u0451 \u0432\u044b \u0434\u0435\u043b\u0430\u0435\u0442\u0435 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u0438 \u0431\u0435\u0440\u0451\u0442\u0435 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0434\u043e\u043b\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a5\/b66\/045\/9a5b66045cbbc5d411bed09cb19ac66c.svg\" width=\"8\" height=\"17\"\/> \u0438\u0437 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1-a\" alt=\"1-a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c8\/a73\/780\/2c8a737803913ffbd28a0b0f1978d63b.svg\" width=\"43\" height=\"17\"\/>\u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439. \u0414\u0430\u043b\u0435\u0435 \u0432\u0435\u0441\u0430 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0432\u044b \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442\u0435 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(1-\u0430)\/b\" alt=\"(1-\u0430)\/b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d9\/590\/ee4\/7d9590ee472cf6889385d3b13a0a483a.svg\" width=\"74\" height=\"22\"\/>. \u042d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u043a\u043e\u0441\u043e\u0431\u043e\u0447\u0438\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6e1\/890\/0e9\/6e18900e9c93abb45496bc7a016455f5.png\" alt=\"\u041e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043e\u0442\u0431\u043e\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432\" title=\"\u041e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043e\u0442\u0431\u043e\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432\" width=\"1464\" height=\"737\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e1\/890\/0e9\/6e18900e9c93abb45496bc7a016455f5.png\"\/><\/p>\n<div><figcaption>\u041e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043e\u0442\u0431\u043e\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u0443\u0441\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u041c\u044b \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c \u043d\u0435 \u0432\u0441\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u0430 \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e, \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0434\u0435\u043b\u044f\u0435\u043c \u043e\u0441\u043e\u0431\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u0435\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c, \u0433\u0434\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0441\u0430\u043c\u044b\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435.<\/p>\n<h3>EFB<\/h3>\n<p>\u0421\u0432\u044f\u0437\u043a\u0430 \u0432\u0437\u0430\u0438\u043c\u043e\u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0418\u0434\u0435\u044f \u0442\u0430\u043a\u0430\u044f: \u0432\u043c\u0435\u0441\u0442\u043e k-\u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c p-\u0441\u0432\u044f\u0437\u043e\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(p&lt;=k)\" alt=\"(p&lt;=k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32c\/873\/0ee\/32c8730ee549fcc56f4f72b5f86f7bce.svg\" width=\"75\" height=\"22\"\/> \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0445 \u043f\u0440\u0438 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0440\u0430\u0441\u0449\u0435\u043f\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u041f\u0440\u0438\u0447\u0451\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u044d\u0442\u0438 \u0441\u0432\u044f\u0437\u043a\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u2014 \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435. \u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(k^2)\" alt=\"O(k^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1a\/5c5\/a60\/c1a5c5a609b771fd9aa2093bf3ddab34.svg\" width=\"49\" height=\"25\"\/>.<\/p>\n<p>\u0420\u0435\u0448\u0430\u0435\u043c \u0434\u0432\u0435 \u0437\u0430\u0434\u0430\u0447\u0438:<\/p>\n<ol>\n<li>\n<p>\u041a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u043a\u0443, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0432\u044f\u0437\u0430\u0442\u044c.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u0432\u044f\u0437\u0430\u0442\u044c<\/h4>\n<p>\u0412\u0432\u0435\u0434\u0451\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0412\u0437\u0430\u0438\u043c\u043e\u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u2014 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u0440\u0438 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u043e\u043a \u043c\u0435\u0442\u043e\u0434\u043e\u043c One-hot encoding \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0437\u0430\u0438\u043c\u043e\u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 (\u0441\u043c. \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432\u044b\u0448\u0435)<\/p>\n<p>\u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0430\u043a \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0431\u044b\u043b\u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u00ab\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432\u00bb \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0433\u0434\u0435 \u0434\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041c\u043e\u0436\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u0434\u043e\u043b\u044e \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0442\u044c \u0432 \u0441\u0432\u044f\u0437\u043a\u0438.\u00a0<\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u0441\u0432\u044f\u0437\u043a\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0430\u0441\u043a\u0440\u0430\u0441\u043a\u0438 \u0433\u0440\u0430\u0444\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0436\u0430\u0434\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u041f\u043e\u043a\u0430\u0436\u0443 \u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/add\/f1f\/599\/addf1f599442db7b577cf828b9ade60a.png\" alt=\"\u0421\u0432\u0435\u0442\u043b\u044b\u043c \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u04451 \u0438 \u04452,\u0422\u0435\u043c\u043d\u044b\u043c - \u04452 \u0438 \u04453\" title=\"\u0421\u0432\u0435\u0442\u043b\u044b\u043c \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u04451 \u0438 \u04452,\u0422\u0435\u043c\u043d\u044b\u043c - \u04452 \u0438 \u04453\" width=\"1464\" height=\"1486\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/add\/f1f\/599\/addf1f599442db7b577cf828b9ade60a.png\"\/><\/p>\n<div><figcaption>\u0421\u0432\u0435\u0442\u043b\u044b\u043c \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u04451 \u0438 \u04452,<br \/>\u0422\u0435\u043c\u043d\u044b\u043c &#8212; \u04452 \u0438 \u04453<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/771\/918\/8ab\/7719188ab78c32bb969637595e74bb1f.png\" alt=\"\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438\" title=\"\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438\" width=\"1464\" height=\"899\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/771\/918\/8ab\/7719188ab78c32bb969637595e74bb1f.png\"\/><\/p>\n<div><figcaption>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u0421\u0432\u0435\u0442\u043b\u043e\u0435 \u043a \u0441\u0432\u0435\u0442\u043b\u043e\u043c\u0443, \u0442\u0435\u043c\u043d\u043e\u0435 \u043a \u0442\u0435\u043c\u043d\u043e\u043c\u0443.<\/p>\n<p>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043f\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u2014 \u0441\u0443\u043c\u043c\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043f\u043e \u0432\u0441\u0435\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f35\/c37\/b53\/f35c37b536f5698a94784cbfbd2b47c7.png\" alt=\"\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438\" title=\"\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438\" width=\"1464\" height=\"377\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f35\/c37\/b53\/f35c37b536f5698a94784cbfbd2b47c7.png\"\/><\/p>\n<div><figcaption>\u0423\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u0433\u0440\u0430\u0444. \u0412 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u0432\u0441\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u043f\u043e\u043f\u0430\u0440\u043d\u043e, \u0430 \u0432\u0435\u0441\u0430 \u0440\u0451\u0431\u0435\u0440 \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432. \u0412\u044b\u0431\u0435\u0440\u0435\u043c \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u0443\u044e \u0434\u043e\u043b\u044e \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 0.2). \u0422.\u043a. \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 10 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0442\u043e \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u0445 \u2014 \u044d\u0442\u043e 2 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430.<\/p>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0441 x5 (\u0441\u0430\u043c\u0430\u044f \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c) \u0438 \u043e\u0442\u0440\u0435\u0436\u0435\u043c \u0440\u0451\u0431\u0440\u0430 \u0433\u0434\u0435 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 2.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/766\/d9d\/202\/766d9d2020ae596b14afe5a1d9d591db.png\" width=\"1464\" height=\"1127\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/766\/d9d\/202\/766d9d2020ae596b14afe5a1d9d591db.png\"\/><\/figure>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u043e\u0442\u0440\u0435\u0437\u0430\u043b\u0438 \u0432\u0441\u0435 \u0440\u0451\u0431\u0440\u0430. \u041f\u0440\u0438\u0437\u043d\u0430\u043a \u04455 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/97d\/b4a\/8b4\/97db4a8b4381acf26c456424dff39f2c.png\" width=\"1464\" height=\"1127\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97d\/b4a\/8b4\/97db4a8b4381acf26c456424dff39f2c.png\"\/><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0431\u0435\u0440\u0451\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043f\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u2014 \u04451 \u0438 \u043e\u0442\u0440\u0435\u0437\u0430\u0435\u043c \u0440\u0451\u0431\u0440\u0430 \u0441 \u0432\u044b\u0441\u043e\u043a\u0438\u043c \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u043c. \u041e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u04454.  <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d17\/239\/24d\/d1723924d719c2551bf24fb44b989215.png\" width=\"1464\" height=\"1127\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d17\/239\/24d\/d1723924d719c2551bf24fb44b989215.png\"\/><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u04454. \u041e\u043d \u043d\u0435 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u0435\u0442 \u0441 \u04452, \u043d\u043e \u0435\u0433\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u0432\u0437\u044f\u0442\u044c \u0432 \u0441\u0432\u044f\u0437\u043a\u0443 \u0438\u0437-\u0437\u0430 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430 (\u04451-\u04452). \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0432\u044f\u0437\u043a\u0430 \u04451-\u04454\u0422.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/086\/5ef\/e7c\/0865efe7c1c2e3a23cf3c814292b4f49.png\" width=\"1464\" height=\"1127\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/086\/5ef\/e7c\/0865efe7c1c2e3a23cf3c814292b4f49.png\"\/><\/figure>\n<p>\u0418 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0432\u044f\u0437\u043a\u0430 \u04452-\u04453.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/66a\/5b4\/eea\/66a5b4eeae9f12be434371fd8d3933bf.png\" width=\"1464\" height=\"1127\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/66a\/5b4\/eea\/66a5b4eeae9f12be434371fd8d3933bf.png\"\/><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u043c\u0435\u0441\u0442\u043e 5 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 3 \u0441\u0432\u044f\u0437\u043a\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b68\/b95\/d96\/b68b95d968b852524c79d83bc5843a1e.png\" width=\"1464\" height=\"633\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b68\/b95\/d96\/b68b95d968b852524c79d83bc5843a1e.png\"\/><\/figure>\n<h4>\u041a\u0430\u043a \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u043a\u0443, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0432\u044f\u0437\u0430\u0442\u044c<\/h4>\n<p>\u0421\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0441\u0432\u044f\u0437\u043a\u0443 \u04452-\u04453 \u0438 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u044523. \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u2014 3.\u00a0<\/p>\n<p>\u0422\u0430\u043c \u0433\u0434\u0435 \u043e\u043d \u043d\u0435 \u043d\u043e\u043b\u044c, \u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u04453 \u043d\u043e\u043b\u044c, \u0442\u0430\u043c \u0443 \u044523 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0443 \u04452. (\u0441\u0442\u0440\u043e\u0447\u043a\u0430 1) \u041a\u043e\u0433\u0434\u0430 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0442\u043e \u043a \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u04453 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0447\u0438\u0441\u043b\u043e 3 (\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u04452). <span class=\"habrahidden\">\u0441\u0442\u0440\u043e\u0447\u043a\u0430 2<\/span><\/p>\n<p>\u041a\u043e\u043d\u0444\u043b\u0438\u043a\u0442 \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u043a\u0440\u0430\u0441\u043d\u044b\u043c \u2014 \u0442\u0430\u043c \u043e\u043f\u044f\u0442\u044c \u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0443 \u04452 <span class=\"habrahidden\">\u0441\u0442\u0440\u043e\u0447\u043a\u0430 8<\/span><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ff7\/1ea\/51b\/ff71ea51b61b18b112dda4cfba39fa0b.png\" width=\"1464\" height=\"1087\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff7\/1ea\/51b\/ff71ea51b61b18b112dda4cfba39fa0b.png\"\/><\/figure>\n<h2>\u041f\u043e\u0434\u0432\u043e\u0434\u044f \u0438\u0442\u043e\u0433\u0438<\/h2>\n<p>\u041c\u044b \u0443\u0437\u043d\u0430\u043b\u0438 \u043a\u0430\u043a \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 CatBoost\u00a0 \u0438 LightGBM. \u041f\u043e\u043d\u044f\u043b\u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 CatBoost \u043d\u0435 \u043d\u0430\u0434\u043e \u0437\u0430\u043f\u0430\u0440\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u2014 \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438 \u0432\u0441\u0451 \u0445\u043e\u0440\u043e\u0448\u043e. \u041d\u0435 \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0438\u0447\u0438 \u2014 CatBoost \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0441\u0430\u043c. LightGBM \u2014 \u0431\u044b\u0441\u0442\u0440\u044b\u0439, \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u0430\u043b\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435\u0442 \u043e\u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u0442\u0435\u0440\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435.<\/p>\n<p>\u041f\u043e \u043b\u0438\u0447\u043d\u043e\u043c\u0443 \u043e\u043f\u044b\u0442\u0443 \u043c\u043e\u0433\u0443 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, CatBoost \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 (\u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0438 \u043d\u0435 \u043d\u0430\u0434\u043e \u0434\u0430\u0436\u0435 \u0442\u0435\u043c\u043f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c, \u0442.\u043a. \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0438). \u041d\u0435\u0440\u0435\u0434\u043a\u043e, \u043a\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0440\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442\u043e\u0439 \u043d\u0430\u043c\u0438 \u0432 \u0422\u043e\u0447\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u0442\u043e\u043a\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, CatBoost \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u043e\u0432\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c, \u0442.\u043a. \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0441\u043e\u043a\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439.<\/p>\n<p>LightGBM \u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c. \u0423\u0447\u0438\u0442\u0441\u044f \u0432\u0435\u0441\u044c\u043c\u0430 \u0431\u044b\u0441\u0442\u0440\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u0430\u044f \u0441\u043d\u043e\u0440\u043e\u0432\u043a\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438.\u00a0<\/p>\n<p>\u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u044d\u0442\u0438\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043e\u043d\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.<\/p>\n<p>\u0427\u0442\u043e \u0436, \u043e\u0431\u0441\u0443\u0434\u0438\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a CatBoost \u0438 LightGBM. \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0431\u043e\u043b\u0435\u0435 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e (\u0438 \u043f\u043e\u0440\u0430\u0436\u0430\u0442\u044c \u0432\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u044c\u044e\u0435\u0440\u043e\u0432 \u043d\u0430 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445).<\/p>\n<p><strong>\u0414\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 \u0434\u043e\u0439\u0442\u0438 \u0434\u043e \u0441\u0430\u043c\u043e\u0439 \u0441\u0443\u0442\u0438 \u2014 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438:<\/strong><\/p>\n<p><a href=\"https:\/\/jerryfriedman.su.domains\/ftp\/trebst.pdf\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u0430 <\/a>\u0438 <a href=\"https:\/\/jerryfriedman.su.domains\/ftp\/stobst.pdf\">\u0435\u0449\u0435 \u043e\u0434\u043d\u0430<\/a> \u043e\u0442 \u043d\u0435\u0433\u043e \u0436\u0435<\/p>\n<p><a href=\"https:\/\/en.wikipedia.org\/wiki\/Gradient_boosting\">\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044e \u043f\u0440\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a> <\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/1603.02754.pdf\">\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e XGBoost<\/a><\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u0435\u0435 \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0435 <a href=\"https:\/\/www.gormanalysis.com\/blog\/gradient-boosting-explained\/#gradient-descent\">\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/a> \u043e\u0442 \u0411\u044d\u043d\u0430 \u0413\u043e\u0440\u043c\u0430\u043d\u0430<\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/1706.09516.pdf%5C\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043e \u043a\u0430\u0442\u0431\u0443\u0441\u0442\u0443<\/a><\/p>\n<p><a href=\"https:\/\/proceedings.neurips.cc\/paper_files\/paper\/2017\/file\/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043e LightGBM<\/a><\/p>\n<p><a href=\"https:\/\/www.ijcai.org\/Proceedings\/95-2\/Papers\/008.pdf\">\u041f\u0440\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 \u043a\u0430\u0442\u0431\u0443\u0441\u0442<\/a><\/p>\n<p>\u00a0<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p> <!----> <!----><\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/companies\/tochka\/articles\/751012\/\"> https:\/\/habr.com\/ru\/companies\/tochka\/articles\/751012\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u0440\u0442\u0443\u0440. \u042f \u0442\u0438\u043c\u043b\u0438\u0434 \u0414\u0421 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0422\u043e\u0447\u043a\u0430. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0432\u0430\u043c \u043f\u0440\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 CatBoost \u0438 LightGBM. \u0414\u043b\u044f \u0447\u0435\u0433\u043e \u043e\u043d\u0438 \u043d\u0443\u0436\u043d\u044b, \u0432 \u0447\u0451\u043c \u0438\u0445 \u0444\u0438\u0448\u043a\u0438 \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u044e\u0442 \u043d\u0430\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.\u00a0<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0442\u0443 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e. \u0413\u043e\u0442\u043e\u0432\u044f\u0441\u044c \u043a \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044e \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u043c\u0438\u0442\u0430\u043f\u0435 \u043f\u043e \u0442\u0435\u043c\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0443 CatBoost \u0438 LightGBM, \u044f \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u043d\u0435 \u0441\u043c\u043e\u0433 \u043d\u0430\u0439\u0442\u0438 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u0431\u044b\u043b\u0438 \u0431\u044b \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043d\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443 CatBoost \u0438 LightGBM. \u041f\u0440\u0438\u0447\u0451\u043c \u043d\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043d\u0430 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434\u0435, \u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438.  <\/p>\n<p>\u041c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0439 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u0438\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u043c\u044b\u0441\u043b.<\/p>\n<h2>\u041a\u043e\u043c\u0443 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e  <\/h2>\n<p><strong>\u041d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u043c<\/strong>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0442\u0435\u043c, \u043a\u0442\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u043f\u0443\u0442\u044c \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438 \u0443\u0436\u0435 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439. \u041f\u0435\u0440\u0432\u0430\u044f \u043f\u043e-\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443 \u043a\u0440\u0443\u0442\u0430\u044f \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u0432 \u043d\u0430\u0440\u043e\u0434\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u2014 XGBoost (\u043e \u043d\u0435\u0439 \u043a\u0430\u043a \u0440\u0430\u0437 \u043c\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u0435\u0437\u0434\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c \u0435\u0433\u043e \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435), \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e\u0431 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u0445, \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0438\u043c\u0435\u0435\u043c \u0432 \u0432\u0438\u0434\u0443 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043d\u0430\u0434 XGBoost.<em>\u00a0<\/em><\/p>\n<p>\u041d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u043e <strong>\u0441\u043f\u0435\u0446\u0430\u043c DS \u0434\u043e \u0443\u0440\u043e\u0432\u043d\u044f middle+<\/strong> \u0434\u043b\u044f \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u043a\u0440\u0443\u0433\u043e\u0437\u043e\u0440\u0430 (\u043a\u043e\u0433\u0434\u0430 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0448\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u043d\u043e \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u043d\u0438\u043a\u043d\u0443\u0442\u044c, \u043a\u0430\u043a \u0442\u0430\u043c \u0447\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442).<\/p>\n<p>\u0418 \u0440\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f <strong>\u0442\u0435\u043c, \u043a\u0442\u043e \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u0441\u044f \u043a \u0441\u043e\u0431\u0435\u0441\u0430\u043c<\/strong> \u0438 \u0445\u043e\u0447\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435. \u041e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430 \u043f\u0440\u043e EFB, \u0434\u0443\u043c\u0430\u044e, \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u041d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0433\u0440\u0435\u0439\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u0445 \u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u043b\u0441\u044f, \u0435\u0441\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044f\u043b \u0445\u043e\u0442\u044f \u0431\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438.<\/p>\n<h2>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u043c\u0438, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430.\u00a0<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440:<\/summary>\n<div class=\"spoiler__content\">\n<p> \u0435\u0441\u043b\u0438 \u0432\u044b \u0432\u0441\u0451 \u044d\u0442\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u0435, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u0435 \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0443 \u043f\u0440\u043e CatBoost, \u0430 \u0435\u0441\u043b\u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0433\u043b\u0443\u0431\u0436\u0435, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0432\u043e\u0442 \u044d\u0442\u043e\u0442 <a href=\"https:\/\/academy.yandex.ru\/handbook\/ml\/article\/gradientnyj-busting\"><u>\u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043e\u0442 \u0410\u043a\u0430\u0434\u0435\u043c\u0438\u0438 \u042f\u043d\u0434\u0435\u043a\u0441\u0430<\/u><\/a>   <\/p>\n<\/div>\n<\/details>\n<p>\u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c:<br \/>\u2014 \u043e\u0431\u044a\u0435\u043a\u0442 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438<br \/>\u2014 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435<br \/>\u2014 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0439 \u0441\u043e\u0431\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432<br \/>(\u0432\u043e \u0432\u0441\u0435\u0445 \u201c\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445\u201d \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u0445 \u2014 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438\u0437 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 <\/p>\n<p> \u2014 \u0433\u043b\u0430\u0434\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c<\/p>\n<h3>\u0421\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u00ab\u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0438\u0441\u043a\u00bb<\/h3>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043a\u0430\u043a , \u0433\u0434\u0435<\/p>\n<p>\u041a\u0430\u043a-\u0442\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 (\u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a)<br \/>\u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430 \u0448\u0430\u0433\u04351&#8243; alt=&#187;k>1&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6dc\/a88\/3b4\/6dca883b4b1dc44ca5fcae0811fd6d84.svg&#187; width=&#187;45&#8243; height=&#187;17&#8243;\/>\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0438\u0441\u043a:  <\/p>\n<p>\u0420\u0430\u0437\u043b\u043e\u0436\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0447\u043b\u0435\u043d\u0430 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0447\u043a\u0438 <\/p>\n<p>\u0421\u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0447\u0442\u043e\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u044b, \u0447\u0442\u043e\u0431\u044b \u0442\u0430\u043a\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u043c. \u041f\u0435\u0440\u0432\u044b\u0439 \u0447\u043b\u0435\u043d \u043d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430:<\/p>\n<p>\u0422.\u0435. \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432: (\u00ab\u0432\u0435\u043a\u0442\u043e\u0440 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430\u00a0\u043e\u0431\u044a\u0435\u043a\u0442\u0430\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438\u00bb, \u00ab\u0432\u0435\u043a\u0442\u043e\u0440 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043d\u0430\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430\u00a0\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435\u00bb).<\/p>\n<p>\u041c\u0438\u043d\u0438\u043c\u0443\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440  \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u0435\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u0443 , \u0442.\u0435  \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0435.<\/p>\n<h3>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/h3>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043c\u044b \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 \u0442\u0430\u0440\u0433\u0435\u0442\u043e\u043c, \u0440\u0430\u0432\u043d\u044b\u043c \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 <\/p>\n<p>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u044e\u0431\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u0412\u0430\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e , \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u0415\u0451 \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0432\u0435\u0442\u0432\u043b\u0435\u043d\u0438\u044f<\/p>\n<p>\u0433\u0434\u0435 \u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438  \u0432 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 , ,  &#8212; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043b\u0435\u0432\u044b\u0445 \u0438 \u043f\u0440\u0430\u0432\u044b\u0445 \u0441\u044b\u043d\u043e\u0432\u044c\u044f\u0445 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0438\u043a\u0430\u0442\u0430, \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u043f\u0440\u0438\u0448\u0435\u0434\u0448\u0438\u0445 \u0432 \u0432\u0435\u0440\u0448\u0438\u043d\u0443.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<p>\u0433\u0434\u0435 &#8212; \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u0435 , &#8212; \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0447\u0438\u0442\u0441\u044f \u0434\u0435\u0440\u0435\u0432\u043e, , . \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443, \u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435  \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0438 \u0430\u043d\u0442\u0433\u0438\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u00a0\u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0432\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u043a \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u043c\u0443 \u0432\u0441\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0443 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 catBoost&#8217;\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435.<\/p>\n<h2>\u041f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a CatBoost<\/h2>\n<p>\u041c\u044b \u0432\u0441\u0435 \u043b\u044e\u0431\u0438\u043c CatBoost, \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0438 \u0443\u0432\u0430\u0436\u0430\u0435\u043c \u0435\u0433\u043e. \u0418 \u0435\u0441\u0442\u044c \u0437\u0430 \u0447\u0442\u043e. CatBoost, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0436\u0435 \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb \u0431\u0435\u0437 \u0443\u0442\u043e\u043c\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0423\u043a\u0430\u0437\u0430\u043b \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u043f\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0434\u0430\u043b \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u043e\u043a \u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c. <br \/>\u0415\u0441\u043b\u0438 \u043a\u043e\u043f\u043d\u0443\u0442\u044c \u0447\u0443\u0442\u044c \u0433\u043b\u0443\u0431\u0436\u0435, \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0440\u0435\u0448\u0430\u044e\u0442\u0441\u044f \u0435\u0449\u0451 \u0438 \u00ab\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435\u00bb \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u0441\u0435\u0445 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u0432. \u042d\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0443\u0442\u0435\u0447\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439. \u0427\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0449\u0435\u0439:<\/p>\n<ol>\n<li>\n<p>\u0421\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/p>\n<\/li>\n<\/ol>\n<h3>\u0421\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f<\/h3>\n<p>\u0417\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f, \u043e\u043d\u0438 \u0436\u0435 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u0427\u0435\u043c \u043e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u0438.<\/p>\n<ol>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u041a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435<\/p>\n<\/li>\n<li>\n<p>\u0423\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u0412 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0437\u043b\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0443\u0440\u043e\u0432\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u0442\u043e\u0447\u043a\u0430 \u0440\u0430\u0441\u0449\u0435\u043f\u043b\u0435\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044e, \u0447\u0442\u043e \u0432 CatBoost \u043a\u0440\u043e\u043c\u0435 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0431\u044b\u0432\u0447\u0438\u0432\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u00a0 \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, <code>growpolicy=\u2019SymmetricTree\u2019<\/code>) \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u044f LightGBM (\u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043f\u043e\u0432\u0435\u0440\u0448\u0438\u043d\u043d\u043e, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0438\u0441\u044c\u0442\u0435\u0432, <code>growpolicy= Lossguide\u2019<\/code>) \u0438 XGBoost (\u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0441\u043b\u043e\u0439 \u0437\u0430 \u0441\u043b\u043e\u0435\u043c, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430<em>, <\/em><code>growpolicy= \u2018Depthwise\u2019<\/code>).\u00a0<\/p>\n<h3>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438<\/h3>\n<p>\u0427\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438? \u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0430.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p><strong>\u0415\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b:<\/strong><\/p>\n<ol>\n<li>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.\u00a0<\/strong><\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0438\u0437\u043d\u0430\u043a \u00ab\u0414\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u041f\u0438\u0442\u043e\u043c\u0435\u0446\u00bb \u0438\u043c\u0435\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f: \u041a\u043e\u0442\u0438\u043a, \u041f\u0451\u0441\u0435\u043b\u044c, \u0425\u043e\u043c\u044f\u043a \u0438 \u0442.\u0434.) \u043e\u0442 0 \u0434\u043e N (label encoding). \u041a\u043e\u0442\u0438\u043a \u2014 0, \u041f\u0451\u0441\u0435\u043b\u044c \u2014 1 \u0438 \u0442\u0434.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u044f\u0434\u043e\u043a (\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0435\u0442) \u043c\u0435\u0436\u0434\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u041f\u0451\u0441\u0435\u043b\u044c (1)\u00a0 > \u041a\u043e\u0442\u0438\u043a (0)<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<li>\n<p><strong>One-hot encoding.\u00a0<\/strong><\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u043d\u0430\u0448\u0443 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443 \u0432 \u0442\u0430\u043a\u0443\u044e, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u043d\u0438\u0436\u0435. \u0422.\u0435. \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u043e\u0434\u0438\u043d \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0430 N \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u0425\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043c\u0430\u043b\u043e.\u00a0<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><\/figure>\n<p><strong>\u0415\u0441\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b<\/strong> (\u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u0445 \u043f\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c).\u00a0<\/p>\n<p>\u0417\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0430 (<strong>\u043f\u0440\u043e\u0441\u0442\u043e\u0439 mean target encoding<\/strong>).\u00a0<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong>. \u041a\u043e\u0442\u0438\u043a<em> <\/em>\u0432 \u043d\u0430\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f 3 \u0440\u0430\u0437\u0430. \u041c\u0435\u0442\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0430 \u0440\u0430\u0432\u043d\u0430 1 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430. \u0417\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u041a\u043e\u0442\u0438\u043a\u0430 \u043d\u0430 2\/3. \u0412 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0435 \u043d\u0438\u0436\u0435 \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0432\u0438\u0434\u0435 \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0439 \u0434\u0440\u043e\u0431\u0438. <\/p>\n<figure class=\"full-width\"><\/figure>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/strong>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c.\u00a0<\/p>\n<ol>\n<li>\n<p>\u042f\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u2014 \u0425\u043e\u043c\u044f\u043a. \u0412\u0441\u0442\u0440\u0435\u0442\u0438\u043b\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438 \u0435\u0433\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u0440\u0433\u0435\u0442\u0430. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0442\u0430\u043a\u043e\u0439 \u0441\u0432\u044f\u0437\u0438, \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043d\u0435 \u0431\u0443\u0434\u0435\u0442.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u043d\u0435\u0435 \u044f\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u043c\u044b \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u00ab\u043c\u0438\u043d\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u00bb. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0432\u0441\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0435. \u0427\u0442\u043e, \u0432 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0442\u0435\u0447\u043a\u043e\u0439.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0432 CatBoost<\/h4>\n<p>\u0412 CatBoost \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d<strong> <\/strong>\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a mean target encoding.<\/p>\n<p><strong>\u041a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0430 <\/strong>\u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 (\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430):<\/p>\n<ol>\n<li>\n<p>\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u00ab\u043f\u043e \u043f\u0440\u043e\u0448\u043b\u043e\u043c\u0443\u00bb. \u0414\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u0441\u043b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u043f\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c \u0441\u0442\u0440\u043e\u043a\u0430\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0434\u043b\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<ol>\n<li>\n<p>#positive \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a \u0432 \u00ab\u043c\u0435\u0442\u043a\u0435 \u043a\u043b\u0430\u0441\u0441\u0430\u00bb, \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0432\u0448\u0438\u0445\u0441\u044f \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0437\u0430\u043f\u0438\u0441\u0438;<\/p>\n<\/li>\n<li>\n<p>#All \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0432\u0448\u0438\u0445\u0441\u044f \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0437\u0430\u043f\u0438\u0441\u0438;<\/p>\n<\/li>\n<li>\n<p>Prior \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e.<\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><\/figure>\n<p>\u041f\u043e\u043a\u0430\u0436\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f (Prior = 0.01 &#8212; \u044d\u0442\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0441 Id == 2. \u0414\u043e \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0432 \u043a\u043b\u0430\u0441\u0441\u0435 \u00ab<em>\u041a\u043e\u0442\u0438\u043a<\/em>\u00bb \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u043b\u043e\u0441\u044c \u0434\u0432\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 #All = 2. \u0423 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u00ab\u043c\u0435\u0442\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0430\u00bb == 1 \u0432 \u043e\u0434\u043d\u043e\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0438 (id == 1)<\/p>\n<figure class=\"full-width\"><\/figure>\n<p><strong>\u041a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438.<\/strong> \u0422\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439. \u042d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u0430\u044f \u0444\u0438\u0448\u043a\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u0422\u0430\u043a \u043a\u0430\u043a \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0441\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439 \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e.\u00a0<\/p>\n<p>\u0412 \u043a\u0430\u0442\u0431\u0443\u0441\u0442\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043a\u0430\u0442\u0444\u0438\u0447\u0435\u0439 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043d\u0435 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u0436\u0430\u0434\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u041f\u0440\u0438\u0432\u0435\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440. \u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 x1, x2, x3, x4. \u0415\u0441\u043b\u0438 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u0434\u043b\u044f \u0441\u043f\u043b\u0438\u0442\u0430 \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a x1, \u0442\u043e \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0431\u0443\u0434\u0443\u0442 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438: \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435 (x1, \u2026, x4) \u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0435\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c (x1+x2, x1+x3, x1+x4). \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c \u0442\u0435\u043f\u0435\u0440\u044c, \u0447\u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f x1+x4. \u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0437\u0430 \u043d\u0438\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043e\u043f\u044f\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435(x1, \u2026, x4), \u0434\u0432\u043e\u0439\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0441 \u043f\u0435\u0440\u0432\u044b\u043c \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c (x1+x2, x1+x3, x1+x4) \u0438 \u0442\u0440\u043e\u0439\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0441 \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u043d\u0435\u0435 \u043f\u0430\u0440\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 ([x1+x4] + x2, [x1+x4] + x3). \u0418 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0422\u0430\u043a\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043d\u0430\u0439\u0442\u0438 \u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439.<\/p>\n<p><strong>One-hot encoding<\/strong>. \u041a\u0441\u0442\u0430\u0442\u0438, \u043a\u0440\u043e\u043c\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0432 CatBoost \u0442\u0430\u043a\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 One-hot encoding. \u0423\u0441\u043b\u043e\u0432\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <em>one_hot_max_size. <\/em>\u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u0437\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c, \u0442\u0430\u043a\u0430\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0444\u0438\u0447\u0435\u0439 \u0441 2 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438.<\/p>\n<h3>\u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433: \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 CatBoost<\/h3>\n<p><strong>\u041a\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u043e<\/strong>: \u0414\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u2014 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c \u0432 \u043b\u0438\u0441\u0442\u0435 (\u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u044f\u0446\u0438\u0438 \u0438 \u0442.\u0434.). \u0412\u044b\u0445\u043e\u0434\u0438\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-350911","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/350911","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=350911"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/350911\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=350911"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=350911"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=350911"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}