{"id":494769,"date":"2026-09-15T14:41:36","date_gmt":"2026-09-15T14:41:36","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=494769"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=494769","title":{"rendered":"CatBoost \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0441 \u043d\u0443\u043b\u044f \u043d\u0430 Python \u0438 \u0432 Excel"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ccd\/070\/568\/ccd070568ca4af1ebdbe7ba93d4b86d5.png\" alt=\"CatBoost: \u043e\u0442 \u0444\u043e\u0440\u043c\u0443\u043b \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 Python \u0438 \u0432 Excel\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ccd\/070\/568\/ccd070568ca4af1ebdbe7ba93d4b86d5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ccd\/070\/568\/ccd070568ca4af1ebdbe7ba93d4b86d5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>CatBoost: \u043e\u0442 \u0444\u043e\u0440\u043c\u0443\u043b \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 Python \u0438 \u0432 Excel<\/figcaption><\/div>\n<\/figure>\n<h3>\u041e \u0447\u0435\u043c \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f<\/h3>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0424\u0435\u0434\u043e\u0440 \u0422\u0430\u0440\u0430\u0441\u043e\u0432, \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 collection \u0441\u0442\u0440\u0438\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u043e\u0437\u043d\u0438\u0447\u043d\u043e\u0433\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u0432 \u0414\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0430\u043d\u043a\u0430 \u0412\u0422\u0411.<\/p>\n<p>\u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 ML-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u0432\u0437\u044b\u0441\u043a\u0430\u043d\u0438\u044f \u2014 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0445\u043e\u0434\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u0432 \u043f\u0440\u043e\u0441\u0440\u043e\u0447\u043a\u0443, \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0433\u043b\u0443\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0440\u043e\u0447\u043a\u0438 \u043f\u0440\u0438 \u043d\u0435\u0432\u043d\u0435\u0441\u0435\u043d\u0438\u0438 \u0438\u043b\u0438 \u043d\u0435\u043f\u043e\u043b\u043d\u043e\u043c \u0432\u043d\u0435\u0441\u0435\u043d\u0438\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u044b\u0445 \u043f\u043b\u0430\u0442\u0435\u0436\u0435\u0439 \u043f\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u0443, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u043d\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0441\u0442\u0432\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u041a\u0430\u0436\u0434\u0430\u044f \u0442\u0430\u043a\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0438 \u044f \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0445\u043e\u0447\u0443 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 CatBoost \u2014 \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432 \u0440\u0430\u0431\u043e\u0442\u0435. \u0417\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b\u0430 \u043c\u0435\u043d\u044f \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u043e\u0435\u0439 \u043a\u0430\u0440\u044c\u0435\u0440\u044b. \u0414\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044f \u0448\u0451\u043b \u043a \u043d\u0435\u0439 \u043e\u043a\u043e\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0443\u0442\u044f\u043c\u0438: \u0446\u0435\u043b\u044c \u043e\u0441\u043b\u043e\u0436\u043d\u044f\u043b\u0430\u0441\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432 \u0447\u0442\u0435\u043d\u0438\u0438 \u043a\u043e\u0434\u0430 \u043d\u0430 C++, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0435\u0451 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0443\u0447\u0435\u0431\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 CatBoost \u043d\u0430 Python, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u0432\u0441\u044e \u043b\u043e\u0433\u0438\u043a\u0443 \u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u044b, \u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b \u043a\u043e\u0434 \u043d\u0430 <a href=\"https:\/\/github.com\/FedorTarasow\/PocketCatboostStudy\">GitHub<\/a>. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u043b\u043e\u043a \u0432\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 <a href=\"https:\/\/www.youtube.com\/watch?v=ZVFeW798-2I\">\u043b\u0435\u043a\u0446\u0438\u044e<\/a> YouTube-\u043a\u0430\u043d\u0430\u043b\u0430 <a href=\"https:\/\/www.youtube.com\/@statquest\">StatQuest with Josh Starmer<\/a>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u043e\u0434 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0443 CatBoost. \u0414\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0438 (bootstrap) \u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u043a\u043e\u0440 \u0441\u043f\u043b\u0438\u0442\u043e\u0432 (random_strength). \u0421\u0442\u0430\u0442\u044c\u044f \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u043d\u0430 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439, \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0445 \u0441 \u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: \u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u043e\u0431\u0449\u0435\u0439 \u0438\u0434\u0435\u0435\u0439.<\/p>\n<p>\u041c\u043e\u0436\u0435\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441: \u0430 \u0437\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e \u043a\u043e\u0441\u0442\u043e\u0447\u043a\u0430\u043c, \u0435\u0441\u043b\u0438 \u043e\u043d \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0438 \u043e\u0442\u043b\u0430\u0436\u0435\u043d? \u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u0435\u0442\u0430\u043b\u044f\u0445 \u0440\u0430\u0431\u043e\u0442\u044b CatBoost \u0438 \u043d\u0435 \u0431\u043e\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u0412\u044b\u0432\u0435\u0434\u0435\u043c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (Logloss).<\/p>\n<\/li>\n<li>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f, \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0438 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u044b, \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0439\u043c\u0451\u043c, \u0437\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043a\u0430\u043a \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 CatBoost \u0441\u043f\u0430\u0441\u0430\u0435\u0442 \u043e\u0442 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0418 \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u0432\u043e\u043e\u0440\u0443\u0436\u0438\u0432\u0448\u0438\u0441\u044c <a href=\"https:\/\/docs.google.com\/spreadsheets\/d\/15mr9WYGFrmUhhfRSbZeY_bQdxHWM25TCnvtrpEoqxhs\">Excel-\u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439<\/a> \u0438 Python-\u0441\u043a\u0440\u0438\u043f\u0442\u043e\u043c, \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043c \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043b\u043e\u0433\u0438\u043a\u0443 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0438 \u0441\u043e\u0439\u0434\u0451\u043c\u0441\u044f \u0441 \u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<h3>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h3>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u0430 \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0441\u0442\u0432\u0430 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043b\u0438\u0446\u0430, \u044f\u0432\u043b\u044f\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c \u043f\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u0443. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u00ab\u043e\u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0438\u0442\u0441\u044f \/ \u043d\u0435 \u043e\u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0438\u0442\u0441\u044f\u00bb, \u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c p \u2208 [0, 1]. \u041c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0431\u044b\u043b\u0430 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a 1 \u0434\u043b\u044f \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u043e\u0432 (\u043a\u043b\u0430\u0441\u0441 1) \u0438 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a 0 \u0434\u043b\u044f \u043f\u043b\u0430\u0442\u0451\u0436\u0435\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 (\u043a\u043b\u0430\u0441\u0441 0). \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437, \u043d\u043e \u043e\u0442\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0440\u0438\u0441\u043a\u0430. \u0412 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u044d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0412 CatBoost \u0434\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (Log-Likelihood). \u0415\u0451 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f (\u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, LogLoss) \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0442\u044c \u043d\u0430\u0441 \u043a \u043e\u0437\u0432\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0446\u0435\u043b\u0438.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"LL = \\sum_{i=1}^{N} y_i \\times \\log(p_i) + (1-y_i) \\times \\log(1-p_i)\" alt=\"LL = \\sum_{i=1}^{N} y_i \\times \\log(p_i) + (1-y_i) \\times \\log(1-p_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b2bf18e6c1adec1f21e7cb9e5cf279.svg\" width=\"355\" height=\"54\" data-width=\"44.349\" data-height=\"6.74\" data-vertical-align=\"-2.804\" style=\"width: 44.349ex; height: 6.74ex; vertical-align: -2.804ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b2bf18e6c1adec1f21e7cb9e5cf279.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b2bf18e6c1adec1f21e7cb9e5cf279.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.138ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e pred \u043c\u043e\u0434\u0435\u043b\u0438, <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg\" width=\"12\" height=\"12\" data-width=\"1.109\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.109ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e 0 \u0438\u043b\u0438 1 \u043a\u043b\u0430\u0441\u0441 \u0442\u0430\u0440\u0433\u0435\u0442\u0430. \u0421\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447, \u043d\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0443\u0431\u0435\u0434\u0438\u043c\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e p \u0432 \u043d\u0435\u0439 \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u043d\u0430\u0448\u0438\u043c \u0442\u0430\u0440\u0433\u0435\u0442\u043e\u043c.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u043b\u044f \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 (\u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0441\u0442\u0432\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u043a\u0430\u043a \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0435 \u0438 \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435, \u0442\u0430\u043a\u043e\u0432\u044b \u043b\u0438\u0448\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0435\u0439\u0441\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f) y=1, \u043f\u0440\u0430\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0438 \u0434\u043e\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0430 1-y, \u043f\u0440\u0438 y=1 \u0437\u0430\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f. \u0414\u043b\u044f \u043b\u0435\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0433\u0440\u0430\u0444\u0438\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"1*\\ln(p)\" alt=\"1*\\ln(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/55\/554\/554600c486b92718768f41b66ec2e003.svg\" width=\"64\" height=\"18\" data-width=\"8.053\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 8.053ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/55\/554\/554600c486b92718768f41b66ec2e003.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/55\/554\/554600c486b92718768f41b66ec2e003.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 p \u2192 1<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/955\/eb7\/fab\/955eb7fabb2f5bbeab377aa3420b3543.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 1\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/955\/eb7\/fab\/955eb7fabb2f5bbeab377aa3420b3543.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/955\/eb7\/fab\/955eb7fabb2f5bbeab377aa3420b3543.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 1<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u043b\u044f \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 y=0, \u0442\u043e\u0433\u0434\u0430 \u043b\u0435\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0438 \u0434\u043e\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0430 y, \u043f\u0440\u0438 y=0 \u0437\u0430\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f. \u0414\u043b\u044f \u043f\u0440\u0430\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0433\u0440\u0430\u0444\u0438\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"(1 - 0)*\\ln(1 - p)\" alt=\"(1 - 0)*\\ln(1 - p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/301\/30182159bc99d804e8601fdc7f27bfd5.svg\" width=\"141\" height=\"18\" data-width=\"17.607\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 17.607ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/301\/30182159bc99d804e8601fdc7f27bfd5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/301\/30182159bc99d804e8601fdc7f27bfd5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 p \u2192 0.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2ad\/62f\/f11\/2ad62ff114ff1806290c2712af2fe0b3.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 0\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2ad\/62f\/f11\/2ad62ff114ff1806290c2712af2fe0b3.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2ad\/62f\/f11\/2ad62ff114ff1806290c2712af2fe0b3.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 0<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f 1 \u0438 0, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0443\u043c\u043c\u0443 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435, \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0436\u0435\u043c \u043a\u043b\u0430\u0441\u0441 \u0438 \u0435\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0431\u0443\u0434\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e LL.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"LL = \\sum_{i=1}^{N} y_i \\times \\log(p_i) + (1-y_i) \\times \\log(1-p_i)\" alt=\"LL = \\sum_{i=1}^{N} y_i \\times \\log(p_i) + (1-y_i) \\times \\log(1-p_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b2bf18e6c1adec1f21e7cb9e5cf279.svg\" width=\"355\" height=\"54\" data-width=\"44.349\" data-height=\"6.74\" data-vertical-align=\"-2.804\" style=\"width: 44.349ex; height: 6.74ex; vertical-align: -2.804ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b2bf18e6c1adec1f21e7cb9e5cf279.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f8\/f8b\/f8b2bf18e6c1adec1f21e7cb9e5cf279.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0438\u0441\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043d\u0443\u0436\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c (Loss Function, \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u043e\u0448\u0438\u0431\u043a\u0443), \u043f\u043e \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u00ab\u0441\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f\u00bb, \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0443. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u043d\u043e\u0436\u0430\u044e\u0442 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"- 1\" alt=\"- 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/21\/211\/211908bd8333c11aca2bbac0a0befb96.svg\" width=\"23\" height=\"14\" data-width=\"2.891\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 2.891ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/21\/211\/211908bd8333c11aca2bbac0a0befb96.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/21\/211\/211908bd8333c11aca2bbac0a0befb96.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0422\u0430\u043a \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u041e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 (Negative Log-Likelihood, NLL) \u0438\u043b\u0438 Logloss (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Loss \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432 CatBoostClassifier):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"LogLoss = - LL\" alt=\"LogLoss = - LL\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/90f\/90ff8a305635b41a9731d38b643f050c.svg\" width=\"131\" height=\"16\" data-width=\"16.336\" data-height=\"2.009\" data-vertical-align=\"-0.464\" style=\"width: 16.336ex; height: 2.009ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/90f\/90ff8a305635b41a9731d38b643f050c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/90f\/90ff8a305635b41a9731d38b643f050c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442 0 \u0434\u043e 1. \u041e\u043d \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0441\u044b\u0440\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u2014 \u043b\u043e\u0433\u0438\u0442\u044b (log-odds), \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"z_{i} \\in ( - \\infty, + \\infty)\" alt=\"z_{i} \\in ( - \\infty, + \\infty)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/678\/678827189c030e59f6043ba521863a1e.svg\" width=\"123\" height=\"18\" data-width=\"15.369\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 15.369ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/678\/678827189c030e59f6043ba521863a1e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/678\/678827189c030e59f6043ba521863a1e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0421\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043b\u043e\u0433\u0438\u0442\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"z_{i}\" alt=\"z_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b72\/b72ebeb95f4bb3e84afd94141a57b13b.svg\" width=\"14\" height=\"12\" data-width=\"1.792\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 1.792ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b72\/b72ebeb95f4bb3e84afd94141a57b13b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b72\/b72ebeb95f4bb3e84afd94141a57b13b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"p_{i}\" alt=\"p_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a4\/8a4bbd153c74655abb7ca04c0fa901d8.svg\" width=\"15\" height=\"12\" data-width=\"1.878\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.878ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a4\/8a4bbd153c74655abb7ca04c0fa901d8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a4\/8a4bbd153c74655abb7ca04c0fa901d8.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f i-\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u0435\u0439 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"p_i = \\frac{1}{1+e^{-z_i}} = \\frac{e^{z_i}}{e^{z_i}+1} \\Leftrightarrow z_i = \\ln\\left(\\frac{p_i}{1-p_i}\\right)\" alt=\"p_i = \\frac{1}{1+e^{-z_i}} = \\frac{e^{z_i}}{e^{z_i}+1} \\Leftrightarrow z_i = \\ln\\left(\\frac{p_i}{1-p_i}\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7d\/d7d99de54b6c6673884540ee27de122c.svg\" width=\"357\" height=\"43\" data-width=\"44.652\" data-height=\"5.428\" data-vertical-align=\"-2.148\" style=\"width: 44.652ex; height: 5.428ex; vertical-align: -2.148ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7d\/d7d99de54b6c6673884540ee27de122c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7d\/d7d99de54b6c6673884540ee27de122c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u044b\u0440\u0430\u0437\u0438\u043c LL \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u0433\u0438\u0442\u044b. \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u044d\u0442\u043e \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\ln(p_i)=\\ln(e^{z_i})-\\ln(1+e^{z_i})=z_i-\\ln(1+e^{z_i})\" alt=\"\\ln(p_i)=\\ln(e^{z_i})-\\ln(1+e^{z_i})=z_i-\\ln(1+e^{z_i})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/838b55e193efc62e7258a789b4dabfe7.svg\" width=\"361\" height=\"18\" data-width=\"45.144\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 45.144ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/838b55e193efc62e7258a789b4dabfe7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/838b55e193efc62e7258a789b4dabfe7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\ln(1-p_i)=\\ln(1)-\\ln(1+e^{z_i})=0-\\ln(1+e^{z_i})\" alt=\"\\ln(1-p_i)=\\ln(1)-\\ln(1+e^{z_i})=0-\\ln(1+e^{z_i})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f1a\/f1a3fb9bcb1ea326df3f9a1a0bb82f68.svg\" width=\"376\" height=\"18\" data-width=\"47.003\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 47.003ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f1a\/f1a3fb9bcb1ea326df3f9a1a0bb82f68.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f1a\/f1a3fb9bcb1ea326df3f9a1a0bb82f68.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u044d\u0442\u043e \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"{LL}_{i}\" alt=\"{LL}_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e9\/7e9cfafdab914ad2771156c60f066235.svg\" width=\"31\" height=\"15\" data-width=\"3.821\" data-height=\"1.902\" data-vertical-align=\"-0.357\" style=\"width: 3.821ex; height: 1.902ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e9\/7e9cfafdab914ad2771156c60f066235.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e9\/7e9cfafdab914ad2771156c60f066235.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{LL}_{i} = y_{i}\\left( z_{i} - \\ln(1 + e^{z_{i}}) \\right) + (1 - y_{i})\\left( - \\ln(1 + e^{z_{i}}) \\right)\" alt=\"{LL}_{i} = y_{i}\\left( z_{i} - \\ln(1 + e^{z_{i}}) \\right) + (1 - y_{i})\\left( - \\ln(1 + e^{z_{i}}) \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52b\/52b8f809cbf7f14af4a846cee6551eaa.svg\" width=\"400\" height=\"18\" data-width=\"50.033\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 50.033ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52b\/52b8f809cbf7f14af4a846cee6551eaa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52b\/52b8f809cbf7f14af4a846cee6551eaa.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0441\u043a\u043e\u0431\u043a\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{LL}_{i} = y_{i}z_{i} - y_{i}\\ln(1 + e^{z_{i}}) - \\ln(1 + e^{z_{i}}) + y_{i}\\ln(1 + e^{z_{i}})\" alt=\"{LL}_{i} = y_{i}z_{i} - y_{i}\\ln(1 + e^{z_{i}}) - \\ln(1 + e^{z_{i}}) + y_{i}\\ln(1 + e^{z_{i}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8aa\/8aad59abf50cb86d3a80247946e7bbb4.svg\" width=\"427\" height=\"18\" data-width=\"53.385\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 53.385ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8aa\/8aad59abf50cb86d3a80247946e7bbb4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8aa\/8aad59abf50cb86d3a80247946e7bbb4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"y_{i}\\ln(1 + e^{z_{i}})\" alt=\"y_{i}\\ln(1 + e^{z_{i}})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/109\/109eb6b2f1cee28b637284ed75d05d81.svg\" width=\"98\" height=\"18\" data-width=\"12.278\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 12.278ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/109\/109eb6b2f1cee28b637284ed75d05d81.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/109\/109eb6b2f1cee28b637284ed75d05d81.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u0437\u0430\u0438\u043c\u043d\u043e \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0430\u044e\u0442\u0441\u044f, \u0438 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c LL \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u0433\u0438\u0442\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"LL_i = y_i z_i - \\ln(1+e^{z_i}), \\qquad -LL_i=-y_i z_i+\\ln(1+e^{z_i})\" alt=\"LL_i = y_i z_i - \\ln(1+e^{z_i}), \\qquad -LL_i=-y_i z_i+\\ln(1+e^{z_i})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/981\/981e83f9a6fba2541e5da7b3d0d9bf82.svg\" width=\"445\" height=\"18\" data-width=\"55.645\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 55.645ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/981\/981e83f9a6fba2541e5da7b3d0d9bf82.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/981\/981e83f9a6fba2541e5da7b3d0d9bf82.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044e <img decoding=\"async\" class=\"formula inline\" source=\"L(y_i,z_i)=-LL_i\" alt=\"L(y_i,z_i)=-LL_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8cf\/8cf39cb2d1637bb17f5be80935b1a807.svg\" width=\"132\" height=\"18\" data-width=\"16.545\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 16.545ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8cf\/8cf39cb2d1637bb17f5be80935b1a807.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8cf\/8cf39cb2d1637bb17f5be80935b1a807.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0417\u0430\u0440\u0430\u043d\u0435\u0435 \u043d\u0430\u0439\u0434\u0451\u043c \u043f\u0435\u0440\u0432\u0443\u044e (gradient \u2014 g) \u0438 \u0432\u0442\u043e\u0440\u0443\u044e (hessian \u2014 h) \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"- {LL}_{i}\" alt=\"- {LL}_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f11\/f11430343b1ee561c8d00b358f86dc23.svg\" width=\"45\" height=\"15\" data-width=\"5.581\" data-height=\"1.902\" data-vertical-align=\"-0.357\" style=\"width: 5.581ex; height: 1.902ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f11\/f11430343b1ee561c8d00b358f86dc23.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f11\/f11430343b1ee561c8d00b358f86dc23.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g_{i} = \\frac{\\partial L}{\\partial z_{i}} = - y_{i} + \\frac{1}{1 + e^{z_{i}}} \\cdot e^{z_{i}} = - y_{i} + p_{i}\" alt=\"g_{i} = \\frac{\\partial L}{\\partial z_{i}} = - y_{i} + \\frac{1}{1 + e^{z_{i}}} \\cdot e^{z_{i}} = - y_{i} + p_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/851\/8518077f28336566a6cd8bf4a92d9154.svg\" width=\"329\" height=\"40\" data-width=\"41.109\" data-height=\"5.056\" data-vertical-align=\"-1.962\" style=\"width: 41.109ex; height: 5.056ex; vertical-align: -1.962ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/851\/8518077f28336566a6cd8bf4a92d9154.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/851\/8518077f28336566a6cd8bf4a92d9154.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"h_{i} = \\frac{\\partial^{2}L}{\\partial z_{i}^{2}} = p_{i}(1 - p_{i})\" alt=\"h_{i} = \\frac{\\partial^{2}L}{\\partial z_{i}^{2}} = p_{i}(1 - p_{i})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2dc088781d8657982ccf5d402217b7.svg\" width=\"179\" height=\"47\" data-width=\"22.411\" data-height=\"5.873\" data-vertical-align=\"-2.371\" style=\"width: 22.411ex; height: 5.873ex; vertical-align: -2.371ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2dc088781d8657982ccf5d402217b7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2dc088781d8657982ccf5d402217b7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u043a\u0430\u0436\u0434\u043e\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u043b\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg\" width=\"12\" height=\"12\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" style=\"width: 0.781ex; height: 1.52ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"z_{i}^{t - 1}\" alt=\"z_{i}^{t - 1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/244\/2443ffb3701bbbf52b7cddcc1e398c9e.svg\" width=\"31\" height=\"21\" data-width=\"3.862\" data-height=\"2.679\" data-vertical-align=\"-0.679\" style=\"width: 3.862ex; height: 2.679ex; vertical-align: -0.679ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/244\/2443ffb3701bbbf52b7cddcc1e398c9e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/244\/2443ffb3701bbbf52b7cddcc1e398c9e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0434\u043b\u044f \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0448\u0430\u0433\u0430 p=0.5, <img decoding=\"async\" class=\"formula inline\" source=\"z_{i} = 0\" alt=\"z_{i} = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/efd\/efd72cf55927e295aa9ca04118d8c4af.svg\" width=\"48\" height=\"15\" data-width=\"5.94\" data-height=\"1.864\" data-vertical-align=\"-0.357\" style=\"width: 5.94ex; height: 1.864ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/efd\/efd72cf55927e295aa9ca04118d8c4af.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/efd\/efd72cf55927e295aa9ca04118d8c4af.svg 781w\" loading=\"lazy\" decode=\"async\"\/>). \u041c\u044b \u043e\u0431\u0443\u0447\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e t, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043e\u0431\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u0414\u0435\u0440\u0435\u0432\u043e t \u0432\u044b\u0434\u0430\u0441\u0442 \u0434\u043b\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f i \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{t}\" alt=\"O_{value}^{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg\" width=\"45\" height=\"20\" data-width=\"5.674\" data-height=\"2.554\" data-vertical-align=\"-0.618\" style=\"width: 5.674ex; height: 2.554ex; vertical-align: -0.618ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0441\u044b\u0440\u043e\u0435 \u043b\u043e\u0433\u0438\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0438\u0441\u0442\u0430, \u043a\u0443\u0434\u0430 \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435). \u0417\u043d\u0430\u0447\u0438\u0442, \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u043e: <img decoding=\"async\" class=\"formula inline\" source=\"z_{i}^{t} = z_{i}^{t - 1} + O_{value}^{t}\" alt=\"z_{i}^{t} = z_{i}^{t - 1} + O_{value}^{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726cd0e2b430f9a3a053cd7cfd54a2bf.svg\" width=\"137\" height=\"21\" data-width=\"17.136\" data-height=\"2.679\" data-vertical-align=\"-0.679\" style=\"width: 17.136ex; height: 2.679ex; vertical-align: -0.679ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726cd0e2b430f9a3a053cd7cfd54a2bf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726cd0e2b430f9a3a053cd7cfd54a2bf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{t}\" alt=\"O_{value}^{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg\" width=\"45\" height=\"20\" data-width=\"5.674\" data-height=\"2.554\" data-vertical-align=\"-0.618\" style=\"width: 5.674ex; height: 2.554ex; vertical-align: -0.618ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 \u043b\u0438\u0441\u0442. \u041d\u043e \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c (\u043d\u0435 \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 \u0432 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u0432 1 \u0438\u043b\u0438 0), \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c L2-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044e (\u0448\u0442\u0440\u0430\u0444) \u0437\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0438\u0441\u0442\u0430.<\/p>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 t, \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0449\u0443\u044e\u0441\u044f \u0438\u0437 \u0441\u0443\u043c\u043c\u044b n \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u044d\u0442\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430. \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"{LL}_{t}\" alt=\"{LL}_{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg\" width=\"31\" height=\"15\" data-width=\"3.847\" data-height=\"1.902\" data-vertical-align=\"-0.357\" style=\"width: 3.847ex; height: 1.902ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432 \u043b\u0438\u0441\u0442 j \u0434\u0435\u0440\u0435\u0432\u0430 t, \u0442\u043e\u0433\u0434\u0430<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{LL}_{t} = \\sum_{i = 1}^{n}L(y_{i},z_{i}^{t - 1} + O_{value}^{t}) + \\frac{1}{2}\\lambda{O_{value}^{t}}^{2}\" alt=\"{LL}_{t} = \\sum_{i = 1}^{n}L(y_{i},z_{i}^{t - 1} + O_{value}^{t}) + \\frac{1}{2}\\lambda{O_{value}^{t}}^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c4\/c49\/c49931e14bc4292291a98d86a9438449.svg\" width=\"335\" height=\"51\" data-width=\"41.837\" data-height=\"6.354\" data-vertical-align=\"-2.611\" style=\"width: 41.837ex; height: 6.354ex; vertical-align: -2.611ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c4\/c49\/c49931e14bc4292291a98d86a9438449.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c4\/c49\/c49931e14bc4292291a98d86a9438449.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"L(y_{i},z_{i})\" alt=\"L(y_{i},z_{i})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bf\/bf9\/bf98da3f115113ce40b1b0cfb760e6bb.svg\" width=\"64\" height=\"18\" data-width=\"7.947\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.947ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bf\/bf9\/bf98da3f115113ce40b1b0cfb760e6bb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bf\/bf9\/bf98da3f115113ce40b1b0cfb760e6bb.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0442 \u043b\u043e\u0433\u0438\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg\" width=\"12\" height=\"12\" data-width=\"1.052\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.052ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0442\u0430\u0440\u0433\u0435\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg\" width=\"12\" height=\"12\" data-width=\"1.109\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.109ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0414\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0431\u0449\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0422\u0435\u0439\u043b\u043e\u0440\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"f(x + \\Delta x) \\approx f(x) + f'(x)\\Delta x + \\frac{1}{2}f''(x)\\Delta x^{2}\" alt=\"f(x + \\Delta x) \\approx f(x) + f'(x)\\Delta x + \\frac{1}{2}f''(x)\\Delta x^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/10b\/10babd4df097453966e611861f621074.svg\" width=\"345\" height=\"37\" data-width=\"43.095\" data-height=\"4.588\" data-vertical-align=\"-1.729\" style=\"width: 43.095ex; height: 4.588ex; vertical-align: -1.729ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/10b\/10babd4df097453966e611861f621074.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/10\/10b\/10babd4df097453966e611861f621074.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u0435\u0451 \u043a \u043d\u0430\u0448\u0435\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u0433\u0434\u0435 \u0440\u043e\u043b\u044c \u043c\u0430\u043b\u043e\u0433\u043e \u043f\u0440\u0438\u0440\u0430\u0449\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta x\" alt=\"\\Delta x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b56\/b56546a86ab832a9b2a5b15f96519319.svg\" width=\"25\" height=\"18\" data-width=\"3.179\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 3.179ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b56\/b56546a86ab832a9b2a5b15f96519319.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b5\/b56\/b56546a86ab832a9b2a5b15f96519319.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u0433\u0440\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{t}\" alt=\"O_{value}^{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg\" width=\"45\" height=\"20\" data-width=\"5.674\" data-height=\"2.554\" data-vertical-align=\"-0.618\" style=\"width: 5.674ex; height: 2.554ex; vertical-align: -0.618ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\begin{aligned}L(y_i,z_i^{t-1}+O_{value}^t)&amp;\\approx L(y_i,z_i^{t-1})\\\\&amp;\\quad+\\underbrace{\\left[\\frac{d}{dz_i}L(y_i,z_i)\\right]}_{g_i}O_{value}^t\\\\&amp;\\quad+\\frac12\\underbrace{\\left[\\frac{d^2}{dz_i^2}L(y_i,z_i)\\right]}_{h_i}(O_{value}^t)^2\\end{aligned}\" alt=\"\\begin{aligned}L(y_i,z_i^{t-1}+O_{value}^t)&amp;\\approx L(y_i,z_i^{t-1})\\\\&amp;\\quad+\\underbrace{\\left[\\frac{d}{dz_i}L(y_i,z_i)\\right]}_{g_i}O_{value}^t\\\\&amp;\\quad+\\frac12\\underbrace{\\left[\\frac{d^2}{dz_i^2}L(y_i,z_i)\\right]}_{h_i}(O_{value}^t)^2\\end{aligned}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/968\/968c89c8acf2f036ff87f16d6dd10f62.svg\" width=\"383\" height=\"183\" data-width=\"47.824\" data-height=\"22.933\" data-vertical-align=\"-10.901\" style=\"width: 47.824ex; height: 22.933ex; vertical-align: -10.901ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/968\/968c89c8acf2f036ff87f16d6dd10f62.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/968\/968c89c8acf2f036ff87f16d6dd10f62.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u0441\u0443\u043c\u043c\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"{LL}_{t}\" alt=\"{LL}_{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg\" width=\"31\" height=\"15\" data-width=\"3.847\" data-height=\"1.902\" data-vertical-align=\"-0.357\" style=\"width: 3.847ex; height: 1.902ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0432\u0441\u0435\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg\" width=\"12\" height=\"12\" data-width=\"1.357\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.357ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043b\u0438\u0441\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\begin{aligned}LL_t&amp;=L(y_1,z_1^{t-1}+O_{value}^t)\\\\&amp;\\quad+L(y_2,z_2^{t-1}+O_{value}^t)+\\ldots\\\\&amp;\\quad+L(y_n,z_n^{t-1}+O_{value}^t)+\\frac12\\lambda(O_{value}^t)^2\\end{aligned}\" alt=\"\\begin{aligned}LL_t&amp;=L(y_1,z_1^{t-1}+O_{value}^t)\\\\&amp;\\quad+L(y_2,z_2^{t-1}+O_{value}^t)+\\ldots\\\\&amp;\\quad+L(y_n,z_n^{t-1}+O_{value}^t)+\\frac12\\lambda(O_{value}^t)^2\\end{aligned}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/316\/316d0aab0e5ff4d47eda5c4f2297fbb7.svg\" width=\"331\" height=\"90\" data-width=\"41.366\" data-height=\"11.284\" data-vertical-align=\"-5.077\" style=\"width: 41.366ex; height: 11.284ex; vertical-align: -5.077ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/316\/316d0aab0e5ff4d47eda5c4f2297fbb7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/316\/316d0aab0e5ff4d47eda5c4f2297fbb7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u043d\u0435\u0451 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0422\u0435\u0439\u043b\u043e\u0440\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\begin{aligned}LL_t&amp;=L(y_1,z_1^{t-1})+g_1O_{value}^t+\\frac12h_1(O_{value}^t)^2\\\\&amp;\\quad+L(y_2,z_2^{t-1})+g_2O_{value}^t+\\frac12h_2(O_{value}^t)^2\\\\&amp;\\quad+\\ldots+L(y_n,z_n^{t-1})+g_nO_{value}^t\\\\&amp;\\quad+\\frac12h_n(O_{value}^t)^2+\\frac12\\lambda(O_{value}^t)^2\\end{aligned}\" alt=\"\\begin{aligned}LL_t&amp;=L(y_1,z_1^{t-1})+g_1O_{value}^t+\\frac12h_1(O_{value}^t)^2\\\\&amp;\\quad+L(y_2,z_2^{t-1})+g_2O_{value}^t+\\frac12h_2(O_{value}^t)^2\\\\&amp;\\quad+\\ldots+L(y_n,z_n^{t-1})+g_nO_{value}^t\\\\&amp;\\quad+\\frac12h_n(O_{value}^t)^2+\\frac12\\lambda(O_{value}^t)^2\\end{aligned}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61b\/61b9de067d117ed5cca7c93cae6ae0c9.svg\" width=\"354\" height=\"147\" data-width=\"44.245\" data-height=\"18.419\" data-vertical-align=\"-8.644\" style=\"width: 44.245ex; height: 18.419ex; vertical-align: -8.644ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61b\/61b9de067d117ed5cca7c93cae6ae0c9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61b\/61b9de067d117ed5cca7c93cae6ae0c9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{t}\" alt=\"O_{value}^{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg\" width=\"45\" height=\"20\" data-width=\"5.674\" data-height=\"2.554\" data-vertical-align=\"-0.618\" style=\"width: 5.674ex; height: 2.554ex; vertical-align: -0.618ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132adb5c4e58adc9db456ace59e08dc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0431\u0435\u0440\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e <img decoding=\"async\" class=\"formula inline\" source=\"LL\" alt=\"LL\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/678\/67824ecf84f5816f07b74fa956bdbcd2.svg\" width=\"25\" height=\"12\" data-width=\"3.081\" data-height=\"1.545\" style=\"width: 3.081ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/678\/67824ecf84f5816f07b74fa956bdbcd2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/678\/67824ecf84f5816f07b74fa956bdbcd2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}\" alt=\"O_{value}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg\" width=\"45\" height=\"16\" data-width=\"5.674\" data-height=\"1.95\" data-vertical-align=\"-0.357\" style=\"width: 5.674ex; height: 1.95ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043d\u0435 \u0431\u0443\u0434\u0443 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u0438\u0441\u0430\u0442\u044c t) \u0438 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0435\u0451 \u043a \u043d\u0443\u043b\u044e, <img decoding=\"async\" class=\"formula inline\" source=\"\\underset{0}{\\underbrace{\\text{\u0437\u0430\u043d\u0443\u043b\u044f\u044f}}}\" alt=\"\\underset{0}{\\underbrace{\\text{\u0437\u0430\u043d\u0443\u043b\u044f\u044f}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c1\/c13\/c1352d9fb524409a98d9f58e0a5c4811.svg\" width=\"76\" height=\"42\" data-width=\"9.502\" data-height=\"5.257\" data-vertical-align=\"-2.063\" style=\"width: 9.502ex; height: 5.257ex; vertical-align: -2.063ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c1\/c13\/c1352d9fb524409a98d9f58e0a5c4811.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c1\/c13\/c1352d9fb524409a98d9f58e0a5c4811.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\begin{aligned}\\frac{dLL_t}{dO_{value}}&amp;=\\underbrace{\\frac{d\\left[\\sum_{i=1}^{n}L(y_i,z_i^{t-1})\\right]}{dO_{value}}}_{0}\\\\&amp;\\quad+\\frac{d}{dO_{value}}\\left[\\begin{aligned}&amp;g_1O_{value}+\\frac12h_1O_{value}^2\\\\&amp;+g_2O_{value}+\\frac12h_2O_{value}^2+\\ldots\\\\&amp;+g_nO_{value}+\\frac12h_nO_{value}^2+\\frac12\\lambda O_{value}^2\\end{aligned}\\right]=0\\end{aligned}\" alt=\"\\begin{aligned}\\frac{dLL_t}{dO_{value}}&amp;=\\underbrace{\\frac{d\\left[\\sum_{i=1}^{n}L(y_i,z_i^{t-1})\\right]}{dO_{value}}}_{0}\\\\&amp;\\quad+\\frac{d}{dO_{value}}\\left[\\begin{aligned}&amp;g_1O_{value}+\\frac12h_1O_{value}^2\\\\&amp;+g_2O_{value}+\\frac12h_2O_{value}^2+\\ldots\\\\&amp;+g_nO_{value}+\\frac12h_nO_{value}^2+\\frac12\\lambda O_{value}^2\\end{aligned}\\right]=0\\end{aligned}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb7\/bb7bfe002d20f6cd9907ef45b45db074.svg\" width=\"500\" height=\"197\" data-width=\"62.448\" data-height=\"24.645\" data-vertical-align=\"-11.757\" style=\"width: 62.448ex; height: 24.645ex; vertical-align: -11.757ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb7\/bb7bfe002d20f6cd9907ef45b45db074.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb7\/bb7bfe002d20f6cd9907ef45b45db074.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}\" alt=\"O_{value}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg\" width=\"45\" height=\"16\" data-width=\"5.674\" data-height=\"1.95\" data-vertical-align=\"-0.357\" style=\"width: 5.674ex; height: 1.95ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{2}\" alt=\"O_{value}^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c0\/4c03d120e77705a03213302c1fe62a35.svg\" width=\"45\" height=\"21\" data-width=\"5.674\" data-height=\"2.601\" data-vertical-align=\"-0.601\" style=\"width: 5.674ex; height: 2.601ex; vertical-align: -0.601ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c0\/4c03d120e77705a03213302c1fe62a35.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c0\/4c03d120e77705a03213302c1fe62a35.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{{dLL}_{t}}{{dO}_{value}} = \\frac{d\\left\\lbrack O_{value}(g_{1} + g_{2} + \\ldots + g_{n}) + \\frac{1}{2}O_{value}^{2}(h_{1} + h_{2} + \\ldots + h_{n} + \\lambda) \\right\\rbrack}{{dO}_{value}} = 0\" alt=\"\\frac{{dLL}_{t}}{{dO}_{value}} = \\frac{d\\left\\lbrack O_{value}(g_{1} + g_{2} + \\ldots + g_{n}) + \\frac{1}{2}O_{value}^{2}(h_{1} + h_{2} + \\ldots + h_{n} + \\lambda) \\right\\rbrack}{{dO}_{value}} = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/21\/21a\/21a7fdae9ef2458c3315c5d1d429e634.svg\" width=\"626\" height=\"46\" data-width=\"78.251\" data-height=\"5.697\" data-vertical-align=\"-2.283\" style=\"width: 78.251ex; height: 5.697ex; vertical-align: -2.283ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/21\/21a\/21a7fdae9ef2458c3315c5d1d429e634.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/21\/21a\/21a7fdae9ef2458c3315c5d1d429e634.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0441\u0430\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"(g_{1} + g_{2} + \\ldots + g_{n}) + O_{value}(h_{1} + h_{2} + \\ldots + h_{n} + \\lambda) = 0\" alt=\"(g_{1} + g_{2} + \\ldots + g_{n}) + O_{value}(h_{1} + h_{2} + \\ldots + h_{n} + \\lambda) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0fc\/0fcccfef84955c4a34808a3b2607f8e6.svg\" width=\"444\" height=\"18\" data-width=\"55.483\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 55.483ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0fc\/0fcccfef84955c4a34808a3b2607f8e6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0fc\/0fcccfef84955c4a34808a3b2607f8e6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u044b\u0440\u0430\u0436\u0430\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}\" alt=\"O_{value}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg\" width=\"45\" height=\"16\" data-width=\"5.674\" data-height=\"1.95\" data-vertical-align=\"-0.357\" style=\"width: 5.674ex; height: 1.95ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"O_{value}^{*}=\\frac{-(g_1+g_2+\\dots+g_n)}{h_1+h_2+\\dots+h_n+\\lambda}\\quad \\left\\{\\begin{array}{l}g_{i} = (p_{i} - y_{i}) \\\\h_{i} = p_{i}(1 - p_{i})\\end{array} \\right.\\ \" alt=\"O_{value}^{*}=\\frac{-(g_1+g_2+\\dots+g_n)}{h_1+h_2+\\dots+h_n+\\lambda}\\quad \\left\\{\\begin{array}{l}g_{i} = (p_{i} - y_{i}) \\\\h_{i} = p_{i}(1 - p_{i})\\end{array} \\right.\\ \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e68\/e68620613c1f453998cff3ccdcdd8b22.svg\" width=\"406\" height=\"44\" data-width=\"50.749\" data-height=\"5.452\" data-vertical-align=\"-2.161\" style=\"width: 50.749ex; height: 5.452ex; vertical-align: -2.161ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e68\/e68620613c1f453998cff3ccdcdd8b22.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e68\/e68620613c1f453998cff3ccdcdd8b22.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"-g_{i} = y_{i} - p_{i}\" alt=\"-g_{i} = y_{i} - p_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/42\/423\/423fcd30ab93cde411f343d9e9ba9e2e.svg\" width=\"105\" height=\"14\" data-width=\"13.088\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 13.088ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/42\/423\/423fcd30ab93cde411f343d9e9ba9e2e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/42\/423\/423fcd30ab93cde411f343d9e9ba9e2e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: \u043c\u0438\u043d\u0443\u0441 \u043f\u0435\u0440\u0435\u0434 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435\u043c \u0434\u0440\u043e\u0431\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u043d\u0435\u0441\u0442\u0438 \u043f\u043e\u0434 \u0437\u043d\u0430\u043a \u0441\u0443\u043c\u043c\u044b.<\/p>\n<blockquote>\n<p><strong>\u041e \u0437\u043d\u0430\u043a\u0430\u0445 \u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445.<\/strong> \u0412 \u0432\u044b\u0432\u043e\u0434\u0435 \u0447\u0435\u0440\u0435\u0437 \u0440\u044f\u0434 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0438 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043e\u0442\u0432\u0435\u0442\u0430 \u043b\u0438\u0441\u0442\u0430 \u0438 Gain \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"g_i = p_i - y_i\" alt=\"g_i = p_i - y_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d4\/d4b\/d4badf4b50ef7ceee15f9a4d07d58420.svg\" width=\"91\" height=\"14\" data-width=\"11.328\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 11.328ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d4\/d4b\/d4badf4b50ef7ceee15f9a4d07d58420.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d4\/d4b\/d4badf4b50ef7ceee15f9a4d07d58420.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c; \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u0437\u0430\u0434\u0430\u0451\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"-g_i = y_i - p_i\" alt=\"-g_i = y_i - p_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/747\/747d8075c7b3dde10ece877aff5ecdd3.svg\" width=\"105\" height=\"14\" data-width=\"13.088\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 13.088ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/747\/747d8075c7b3dde10ece877aff5ecdd3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/747\/747d8075c7b3dde10ece877aff5ecdd3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041d\u0438\u0436\u0435, \u0432 \u0437\u0430\u043f\u0438\u0441\u0438 L2-\u0441\u043a\u043e\u0440\u0430 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0441\u043a\u043e\u0440\u0430, \u0431\u0443\u043a\u0432\u043e\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"g_i\" alt=\"g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg\" width=\"15\" height=\"12\" data-width=\"1.819\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.819ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u042d\u0442\u043e \u0441\u043c\u0435\u043d\u0430 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445: \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u0432 \u044d\u0442\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d.<\/p>\n<\/blockquote>\n<p>\u0415\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043b\u0438\u0441\u0442\u0430 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 (Residuals) \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"O_{value}^{*}=\\frac{\\sum_i \\mathrm{Residual}_i}{\\sum_i[\\mathrm{PreviousProbability}_i(1-\\mathrm{PreviousProbability}_i)]+\\lambda}\" alt=\"O_{value}^{*}=\\frac{\\sum_i \\mathrm{Residual}_i}{\\sum_i[\\mathrm{PreviousProbability}_i(1-\\mathrm{PreviousProbability}_i)]+\\lambda}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f17\/f1771445dc2b377f5abb46bb7401dbc1.svg\" width=\"518\" height=\"45\" data-width=\"64.701\" data-height=\"5.67\" data-vertical-align=\"-2.27\" style=\"width: 64.701ex; height: 5.67ex; vertical-align: -2.27ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f17\/f1771445dc2b377f5abb46bb7401dbc1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f17\/f1771445dc2b377f5abb46bb7401dbc1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u0442\u0430\u043a, \u043c\u044b \u0432\u044b\u0432\u0435\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{*}\" alt=\"O_{value}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg\" width=\"45\" height=\"18\" data-width=\"5.674\" data-height=\"2.255\" data-vertical-align=\"-0.576\" style=\"width: 5.674ex; height: 2.255ex; vertical-align: -0.576ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432 \u043b\u0438\u0441\u0442 \u0434\u0435\u0440\u0435\u0432\u0430, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u0434\u043b\u044f \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0442\u0443\u0434\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u041d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u043f\u043e \u043a\u0430\u043a\u043e\u043c\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u044d\u0442\u0438 \u043b\u0438\u0441\u0442\u044c\u044f? (\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u201c\u0412\u043e\u0437\u0440\u0430\u0441\u0442 &gt; 30\u201d \u0438\u043b\u0438 \u201c\u0414\u043e\u0445\u043e\u0434 &lt; 50k\u201d?). \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043d\u0443\u0436\u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u00ab\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c\u00bb \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u0435\u0437\u0430. \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Score (\u0438\u043b\u0438 Gain \/ \u0412\u044b\u0438\u0433\u0440\u044b\u0448). \u041b\u043e\u0433\u0438\u043a\u0430 \u0435\u0451 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u043c\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{*}\" alt=\"O_{value}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg\" width=\"45\" height=\"18\" data-width=\"5.674\" data-height=\"2.255\" data-vertical-align=\"-0.576\" style=\"width: 5.674ex; height: 2.255ex; vertical-align: -0.576ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0422\u0435\u0439\u043b\u043e\u0440\u0430. \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0443\u0437\u043d\u0430\u0442\u044c: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f \u043d\u0430\u0448\u0430 \u043e\u0431\u0449\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430, \u0435\u0441\u043b\u0438 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u044d\u0442\u043e\u0442 \u043b\u0438\u0441\u0442? \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <img decoding=\"async\" class=\"formula inline\" source=\"{LL}_{t}\" alt=\"{LL}_{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg\" width=\"31\" height=\"15\" data-width=\"3.847\" data-height=\"1.902\" data-vertical-align=\"-0.357\" style=\"width: 3.847ex; height: 1.902ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4cb\/4cb12311c514ab1b1fbf22a7efdada1b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043f\u043e \u0422\u0435\u0439\u043b\u043e\u0440\u0443) \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u0432 \u043d\u0435\u0439 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435.<\/p>\n<p>\u0421\u0443\u043c\u043c\u0430 \u0441\u0442\u0430\u0440\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\sum L(y_{i},z_{i}^{t - 1})\" alt=\"\\sum L(y_{i},z_{i}^{t - 1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e45\/e455aadae729513aa61b8f45f3c2ebd2.svg\" width=\"109\" height=\"25\" data-width=\"13.661\" data-height=\"3.167\" data-vertical-align=\"-1.018\" style=\"width: 13.661ex; height: 3.167ex; vertical-align: -1.018ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e45\/e455aadae729513aa61b8f45f3c2ebd2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e45\/e455aadae729513aa61b8f45f3c2ebd2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0448\u0430\u0433\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439 (\u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043c\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0443\u0436\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u043c). \u0410 \u0432\u043e\u0442 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}\" alt=\"O_{value}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg\" width=\"45\" height=\"16\" data-width=\"5.674\" data-height=\"1.95\" data-vertical-align=\"-0.357\" style=\"width: 5.674ex; height: 1.95ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{2}\" alt=\"O_{value}^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c0\/4c03d120e77705a03213302c1fe62a35.svg\" width=\"45\" height=\"21\" data-width=\"5.674\" data-height=\"2.601\" data-vertical-align=\"-0.601\" style=\"width: 5.674ex; height: 2.601ex; vertical-align: -0.601ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c0\/4c03d120e77705a03213302c1fe62a35.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c0\/4c03d120e77705a03213302c1fe62a35.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0436\u043d\u043e \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u044b\u043d\u0435\u0441\u044f \u044d\u0442\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0438 \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{LL}_{t} = \\underset{\\text{\u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432}}{\\underbrace{\\sum_{i = 1}^{n}L(y_{i},z_{i}^{t - 1})}} + \\underset{\\text{\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043d\u043e\u0432\u043e\u043c\u0443 \u043b\u0438\u0441\u0442\u0443}}{\\underbrace{\\left( \\sum_{i=1}^{n} g_i \\right)O_{value} + \\frac{1}{2}\\left( \\sum_{i=1}^{n} h_i + \\lambda \\right)O_{value}^{2}}}\\,\" alt=\"{LL}_{t} = \\underset{\\text{\u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432}}{\\underbrace{\\sum_{i = 1}^{n}L(y_{i},z_{i}^{t - 1})}} + \\underset{\\text{\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043d\u043e\u0432\u043e\u043c\u0443 \u043b\u0438\u0441\u0442\u0443}}{\\underbrace{\\left( \\sum_{i=1}^{n} g_i \\right)O_{value} + \\frac{1}{2}\\left( \\sum_{i=1}^{n} h_i + \\lambda \\right)O_{value}^{2}}}\\,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f91\/f917f69406f39a5c7770092c9679b6ce.svg\" width=\"580\" height=\"82\" data-width=\"72.486\" data-height=\"10.312\" data-vertical-align=\"-4.59\" style=\"width: 72.486ex; height: 10.312ex; vertical-align: -4.59ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f91\/f917f69406f39a5c7770092c9679b6ce.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f91\/f917f69406f39a5c7770092c9679b6ce.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043f\u043b\u0438\u0442\u0430, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043d\u0435 \u043d\u0443\u0436\u043d\u0430 \u043f\u043e\u043b\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430, \u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u0435\u0451 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u041e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0443 \u0447\u0430\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u044d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta LL\" alt=\"\\Delta LL\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db7\/db72ebf709827c53016db5cef4e0639e.svg\" width=\"40\" height=\"18\" data-width=\"4.966\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.966ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db7\/db72ebf709827c53016db5cef4e0639e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db7\/db72ebf709827c53016db5cef4e0639e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\Delta LL = \\left( \\sum_i g_i \\right)O_{value} + \\frac{1}{2}\\left( \\sum_i h_i + \\lambda \\right)O_{value}^{2}\" alt=\"\\Delta LL = \\left( \\sum_i g_i \\right)O_{value} + \\frac{1}{2}\\left( \\sum_i h_i + \\lambda \\right)O_{value}^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7d\/7dc\/7dcda5602760dc6be1756babfd5c9ee1.svg\" width=\"373\" height=\"54\" data-width=\"46.625\" data-height=\"6.785\" data-vertical-align=\"-2.827\" style=\"width: 46.625ex; height: 6.785ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7d\/7dc\/7dcda5602760dc6be1756babfd5c9ee1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7d\/7dc\/7dcda5602760dc6be1756babfd5c9ee1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0443\u0437\u043d\u0430\u0442\u044c: \u043a\u0430\u043a\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0442 \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f (\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443), \u0435\u0441\u043b\u0438 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043c \u0432 \u043b\u0438\u0441\u0442 \u043d\u0430\u0448 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{*}\" alt=\"O_{value}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg\" width=\"45\" height=\"18\" data-width=\"5.674\" data-height=\"2.255\" data-vertical-align=\"-0.576\" style=\"width: 5.674ex; height: 2.255ex; vertical-align: -0.576ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 781w\" loading=\"lazy\" decode=\"async\"\/>? \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}^{*}\" alt=\"O_{value}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg\" width=\"45\" height=\"18\" data-width=\"5.674\" data-height=\"2.255\" data-vertical-align=\"-0.576\" style=\"width: 5.674ex; height: 2.255ex; vertical-align: -0.576ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/31\/31c\/31c7ec10d1e78d5f67019ff058bc4e55.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta LL\" alt=\"\\Delta LL\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db7\/db72ebf709827c53016db5cef4e0639e.svg\" width=\"40\" height=\"18\" data-width=\"4.966\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.966ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db7\/db72ebf709827c53016db5cef4e0639e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db7\/db72ebf709827c53016db5cef4e0639e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435) \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u043b\u044f \u043b\u0438\u0441\u0442\u0430 \u0432 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u043f\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0443 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_{\\text{leaf}}^{*}\" alt=\"\\mathcal{L}_{\\text{leaf}}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57d\/57dba2ec05a88822a76413a3576df90e.svg\" width=\"34\" height=\"18\" data-width=\"4.193\" data-height=\"2.273\" data-vertical-align=\"-0.571\" style=\"width: 4.193ex; height: 2.273ex; vertical-align: -0.571ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57d\/57dba2ec05a88822a76413a3576df90e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57d\/57dba2ec05a88822a76413a3576df90e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0433\u0434\u0435 \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043e \u0432 \u0442\u043e\u0447\u043a\u0435 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430). \u0414\u043b\u044f \u043a\u0440\u0430\u0442\u043a\u043e\u0441\u0442\u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0441\u0443\u043c\u043c\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"S_{g} = \\sum_i g_i\" alt=\"S_{g} = \\sum_i g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/82e\/82e1933cc8638c9f73a5c2b88b01f6d7.svg\" width=\"87\" height=\"39\" data-width=\"10.818\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 10.818ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/82e\/82e1933cc8638c9f73a5c2b88b01f6d7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/82e\/82e1933cc8638c9f73a5c2b88b01f6d7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"S_{h} = \\sum_i h_i\" alt=\"S_{h} = \\sum_i h_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/562\/562d4193bbdb9cafd0b608088beea96e.svg\" width=\"90\" height=\"39\" data-width=\"11.2\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 11.2ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/562\/562d4193bbdb9cafd0b608088beea96e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/562\/562d4193bbdb9cafd0b608088beea96e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}_{\\text{leaf}}^{*} = S_{g}\\left( - \\frac{S_{g}}{S_{h} + \\lambda} \\right) + \\frac{1}{2}(S_{h} + \\lambda)\\left( - \\frac{S_{g}}{S_{h} + \\lambda} \\right)^{2}\" alt=\"\\mathcal{L}_{\\text{leaf}}^{*} = S_{g}\\left( - \\frac{S_{g}}{S_{h} + \\lambda} \\right) + \\frac{1}{2}(S_{h} + \\lambda)\\left( - \\frac{S_{g}}{S_{h} + \\lambda} \\right)^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/162\/162f437a4eaf1c8c5d33ffd2d07a3259.svg\" width=\"396\" height=\"47\" data-width=\"49.48\" data-height=\"5.899\" data-vertical-align=\"-2.384\" style=\"width: 49.48ex; height: 5.899ex; vertical-align: -2.384ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/162\/162f437a4eaf1c8c5d33ffd2d07a3259.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/162\/162f437a4eaf1c8c5d33ffd2d07a3259.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0441\u043a\u043e\u0431\u043a\u0438 \u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435. \u0412\u043e\u0437\u0432\u0435\u0434\u0435\u043c \u0442\u0440\u0435\u0442\u0438\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442 (\u043c\u0438\u043d\u0443\u0441 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0439\u0434\u0435\u0442):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}_{\\text{leaf}}^{*} = - \\frac{S_{g}^{2}}{S_{h} + \\lambda} + \\frac{1}{2}(S_{h} + \\lambda)\\frac{S_{g}^{2}}{(S_{h} + \\lambda)^{2}}\" alt=\"\\mathcal{L}_{\\text{leaf}}^{*} = - \\frac{S_{g}^{2}}{S_{h} + \\lambda} + \\frac{1}{2}(S_{h} + \\lambda)\\frac{S_{g}^{2}}{(S_{h} + \\lambda)^{2}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bca\/bca647481b5f66ff2fc9594acaae6d73.svg\" width=\"321\" height=\"48\" data-width=\"40.105\" data-height=\"6.009\" data-vertical-align=\"-2.439\" style=\"width: 40.105ex; height: 6.009ex; vertical-align: -2.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bca\/bca647481b5f66ff2fc9594acaae6d73.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bca\/bca647481b5f66ff2fc9594acaae6d73.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u043e\u043a\u0440\u0430\u0442\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"(S_{h} + \\lambda)\" alt=\"(S_{h} + \\lambda)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/33\/337\/337f6f18d0861ef989214b01248e3256.svg\" width=\"67\" height=\"18\" data-width=\"8.341\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 8.341ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/33\/337\/337f6f18d0861ef989214b01248e3256.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/33\/337\/337f6f18d0861ef989214b01248e3256.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}_{\\text{leaf}}^{*} = - \\frac{S_{g}^{2}}{S_{h} + \\lambda} + \\frac{1}{2}\\frac{S_{g}^{2}}{S_{h} + \\lambda}\" alt=\"\\mathcal{L}_{\\text{leaf}}^{*} = - \\frac{S_{g}^{2}}{S_{h} + \\lambda} + \\frac{1}{2}\\frac{S_{g}^{2}}{S_{h} + \\lambda}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6e\/6ed\/6edad6fdfd4160d2c7e98ddaf5f6608c.svg\" width=\"232\" height=\"46\" data-width=\"29.016\" data-height=\"5.723\" data-vertical-align=\"-2.296\" style=\"width: 29.016ex; height: 5.723ex; vertical-align: -2.296ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6e\/6ed\/6edad6fdfd4160d2c7e98ddaf5f6608c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6e\/6ed\/6edad6fdfd4160d2c7e98ddaf5f6608c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u0430 \u00ab<img decoding=\"async\" class=\"formula inline\" source=\"- 1 + 0.5\" alt=\"- 1 + 0.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/65d\/65d5e2120ab866948ee86d155ee7ef79.svg\" width=\"68\" height=\"14\" data-width=\"8.549\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 8.549ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/65d\/65d5e2120ab866948ee86d155ee7ef79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/65d\/65d5e2120ab866948ee86d155ee7ef79.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00bb. \u041f\u0440\u0438\u0432\u043e\u0434\u0438\u043c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f \u043b\u0438\u0441\u0442\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}_{\\text{leaf}}^{*} = - \\frac{1}{2}\\frac{S_{g}^{2}}{S_{h} + \\lambda}\" alt=\"\\mathcal{L}_{\\text{leaf}}^{*} = - \\frac{1}{2}\\frac{S_{g}^{2}}{S_{h} + \\lambda}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91f\/91f5e105031244841304def23f91da38.svg\" width=\"149\" height=\"46\" data-width=\"18.674\" data-height=\"5.723\" data-vertical-align=\"-2.296\" style=\"width: 18.674ex; height: 5.723ex; vertical-align: -2.296ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91f\/91f5e105031244841304def23f91da38.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91f\/91f5e105031244841304def23f91da38.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438 <\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"S_h+\\lambda&gt;0\" alt=\"S_h+\\lambda&gt;0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d8\/5d8b49d327b9ea1ab97fb1da71b02e5b.svg\" width=\"86\" height=\"18\" data-width=\"10.729\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 10.729ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d8\/5d8b49d327b9ea1ab97fb1da71b02e5b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d8\/5d8b49d327b9ea1ab97fb1da71b02e5b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e; \u0435\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"S_g=0\" alt=\"S_g=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a8\/6a87b3b54e51bd49be24b0c744daaf26.svg\" width=\"52\" height=\"18\" data-width=\"6.486\" data-height=\"2.262\" data-vertical-align=\"-0.667\" style=\"width: 6.486ex; height: 2.262ex; vertical-align: -0.667ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a8\/6a87b3b54e51bd49be24b0c744daaf26.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a8\/6a87b3b54e51bd49be24b0c744daaf26.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043e\u043d\u043e \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e. \u041e\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438, \u0430 \u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e Logloss. <\/p>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0434\u0435\u0440\u0435\u0432\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0441\u043f\u043b\u0438\u0442\u043e\u0432 (\u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439) \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448. \u0422\u0430\u043a \u043a\u0430\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u0437\u043d\u0430\u043a \u043c\u0438\u043d\u0443\u0441 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442 (\u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u0438 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{1}{2}\" alt=\"\\frac{1}{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg\" width=\"17\" height=\"37\" data-width=\"2.127\" data-height=\"4.588\" data-vertical-align=\"-1.729\" style=\"width: 2.127ex; height: 4.588ex; vertical-align: -1.729ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043f\u043b\u0438\u0442\u043e\u0432 \u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0438\u0445 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435). \u0422\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u0438 \u043b\u0438\u0441\u0442\u0430, \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{Score}_{\\mathrm{leaf}}=\\frac{(\\sum_i g_i)^2}{\\sum_i h_i+\\lambda}\" alt=\"\\mathrm{Score}_{\\mathrm{leaf}}=\\frac{(\\sum_i g_i)^2}{\\sum_i h_i+\\lambda}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/59f\/59fbfe65413bd8a7bdb0044e659fd218.svg\" width=\"173\" height=\"47\" data-width=\"21.669\" data-height=\"5.86\" data-vertical-align=\"-2.364\" style=\"width: 21.669ex; height: 5.86ex; vertical-align: -2.364ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/59f\/59fbfe65413bd8a7bdb0044e659fd218.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/59f\/59fbfe65413bd8a7bdb0044e659fd218.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 (XGBoost, LightGBM), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0443\u0437\u0435\u043b \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e, CatBoost \u0441\u0442\u0440\u043e\u0438\u0442 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 (oblivious) \u0434\u0435\u0440\u0435\u0432\u044c\u044f. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043e\u0434\u0438\u043d \u043f\u043e\u0440\u043e\u0433 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e \u2014 \u0441\u0440\u0430\u0437\u0443 \u043a\u043e \u0432\u0441\u0435\u043c\u0443 \u0443\u0440\u043e\u0432\u043d\u044e \u0434\u0435\u0440\u0435\u0432\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 (Gain) \u043d\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u043f\u0430\u0440\u044b \u00ab\u043b\u0435\u0432\u044b\u0439-\u043f\u0440\u0430\u0432\u044b\u0439 \u043b\u0438\u0441\u0442\u00bb, \u0430 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg\" width=\"16\" height=\"12\" data-width=\"2.011\" data-height=\"1.545\" style=\"width: 2.011ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043b\u0438\u0441\u0442\u044c\u0435\u0432. \u0422\u043e\u0433\u0434\u0430 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{Gain}_{level} = \\sum_{j = 1}^{K}{}\\left( \\frac{(\\sum_{i \\in \\text{leaf}_j} g_i)^{2}}{\\sum_{i \\in \\text{leaf}_j} h_i + \\lambda} \\right)\" alt=\"{Gain}_{level} = \\sum_{j = 1}^{K}{}\\left( \\frac{(\\sum_{i \\in \\text{leaf}_j} g_i)^{2}}{\\sum_{i \\in \\text{leaf}_j} h_i + \\lambda} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c9\/0c93cc39c4a2aa6bae073c270b4f2dff.svg\" width=\"271\" height=\"56\" data-width=\"33.883\" data-height=\"7.058\" data-vertical-align=\"-2.963\" style=\"width: 33.883ex; height: 7.058ex; vertical-align: -2.963ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c9\/0c93cc39c4a2aa6bae073c270b4f2dff.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c9\/0c93cc39c4a2aa6bae073c270b4f2dff.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>(\u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{1}{2}\" alt=\"\\frac{1}{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg\" width=\"17\" height=\"37\" data-width=\"2.127\" data-height=\"4.588\" data-vertical-align=\"-1.729\" style=\"width: 2.127ex; height: 4.588ex; vertical-align: -1.729ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439 \u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c).<\/p>\n<p>\u0414\u0435\u0440\u0435\u0432\u043e \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u043e\u0442\u043d\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043f\u043e\u0440\u043e\u0433\u043e\u0432, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u043e\u0442 \u0441\u043f\u043b\u0438\u0442, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"{Gain}_{level}\" alt=\"{Gain}_{level}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a5\/8a58da0f8529d13a30a638891eb683b4.svg\" width=\"68\" height=\"16\" data-width=\"8.521\" data-height=\"1.952\" data-vertical-align=\"-0.357\" style=\"width: 8.521ex; height: 1.952ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a5\/8a58da0f8529d13a30a638891eb683b4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a5\/8a58da0f8529d13a30a638891eb683b4.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u0435\u043d. \u041d\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u044d\u0442\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043f\u043e\u0434 \u0434\u0440\u0443\u0433\u0438\u043c \u0443\u0433\u043b\u043e\u043c. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0435 \u043d\u0430\u043c\u0438 \u0440\u0430\u043d\u0435\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0435\u0433\u043e \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg\" width=\"12\" height=\"16\" data-width=\"0.932\" data-height=\"1.957\" data-vertical-align=\"-0.462\" style=\"width: 0.932ex; height: 1.957ex; vertical-align: -0.462ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 781w\" loading=\"lazy\" decode=\"async\"\/>-\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"O_{\\mathrm{value},j}^{*}\\,\" alt=\"O_{\\mathrm{value},j}^{*}\\,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d5\/0d5895a3114759e776ae046fb1897640.svg\" width=\"57\" height=\"21\" data-width=\"7.085\" data-height=\"2.582\" data-vertical-align=\"-0.725\" style=\"width: 7.085ex; height: 2.582ex; vertical-align: -0.725ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d5\/0d5895a3114759e776ae046fb1897640.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d5\/0d5895a3114759e776ae046fb1897640.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"O_{\\mathrm{value},j}^{*}\\, = \\frac{\\sum_{i \\in \\text{leaf}_{j}} - g_{i}}{\\sum_{i \\in \\text{leaf}_j} h_i + \\lambda}\" alt=\"O_{\\mathrm{value},j}^{*}\\, = \\frac{\\sum_{i \\in \\text{leaf}_{j}} - g_{i}}{\\sum_{i \\in \\text{leaf}_j} h_i + \\lambda}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/529\/52903fd8ecfa8236f9eaa57a86359bed.svg\" width=\"199\" height=\"53\" data-width=\"24.841\" data-height=\"6.577\" data-vertical-align=\"-2.723\" style=\"width: 24.841ex; height: 6.577ex; vertical-align: -2.723ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/529\/52903fd8ecfa8236f9eaa57a86359bed.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/529\/52903fd8ecfa8236f9eaa57a86359bed.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b\u043d\u0435\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"O_{\\mathrm{value},j}\" alt=\"O_{\\mathrm{value},j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4e7\/4e756e4a554e948e36e21b0a86da98ea.svg\" width=\"54\" height=\"19\" data-width=\"6.707\" data-height=\"2.363\" data-vertical-align=\"-0.616\" style=\"width: 6.707ex; height: 2.363ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4e7\/4e756e4a554e948e36e21b0a86da98ea.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4e7\/4e756e4a554e948e36e21b0a86da98ea.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"{Gain}_{level}\" alt=\"{Gain}_{level}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a5\/8a58da0f8529d13a30a638891eb683b4.svg\" width=\"68\" height=\"16\" data-width=\"8.521\" data-height=\"1.952\" data-vertical-align=\"-0.357\" style=\"width: 8.521ex; height: 1.952ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a5\/8a58da0f8529d13a30a638891eb683b4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a5\/8a58da0f8529d13a30a638891eb683b4.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0443\u0436\u0435 \u0431\u0435\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{1}{2}\" alt=\"\\frac{1}{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg\" width=\"17\" height=\"37\" data-width=\"2.127\" data-height=\"4.588\" data-vertical-align=\"-1.729\" style=\"width: 2.127ex; height: 4.588ex; vertical-align: -1.729ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>), \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{Gain}_{level} = \\sum_{j = 1}^{K}{}\\left( O_{\\mathrm{value},j}^{*}\\, \\cdot \\sum_{i \\in \\text{leaf}_{j}} - g_{i} \\right)\" alt=\"{Gain}_{level} = \\sum_{j = 1}^{K}{}\\left( O_{\\mathrm{value},j}^{*}\\, \\cdot \\sum_{i \\in \\text{leaf}_{j}} - g_{i} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/80c\/80cd6f1d84a8605c73614f76faf84d47.svg\" width=\"295\" height=\"61\" data-width=\"36.857\" data-height=\"7.573\" data-vertical-align=\"-3.221\" style=\"width: 36.857ex; height: 7.573ex; vertical-align: -3.221ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/80c\/80cd6f1d84a8605c73614f76faf84d47.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/80c\/80cd6f1d84a8605c73614f76faf84d47.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u044d\u0442\u0443 \u0441\u0443\u043c\u043c\u0443 \u0434\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0447\u0442\u043e \u0438\u043d\u043e\u0435, \u043a\u0430\u043a \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{G}\" alt=\"\\mathbf{G}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/527\/527acb137a08b95c9f663e8d60297de7.svg\" width=\"16\" height=\"18\" data-width=\"2.045\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.045ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/527\/527acb137a08b95c9f663e8d60297de7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/527\/527acb137a08b95c9f663e8d60297de7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u2014 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"- g_{i} = y_{i} - p_{i}\" alt=\"- g_{i} = y_{i} - p_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/367\/36783191cc58cadb07443d3292cb8bf0.svg\" width=\"105\" height=\"14\" data-width=\"13.088\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 13.088ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/367\/36783191cc58cadb07443d3292cb8bf0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/367\/36783191cc58cadb07443d3292cb8bf0.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg\" width=\"12\" height=\"12\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" style=\"width: 0.781ex; height: 1.52ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 781w\" loading=\"lazy\" decode=\"async\"\/>-\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f) \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0434\u0435\u0440\u0435\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{A}\" alt=\"\\mathbf{A}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c6\/6c6404adc033dfed51422fdaf7fa0494.svg\" width=\"16\" height=\"18\" data-width=\"1.966\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.966ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c6\/6c6404adc033dfed51422fdaf7fa0494.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c6\/6c6404adc033dfed51422fdaf7fa0494.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u2014 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"O_{\\mathrm{value},j}\" alt=\"O_{\\mathrm{value},j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4e7\/4e756e4a554e948e36e21b0a86da98ea.svg\" width=\"54\" height=\"19\" data-width=\"6.707\" data-height=\"2.363\" data-vertical-align=\"-0.616\" style=\"width: 6.707ex; height: 2.363ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4e7\/4e756e4a554e948e36e21b0a86da98ea.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4e7\/4e756e4a554e948e36e21b0a86da98ea.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430, \u043a\u0443\u0434\u0430 \u043f\u043e\u043f\u0430\u043b \u043e\u0431\u044a\u0435\u043a\u0442). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c (\u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b \u00bd, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u043b\u0438 \u043f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441\u043f\u043b\u0438\u0442\u043e\u0432):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{Gain}_{level} \\propto \\mathbf{G} \\cdot \\mathbf{A}\" alt=\"{Gain}_{level} \\propto \\mathbf{G} \\cdot \\mathbf{A}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/df0\/df04274b8f53e09918869bf1b8726b0d.svg\" width=\"137\" height=\"18\" data-width=\"17.184\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 17.184ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/df0\/df04274b8f53e09918869bf1b8726b0d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/df0\/df04274b8f53e09918869bf1b8726b0d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u041a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u0434\u043b\u044f \u0441\u043a\u043e\u0440\u0430 \u0438 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043b\u0438\u0441\u0442\u0430<\/h4>\n<p>\u0412\u044b\u0448\u0435 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u0438 \u043b\u0438\u0441\u0442\u0430 \u0438 \u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"O_{\\mathrm{value},j}^{*}\" alt=\"O_{\\mathrm{value},j}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg\" width=\"54\" height=\"21\" data-width=\"6.707\" data-height=\"2.582\" data-vertical-align=\"-0.725\" style=\"width: 6.707ex; height: 2.582ex; vertical-align: -0.725ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u0430 \u043e\u0446\u0435\u043d\u043a\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c; \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0437\u0430\u0434\u0430\u0451\u0442 \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u041d\u044c\u044e\u0442\u043e\u043d\u0430. \u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0441\u043f\u043b\u0438\u0442\u043e\u0432 \u0441 L2 \u0438\u043b\u0438 Cosine \u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u043c CPU-\u0440\u0435\u0436\u0438\u043c\u0435 Plain CatBoost \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u0440\u0443\u0433\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443. \u041d\u0438\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438 \u043e\u0434\u0438\u043d \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u0448\u0430\u0433 \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043b\u0438\u0441\u0442\u044c\u0435\u0432.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u044f \u043e \u0437\u043d\u0430\u043a\u0435, \u0437\u0434\u0435\u0441\u044c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0447\u0435\u0440\u0435\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"r_i=y_i-p_i\" alt=\"r_i=y_i-p_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/357b33966a40882dd224ffeda15fbfea.svg\" width=\"90\" height=\"14\" data-width=\"11.269\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 11.269ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/357b33966a40882dd224ffeda15fbfea.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/357b33966a40882dd224ffeda15fbfea.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u0432\u044b\u0432\u043e\u0434\u0435 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0432\u044b\u0448\u0435 \u044d\u0442\u043e \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"r_i=-g_i\" alt=\"r_i=-g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44a\/44a880f41d00abbf5ceea364b6a6641d.svg\" width=\"67\" height=\"14\" data-width=\"8.356\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 8.356ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44a\/44a880f41d00abbf5ceea364b6a6641d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44a\/44a880f41d00abbf5ceea364b6a6641d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0442\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"g_i=p_i-y_i\" alt=\"g_i=p_i-y_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d9\/0d9320e1f4c8c186d25d851b0e0133aa.svg\" width=\"91\" height=\"14\" data-width=\"11.328\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 11.328ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d9\/0d9320e1f4c8c186d25d851b0e0133aa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d9\/0d9320e1f4c8c186d25d851b0e0133aa.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u0437\u0430\u043f\u0438\u0441\u0438 L2-\u0441\u043a\u043e\u0440\u0430 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 Cosine \u043d\u0438\u0436\u0435 \u0431\u0443\u043a\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"g_i\" alt=\"g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg\" width=\"15\" height=\"12\" data-width=\"1.819\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.819ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0443\u0436\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0441\u0430\u043c \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u043e\u0442 \u0436\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"r_i\" alt=\"r_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2593b49488f8bc44396795792c2d79.svg\" width=\"14\" height=\"12\" data-width=\"1.76\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 1.76ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2593b49488f8bc44396795792c2d79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2593b49488f8bc44396795792c2d79.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u0442\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u0435\u043d.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"n_j\" alt=\"n_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4aa\/4aa861124eff57dd7988faa6753e8b7e.svg\" width=\"18\" height=\"13\" data-width=\"2.204\" data-height=\"1.666\" data-vertical-align=\"-0.666\" style=\"width: 2.204ex; height: 1.666ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4aa\/4aa861124eff57dd7988faa6753e8b7e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4aa\/4aa861124eff57dd7988faa6753e8b7e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0447\u0438\u0441\u043b\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg\" width=\"12\" height=\"16\" data-width=\"0.932\" data-height=\"1.957\" data-vertical-align=\"-0.462\" style=\"width: 0.932ex; height: 1.957ex; vertical-align: -0.462ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430 L2\/Cosine-\u0441\u043a\u043e\u0440\u0430 \u0440\u0430\u0432\u0435\u043d:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"a_j=\\frac{\\sum_{i\\in\\mathrm{leaf}_j}r_i}{n_j+\\lambda}\" alt=\"a_j=\\frac{\\sum_{i\\in\\mathrm{leaf}_j}r_i}{n_j+\\lambda}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0f4\/0f49da7f666c5197de2d5d13c280ac8f.svg\" width=\"123\" height=\"49\" data-width=\"15.433\" data-height=\"6.072\" data-vertical-align=\"-2.47\" style=\"width: 15.433ex; height: 6.072ex; vertical-align: -2.47ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0f4\/0f49da7f666c5197de2d5d13c280ac8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0f4\/0f49da7f666c5197de2d5d13c280ac8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0434\u0435\u0440\u0435\u0432\u0430 \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u043b\u0438\u0441\u0442\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u043c\u0438 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430\u043c\u0438 Logloss:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"O_{\\mathrm{value},j}^{*}=\\frac{\\sum_{i\\in\\mathrm{leaf}_j}r_i}{\\sum_{i\\in\\mathrm{leaf}_j}p_i(1-p_i)+\\lambda}\" alt=\"O_{\\mathrm{value},j}^{*}=\\frac{\\sum_{i\\in\\mathrm{leaf}_j}r_i}{\\sum_{i\\in\\mathrm{leaf}_j}p_i(1-p_i)+\\lambda}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d9f\/d9f80df7bbc41816f2000427a14737cd.svg\" width=\"255\" height=\"53\" data-width=\"31.833\" data-height=\"6.577\" data-vertical-align=\"-2.723\" style=\"width: 31.833ex; height: 6.577ex; vertical-align: -2.723ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d9f\/d9f80df7bbc41816f2000427a14737cd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d9f\/d9f80df7bbc41816f2000427a14737cd.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"a_j\" alt=\"a_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg\" width=\"16\" height=\"13\" data-width=\"2.044\" data-height=\"1.663\" data-vertical-align=\"-0.666\" style=\"width: 2.044ex; height: 1.663ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"O_{\\mathrm{value},j}^{*}\" alt=\"O_{\\mathrm{value},j}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg\" width=\"54\" height=\"21\" data-width=\"6.707\" data-height=\"2.582\" data-vertical-align=\"-0.725\" style=\"width: 6.707ex; height: 2.582ex; vertical-align: -0.725ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f. \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u2014 \u0441\u0443\u043c\u043c\u0430 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u0432. \u0414\u043b\u044f L2-\u0441\u043a\u043e\u0440\u0430 \u0432 \u044d\u0442\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430 \u0438 \u0441\u0443\u043c\u043c\u044b \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{Score}_{L2}=\\sum_j a_j\\sum_{i\\in\\mathrm{leaf}_j}r_i\" alt=\"\\mathrm{Score}_{L2}=\\sum_j a_j\\sum_{i\\in\\mathrm{leaf}_j}r_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/283\/2834943f8d13ed1688646b040677ef4d.svg\" width=\"186\" height=\"43\" data-width=\"23.244\" data-height=\"5.37\" data-vertical-align=\"-2.119\" style=\"width: 23.244ex; height: 5.37ex; vertical-align: -2.119ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/283\/2834943f8d13ed1688646b040677ef4d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/283\/2834943f8d13ed1688646b040677ef4d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"n_j+\\lambda\" alt=\"n_j+\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6c\/d6cc99cddb34e91d9ceb371e8a0a4ea3.svg\" width=\"50\" height=\"19\" data-width=\"6.289\" data-height=\"2.363\" data-vertical-align=\"-0.616\" style=\"width: 6.289ex; height: 2.363ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6c\/d6cc99cddb34e91d9ceb371e8a0a4ea3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6c\/d6cc99cddb34e91d9ceb371e8a0a4ea3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <code>calculate_score<\/code> \u0443\u0447\u0435\u0431\u043d\u043e\u0433\u043e \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430. \u0421\u0443\u043c\u043c\u0430 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u0432 \u043d\u0443\u0436\u043d\u0430 \u0432 <code>update_predictions<\/code>, \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0434\u0435\u0440\u0435\u0432\u0430. \u042d\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0430\u043c CatBoost 1.2.8: <a href=\"https:\/\/github.com\/catboost\/catboost\/blob\/v1.2.8\/catboost\/private\/libs\/algo\/score_calcers.cpp\">score_calcers.cpp<\/a> \u0438 <a href=\"https:\/\/github.com\/catboost\/catboost\/blob\/v1.2.8\/catboost\/libs\/helpers\/short_vector_ops.h\">short_vector_ops.h<\/a>. \u0412 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u0423\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c\u00bb \u0432\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf A\" alt=\"\\mathbf A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/982\/982c0ac0ca870a4b6408355a2cbbc469.svg\" width=\"16\" height=\"18\" data-width=\"1.966\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.966ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/982\/982c0ac0ca870a4b6408355a2cbbc469.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/982\/982c0ac0ca870a4b6408355a2cbbc469.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0438\u0437 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"a_j\" alt=\"a_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg\" width=\"16\" height=\"13\" data-width=\"2.044\" data-height=\"1.663\" data-vertical-align=\"-0.666\" style=\"width: 2.044ex; height: 1.663ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u043e\u0432\u0442\u043e\u0440\u0451\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u043b\u0438\u0441\u0442\u0430. \u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0435 \u0432\u044b\u0448\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"O_{\\mathrm{value},j}^{*}\" alt=\"O_{\\mathrm{value},j}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg\" width=\"54\" height=\"21\" data-width=\"6.707\" data-height=\"2.582\" data-vertical-align=\"-0.725\" style=\"width: 6.707ex; height: 2.582ex; vertical-align: -0.725ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/890\/890af109c6649fd631b929a57747c204.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443, \u0430 \u043d\u0435 \u0448\u0442\u0430\u0442\u043d\u044b\u0439 L2\/Cosine-\u0441\u043a\u043e\u0440 \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0436\u0438\u043c\u0430.<\/p>\n<blockquote>\n<p><strong>\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/strong> \u0412 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442: \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0443\u00bb \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0451\u043d \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u0434\u0440\u043e\u0431\u044c\u044e \u0441 \u0441\u0443\u043c\u043c\u043e\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u0432 \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u0435. \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u044f L2 \u0438 Cosine \u0432 \u044d\u0442\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043d\u0435\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0438 \u0435\u0433\u043e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0435 \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430. \u041e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u043c\u043e\u0435 \u0442\u0430\u043c \u00ab\u0432\u0437\u0440\u044b\u0432\u043d\u043e\u0435\u00bb \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0443\u0447\u0435\u0431\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430. \u0412 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0448\u0442\u0430\u0442\u043d\u043e\u0433\u043e CatBoost 1.2.8 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043b\u043e\u0433\u0438\u0442\u0430\u043c\u0438 \u043e\u0431\u0430 \u0441\u043a\u043e\u0440\u0430 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 X1 \u043f\u0440\u0438 \u043e\u0431\u043e\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432 \u043e\u043f\u044b\u0442\u0435 \u043d\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u043d\u043e \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/blockquote>\n<p>\u0412 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 CatBoost \u0434\u043b\u044f \u2018score_function\u2019 <img decoding=\"async\" class=\"formula inline\" source=\"L2 = - \\sum_{i} w_{i} \\cdot (a_{i} - g_{i})^{2}\" alt=\"L2 = - \\sum_{i} w_{i} \\cdot (a_{i} - g_{i})^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/53\/536\/5364fec8e306b114249eecbd2c9460f2.svg\" width=\"198\" height=\"39\" data-width=\"24.733\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 24.733ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/53\/536\/5364fec8e306b114249eecbd2c9460f2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/53\/536\/5364fec8e306b114249eecbd2c9460f2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"g_i\" alt=\"g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg\" width=\"15\" height=\"12\" data-width=\"1.819\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.819ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u0414\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0431\u0435\u0437 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0442 \u0441\u043a\u043e\u0440 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u043a\u0440\u044b\u0442\u0438\u044f \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0430 \u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b \u0442\u043e\u0436\u0435 \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435. \u0423\u0441\u043b\u043e\u0432\u0438\u044f \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 \u0432\u044b\u0448\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u044b \u0432 \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0435.<\/p>\n<details class=\"spoiler\">\n<summary>\u0412\u044b\u0432\u043e\u0434 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 L2-\u0441\u043a\u043e\u0440\u0430 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: <img decoding=\"async\" class=\"formula inline\" source=\"Score = - \\sum_{i} w_{i}(a_{i} - g_{i})^{2}\" alt=\"Score = - \\sum_{i} w_{i}(a_{i} - g_{i})^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/20\/207\/207eebce576c6578d918d762832ba84d.svg\" width=\"208\" height=\"39\" data-width=\"26.038\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 26.038ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/20\/207\/207eebce576c6578d918d762832ba84d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/20\/207\/207eebce576c6578d918d762832ba84d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0420\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0438 \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\sum_{i} w_{i}g_{i}^{2}\" alt=\"\\sum_{i} w_{i}g_{i}^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fc\/fce\/fce3ac09a4fe86b5373bb888ffca157d.svg\" width=\"65\" height=\"39\" data-width=\"8.071\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 8.071ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fc\/fce\/fce3ac09a4fe86b5373bb888ffca157d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fc\/fce\/fce3ac09a4fe86b5373bb888ffca157d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043f\u043b\u0438\u0442\u0430):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"Score \\propto \\sum_{i}(2w_{i}a_{i}g_{i} - w_{i}a_{i}^{2})\" alt=\"Score \\propto \\sum_{i}(2w_{i}a_{i}g_{i} - w_{i}a_{i}^{2})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/128\/128ab93194e2171c78bef63053a0b6ee.svg\" width=\"226\" height=\"39\" data-width=\"28.211\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 28.211ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/128\/128ab93194e2171c78bef63053a0b6ee.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/128\/128ab93194e2171c78bef63053a0b6ee.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u043b\u0438\u0441\u0442\u044c\u044f\u043c <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg\" width=\"12\" height=\"16\" data-width=\"0.932\" data-height=\"1.957\" data-vertical-align=\"-0.462\" style=\"width: 0.932ex; height: 1.957ex; vertical-align: -0.462ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"a_{j}\" alt=\"a_{j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd2\/cd2d31f4876de2ca5afbffde34d0dade.svg\" width=\"16\" height=\"13\" data-width=\"2.044\" data-height=\"1.663\" data-vertical-align=\"-0.666\" style=\"width: 2.044ex; height: 1.663ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd2\/cd2d31f4876de2ca5afbffde34d0dade.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd2\/cd2d31f4876de2ca5afbffde34d0dade.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"Score \\propto \\sum_{j = 1}^{K}{}\\left( 2a_{j}G_{j} - a_{j}^{2}W_{j} \\right)\" alt=\"Score \\propto \\sum_{j = 1}^{K}{}\\left( 2a_{j}G_{j} - a_{j}^{2}W_{j} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3fa\/3facecb4bcfd21638bae1c150d668d0c.svg\" width=\"228\" height=\"55\" data-width=\"28.454\" data-height=\"6.935\" data-vertical-align=\"-2.902\" style=\"width: 28.454ex; height: 6.935ex; vertical-align: -2.902ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3fa\/3facecb4bcfd21638bae1c150d668d0c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3fa\/3facecb4bcfd21638bae1c150d668d0c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>(\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"G_{j} = \\sum_{i \\in j} w_{i}g_{i}\" alt=\"G_{j} = \\sum_{i \\in j} w_{i}g_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bc2\/bc280bc22e0ca8c372430452b33d413c.svg\" width=\"108\" height=\"41\" data-width=\"13.465\" data-height=\"5.155\" data-vertical-align=\"-2.012\" style=\"width: 13.465ex; height: 5.155ex; vertical-align: -2.012ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bc2\/bc280bc22e0ca8c372430452b33d413c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bc2\/bc280bc22e0ca8c372430452b33d413c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0441\u0443\u043c\u043c\u0430 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, <img decoding=\"async\" class=\"formula inline\" source=\"W_{j} = \\sum_{i \\in j} w_{i}\\,\" alt=\"W_{j} = \\sum_{i \\in j} w_{i}\\,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cbb\/cbb4fcc874122d482c3685b8f2f0841a.svg\" width=\"99\" height=\"41\" data-width=\"12.381\" data-height=\"5.155\" data-vertical-align=\"-2.012\" style=\"width: 12.381ex; height: 5.155ex; vertical-align: -2.012ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cbb\/cbb4fcc874122d482c3685b8f2f0841a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cbb\/cbb4fcc874122d482c3685b8f2f0841a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0441\u0443\u043c\u043c\u0430 \u0432\u0435\u0441\u043e\u0432). \u041d\u0430\u0439\u0434\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0438\u0441\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"a_{j}^{*}\" alt=\"a_{j}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fa\/fa4\/fa41da942aa801dba37ca030c30c3003.svg\" width=\"17\" height=\"21\" data-width=\"2.185\" data-height=\"2.563\" data-vertical-align=\"-0.885\" style=\"width: 2.185ex; height: 2.563ex; vertical-align: -0.885ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fa\/fa4\/fa41da942aa801dba37ca030c30c3003.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fa\/fa4\/fa41da942aa801dba37ca030c30c3003.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0435\u0435 \u044d\u0442\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 (\u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043a \u043d\u0443\u043b\u044e):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"a_{j}^{*} = \\frac{G_{j}}{W_{j}}\" alt=\"a_{j}^{*} = \\frac{G_{j}}{W_{j}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cba\/cba04df10f3ae5f9ee910998c49e7529.svg\" width=\"73\" height=\"44\" data-width=\"9.18\" data-height=\"5.519\" data-vertical-align=\"-2.194\" style=\"width: 9.18ex; height: 5.519ex; vertical-align: -2.194ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cba\/cba04df10f3ae5f9ee910998c49e7529.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cba\/cba04df10f3ae5f9ee910998c49e7529.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<blockquote>\n<p><strong>\u0423\u0441\u043b\u043e\u0432\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430.<\/strong> \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c L2-\u0441\u043a\u043e\u0440 \u0431\u0435\u0437 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043b\u0438\u0441\u0442\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u043c \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"h_i = 1\" alt=\"h_i = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1e1\/1e1bec5c317201db0b243fae6231ae1d.svg\" width=\"50\" height=\"15\" data-width=\"6.191\" data-height=\"1.927\" data-vertical-align=\"-0.357\" style=\"width: 6.191ex; height: 1.927ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1e1\/1e1bec5c317201db0b243fae6231ae1d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1e1\/1e1bec5c317201db0b243fae6231ae1d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\lambda = 0\" alt=\"\\lambda = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726b3f22ce0493a4e51e06141e079545.svg\" width=\"44\" height=\"18\" data-width=\"5.467\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.467ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726b3f22ce0493a4e51e06141e079545.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726b3f22ce0493a4e51e06141e079545.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0435\u0441\u043b\u0438 \u0432 \u043e\u0431\u0435\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0443\u0447\u0442\u0435\u043d\u044b \u0432\u0435\u0441\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u0414\u043b\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u043d\u0435\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"w_i = 1\" alt=\"w_i = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/17e\/17e825cf10652f5307af3e0c40ac28aa.svg\" width=\"52\" height=\"15\" data-width=\"6.508\" data-height=\"1.864\" data-vertical-align=\"-0.357\" style=\"width: 6.508ex; height: 1.864ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/17e\/17e825cf10652f5307af3e0c40ac28aa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/17e\/17e825cf10652f5307af3e0c40ac28aa.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0438\u0436\u0435 \u0437\u0430\u0434\u0430\u043d\u043e <code>reg_lambda = 3.0<\/code>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0433\u043e \u044d\u0442\u043e \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u043d\u0435\u043b\u044c\u0437\u044f: \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u043d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/p>\n<\/blockquote>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"a_{j}^{*}\" alt=\"a_{j}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fa\/fa4\/fa41da942aa801dba37ca030c30c3003.svg\" width=\"17\" height=\"21\" data-width=\"2.185\" data-height=\"2.563\" data-vertical-align=\"-0.885\" style=\"width: 2.185ex; height: 2.563ex; vertical-align: -0.885ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fa\/fa4\/fa41da942aa801dba37ca030c30c3003.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fa\/fa4\/fa41da942aa801dba37ca030c30c3003.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0441\u043a\u043e\u0440\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{Score}^{*} \\propto \\sum_{j = 1}^{K}{}\\left( 2\\frac{G_{j}}{W_{j}}G_{j} - \\left( \\frac{G_{j}}{W_{j}} \\right)^{2}W_{j} \\right) = \\sum_{j = 1}^{K}\\frac{G_{j}^{2}}{W_{j}}\" alt=\"{Score}^{*} \\propto \\sum_{j = 1}^{K}{}\\left( 2\\frac{G_{j}}{W_{j}}G_{j} - \\left( \\frac{G_{j}}{W_{j}} \\right)^{2}W_{j} \\right) = \\sum_{j = 1}^{K}\\frac{G_{j}^{2}}{W_{j}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9df\/9df4532fa50238858316892242da3228.svg\" width=\"397\" height=\"56\" data-width=\"49.639\" data-height=\"6.972\" data-vertical-align=\"-2.92\" style=\"width: 49.639ex; height: 6.972ex; vertical-align: -2.92ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9df\/9df4532fa50238858316892242da3228.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9df\/9df4532fa50238858316892242da3228.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443. \u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{G_{j}^{2}}{W_{j}} = \\left( \\frac{G_{j}}{W_{j}} \\right) \\cdot G_{j} = a_{j}^{*} \\cdot G_{j}\" alt=\"\\frac{G_{j}^{2}}{W_{j}} = \\left( \\frac{G_{j}}{W_{j}} \\right) \\cdot G_{j} = a_{j}^{*} \\cdot G_{j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/13f\/13f9bd04a158a03d37edeceff649a50a.svg\" width=\"224\" height=\"49\" data-width=\"28.025\" data-height=\"6.115\" data-vertical-align=\"-2.492\" style=\"width: 28.025ex; height: 6.115ex; vertical-align: -2.492ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/13f\/13f9bd04a158a03d37edeceff649a50a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/13f\/13f9bd04a158a03d37edeceff649a50a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"{Score}^{*} \\propto \\sum_{j = 1}^{K}a_{j}^{*}G_{j} = \\mathbf{A} \\cdot \\mathbf{G}\" alt=\"{Score}^{*} \\propto \\sum_{j = 1}^{K}a_{j}^{*}G_{j} = \\mathbf{A} \\cdot \\mathbf{G}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f5\/6f5c19457963fe25608045f80123c604.svg\" width=\"214\" height=\"55\" data-width=\"26.732\" data-height=\"6.935\" data-vertical-align=\"-2.902\" style=\"width: 26.732ex; height: 6.935ex; vertical-align: -2.902ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f5\/6f5c19457963fe25608045f80123c604.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f5\/6f5c19457963fe25608045f80123c604.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438, \u0447\u0442\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043e\u0442 \u0441\u043f\u043b\u0438\u0442\u0430 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u0435\u043d \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{A}\" alt=\"\\mathbf{A}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c6\/6c6404adc033dfed51422fdaf7fa0494.svg\" width=\"16\" height=\"18\" data-width=\"1.966\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.966ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c6\/6c6404adc033dfed51422fdaf7fa0494.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6c\/6c6\/6c6404adc033dfed51422fdaf7fa0494.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{G}\" alt=\"\\mathbf{G}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/527\/527acb137a08b95c9f663e8d60297de7.svg\" width=\"16\" height=\"18\" data-width=\"2.045\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.045ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/527\/527acb137a08b95c9f663e8d60297de7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/527\/527acb137a08b95c9f663e8d60297de7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/div>\n<\/details>\n<h4>\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442: \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0443<\/h4>\n<p>\u0421\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0438 \u043e\u0442 \u0443\u0433\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u0438 \u043e\u0442 \u0438\u0445 \u0434\u043b\u0438\u043d:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathbf G\\cdot\\mathbf A=\\|\\mathbf G\\|\\,\\|\\mathbf A\\|\\cos\\theta\" alt=\"\\mathbf G\\cdot\\mathbf A=\\|\\mathbf G\\|\\,\\|\\mathbf A\\|\\cos\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5cf\/5cfa1cc949de7ad0128d2d2098c0f6bf.svg\" width=\"179\" height=\"18\" data-width=\"22.419\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 22.419ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5cf\/5cfa1cc949de7ad0128d2d2098c0f6bf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5cf\/5cfa1cc949de7ad0128d2d2098c0f6bf.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430, \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043c \u0443\u0447\u0435\u0431\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0412 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430 \u00abL2 Score VS Cosine\u00bb \u043c\u044b \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"a_j\" alt=\"a_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg\" width=\"16\" height=\"13\" data-width=\"2.044\" data-height=\"1.663\" data-vertical-align=\"-0.666\" style=\"width: 2.044ex; height: 1.663ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0443\u044e \u0434\u0440\u043e\u0431\u044c \u0441 \u0441\u0443\u043c\u043c\u043e\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u0432 \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u0435. \u0421\u0440\u0430\u0432\u043d\u0438\u043c \u043d\u0435\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf G\\cdot\\mathbf A\" alt=\"\\mathbf G\\cdot\\mathbf A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b6\/b6b\/b6b207082856b02e7d7ac631ba4c9453.svg\" width=\"45\" height=\"18\" data-width=\"5.646\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.646ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b6\/b6b\/b6b207082856b02e7d7ac631ba4c9453.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b6\/b6b\/b6b207082856b02e7d7ac631ba4c9453.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0435\u0433\u043e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u0443\u044e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0443. \u042d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0443\u0447\u0435\u0431\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0430 \u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0448\u0442\u0430\u0442\u043d\u043e\u0433\u043e L2-\u0441\u043a\u043e\u0440\u0430 CatBoost.<\/p>\n<p>\u041f\u0440\u0438 \u043c\u0430\u043b\u043e\u0439 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u0445, \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043a 0 \u0438\u043b\u0438 1, \u0441\u0443\u043c\u043c\u0430 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439. \u041d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u0442\u043e\u0433\u0434\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c, \u0438 \u0435\u0433\u043e \u0432\u043a\u043b\u0430\u0434 \u0432 \u043d\u0435\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442. \u0412 \u043e\u043f\u044b\u0442\u0435 \u043c\u044b \u0437\u0430\u0434\u0430\u0451\u043c \u0442\u0440\u0451\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c \u043a\u043b\u0430\u0441\u0441\u0430 1 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c 0,001:<\/p>\n<pre><code class=\"python\"># \u0412 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0442\u0440\u0438 \u0441\u0442\u0440\u043e\u043a\u0438 \u2014 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043a\u043b\u0430\u0441\u0441\u0430 1.df_experiment['pred_prob'] = 0.5df_experiment.iloc[-3:, df_experiment.columns.get_loc('pred_prob')] = 0.001<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u0440\u0438 <code>l2_reg_experiment = 0.001<\/code> \u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0439 \u043d\u0435\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 X2 \u2264 4,37637, \u0438\u0437\u043e\u043b\u0438\u0440\u0443\u044f \u0442\u0440\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u041a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 X1 \u2264 \u22120,20326, \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/84\/fe\/5f\/84fe5f11658cca8a58cbaa91ab1f6c5e.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439 L2 \u0438 Cosine \u043f\u0440\u0438 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u0445\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/84\/fe\/5f\/84fe5f11658cca8a58cbaa91ab1f6c5e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/84\/fe\/5f\/84fe5f11658cca8a58cbaa91ab1f6c5e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439 L2 \u0438 Cosine \u043f\u0440\u0438 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u0445<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/webt\/84\/fe\/5f\/84fe5f11658cca8a58cbaa91ab1f6c5e.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 3 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u041f\u0440\u0438 <code>l2_reg_experiment = 0.1<\/code> \u0432 \u0442\u043e\u043c \u0436\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043e\u0431\u0430 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 X1 \u2264 \u22120,20326:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/ca\/c0\/d4\/cac0d49d0364e4e43313ef1b7a81a81e.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439 L2 \u0438 Cosine \u043f\u0440\u0438 l2_reg_experiment = 0.1\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/ca\/c0\/d4\/cac0d49d0364e4e43313ef1b7a81a81e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/ca\/c0\/d4\/cac0d49d0364e4e43313ef1b7a81a81e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439 L2 \u0438 Cosine \u043f\u0440\u0438 l2_reg_experiment = 0.1<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/webt\/ca\/c0\/d4\/cac0d49d0364e4e43313ef1b7a81a81e.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 4 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u042d\u0442\u043e\u0442 \u043e\u043f\u044b\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043a \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0443 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u041e\u043d \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u043c\u0435\u0442\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442 \u043d\u0430 \u043d\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435: \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442. \u041f\u0440\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e CatBoost 1.2.8 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043b\u043e\u0433\u0438\u0442\u0430\u043c\u0438 \u043e\u0431\u0430 \u0448\u0442\u0430\u0442\u043d\u044b\u0445 \u0441\u043a\u043e\u0440\u0430, L2 \u0438 Cosine, \u0432\u044b\u0431\u0440\u0430\u043b\u0438 X1 \u043f\u0440\u0438 \u043e\u0431\u043e\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h4>\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a Cosine<\/h4>\n<p>\u0412\u0435\u0440\u043d\u0451\u043c\u0441\u044f \u043a \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"a_j=\\sum_i r_i\/(n_j+\\lambda)\" alt=\"a_j=\\sum_i r_i\/(n_j+\\lambda)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f1\/2f13bdc3a9860f0ae5d04a44d56571dd.svg\" width=\"157\" height=\"39\" data-width=\"19.645\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 19.645ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f1\/2f13bdc3a9860f0ae5d04a44d56571dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2f\/2f1\/2f13bdc3a9860f0ae5d04a44d56571dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0441\u043f\u043b\u0438\u0442\u043e\u0432. \u041a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043d\u0430 \u0434\u043b\u0438\u043d\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\cos(\\mathbf G,\\mathbf A)=\\frac{\\mathbf G\\cdot\\mathbf A}{\\|\\mathbf G\\|\\,\\|\\mathbf A\\|}\" alt=\"\\cos(\\mathbf G,\\mathbf A)=\\frac{\\mathbf G\\cdot\\mathbf A}{\\|\\mathbf G\\|\\,\\|\\mathbf A\\|}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7bb\/7bb58f71a7d2b300ec546bfb0eebbb9f.svg\" width=\"182\" height=\"42\" data-width=\"22.731\" data-height=\"5.281\" data-vertical-align=\"-2.075\" style=\"width: 22.731ex; height: 5.281ex; vertical-align: -2.075ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7bb\/7bb58f71a7d2b300ec546bfb0eebbb9f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7bb\/7bb58f71a7d2b300ec546bfb0eebbb9f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0423\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf A\" alt=\"\\mathbf A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/982\/982c0ac0ca870a4b6408355a2cbbc469.svg\" width=\"16\" height=\"18\" data-width=\"1.966\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.966ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/982\/982c0ac0ca870a4b6408355a2cbbc469.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/982\/982c0ac0ca870a4b6408355a2cbbc469.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u044d\u0442\u043e\u0442 \u043a\u043e\u0441\u0438\u043d\u0443\u0441. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u0430\u044f \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430 \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u0449\u0438\u0442\u0443 \u043e\u0442 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432 \u0438\u043b\u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<h4>\u0423\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c<\/h4>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u0432 \u043a\u043e\u0434\u0435. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u0441\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043a\u0430\u043a \u0442\u043e\u0447\u043a\u0438 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg\" width=\"16\" height=\"12\" data-width=\"2.009\" data-height=\"1.545\" style=\"width: 2.009ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 781w\" loading=\"lazy\" decode=\"async\"\/>-\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 (\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg\" width=\"16\" height=\"12\" data-width=\"2.009\" data-height=\"1.545\" style=\"width: 2.009ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0440\u043e\u043a \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435):<\/p>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{G} = g_{1},g_{2},\\ldots,g_{N}\" alt=\"\\mathbf{G} = g_{1},g_{2},\\ldots,g_{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a46ee1b12de0ad33c26f2a9f57d5e8.svg\" width=\"143\" height=\"18\" data-width=\"17.93\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 17.93ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a46ee1b12de0ad33c26f2a9f57d5e8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96a\/96a46ee1b12de0ad33c26f2a9f57d5e8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 \u0432 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"g_i = y_i - p_i\" alt=\"g_i = y_i - p_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d7\/8d7f6a1f4a7d395042df78a39801c972.svg\" width=\"91\" height=\"14\" data-width=\"11.328\" data-height=\"1.783\" data-vertical-align=\"-0.464\" style=\"width: 11.328ex; height: 1.783ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d7\/8d7f6a1f4a7d395042df78a39801c972.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d7\/8d7f6a1f4a7d395042df78a39801c972.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043a\u0443\u0434\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{A} = a_{1},a_{2},\\ldots,a_{N}\" alt=\"\\mathbf{A} = a_{1},a_{2},\\ldots,a_{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/35d\/35df921b64771d9aef96586b86a7c0f6.svg\" width=\"146\" height=\"18\" data-width=\"18.204\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 18.204ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/35d\/35df921b64771d9aef96586b86a7c0f6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/35d\/35df921b64771d9aef96586b86a7c0f6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"a_i\" alt=\"a_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ae\/2aecb1dc57e87620a373d19b0a889efb.svg\" width=\"15\" height=\"12\" data-width=\"1.937\" data-height=\"1.355\" data-vertical-align=\"-0.357\" style=\"width: 1.937ex; height: 1.355ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ae\/2aecb1dc57e87620a373d19b0a889efb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ae\/2aecb1dc57e87620a373d19b0a889efb.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"a_j\" alt=\"a_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg\" width=\"16\" height=\"13\" data-width=\"2.044\" data-height=\"1.663\" data-vertical-align=\"-0.666\" style=\"width: 2.044ex; height: 1.663ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u043b\u0438\u0441\u0442\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043f\u0430\u043b \u043e\u0431\u044a\u0435\u043a\u0442: <img decoding=\"async\" class=\"formula inline\" source=\"a_j=\\sum_{i\\in\\mathrm{leaf}_j}g_i\/(n_j+\\lambda)\" alt=\"a_j=\\sum_{i\\in\\mathrm{leaf}_j}g_i\/(n_j+\\lambda)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e7\/8e701510ff6b76ee333682ae3aa5477d.svg\" width=\"169\" height=\"43\" data-width=\"21.1\" data-height=\"5.37\" data-vertical-align=\"-2.119\" style=\"width: 21.1ex; height: 5.37ex; vertical-align: -2.119ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e7\/8e701510ff6b76ee333682ae3aa5477d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e7\/8e701510ff6b76ee333682ae3aa5477d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0432 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"g_i\" alt=\"g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg\" width=\"15\" height=\"12\" data-width=\"1.819\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.819ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/91d\/91d8947f9447751708c1f4107beb7ab3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442.<\/p>\n<p>\u041a\u043e\u0441\u0438\u043d\u0443\u0441 \u0443\u0433\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\cos(\\mathbf{G},\\mathbf{A})=\\frac{\\sum_{i=1}^{N}g_i a_i}{\\sqrt{\\sum_{i=1}^{N}g_i^2}\\cdot\\sqrt{\\sum_{i=1}^{N}a_i^2}}\" alt=\"\\cos(\\mathbf{G},\\mathbf{A})=\\frac{\\sum_{i=1}^{N}g_i a_i}{\\sqrt{\\sum_{i=1}^{N}g_i^2}\\cdot\\sqrt{\\sum_{i=1}^{N}a_i^2}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1c\/1c3\/1c3fac7de7ddb0a776be222705128afc.svg\" width=\"283\" height=\"65\" data-width=\"35.419\" data-height=\"8.107\" data-vertical-align=\"-3.488\" style=\"width: 35.419ex; height: 8.107ex; vertical-align: -3.488ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1c\/1c3\/1c3fac7de7ddb0a776be222705128afc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1c\/1c3\/1c3fac7de7ddb0a776be222705128afc.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f:<\/p>\n<p>\u041e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b. \u0417\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u043b\u0438\u043d\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\sqrt{\\sum_{i = 1}^{N}g_{i}^{2}}\" alt=\"\\sqrt{\\sum_{i = 1}^{N}g_{i}^{2}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/771\/7718a55feca46d5436555b0d2f3e3ad3.svg\" width=\"65\" height=\"66\" data-width=\"8.1\" data-height=\"8.281\" data-vertical-align=\"-3.575\" style=\"width: 8.1ex; height: 8.281ex; vertical-align: -3.575ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/771\/7718a55feca46d5436555b0d2f3e3ad3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/771\/7718a55feca46d5436555b0d2f3e3ad3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0438 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430. \u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u0435\u043b\u043e \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u0442\u044c.<\/p>\n<p>\u0413\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044f \u043f\u043e \u043b\u0438\u0441\u0442\u044c\u044f\u043c. \u0427\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\sum_{i = 1}^{N}g_{i}a_{i}\" alt=\"\\sum_{i = 1}^{N}g_{i}a_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c4\/4c42ad4585f3b90a7b7d660512128dc7.svg\" width=\"59\" height=\"54\" data-width=\"7.399\" data-height=\"6.74\" data-vertical-align=\"-2.804\" style=\"width: 7.399ex; height: 6.74ex; vertical-align: -2.804ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c4\/4c42ad4585f3b90a7b7d660512128dc7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4c\/4c4\/4c42ad4585f3b90a7b7d660512128dc7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"a_{i}\" alt=\"a_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8d\/d8dd7d0f3eb7145ca41c711457b7eb8f.svg\" width=\"15\" height=\"12\" data-width=\"1.937\" data-height=\"1.355\" data-vertical-align=\"-0.357\" style=\"width: 1.937ex; height: 1.355ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8d\/d8dd7d0f3eb7145ca41c711457b7eb8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8d\/d8dd7d0f3eb7145ca41c711457b7eb8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg\" width=\"12\" height=\"16\" data-width=\"0.932\" data-height=\"1.957\" data-vertical-align=\"-0.462\" style=\"width: 0.932ex; height: 1.957ex; vertical-align: -0.462ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0438 \u0440\u0430\u0432\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"a_j\" alt=\"a_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg\" width=\"16\" height=\"13\" data-width=\"2.044\" data-height=\"1.663\" data-vertical-align=\"-0.666\" style=\"width: 2.044ex; height: 1.663ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e04\/e045635af82f8f48986a6e931cb70b8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>), \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg\" width=\"16\" height=\"12\" data-width=\"2.009\" data-height=\"1.545\" style=\"width: 2.009ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0443\u043c\u043c\u0443 \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg\" width=\"16\" height=\"12\" data-width=\"2.011\" data-height=\"1.545\" style=\"width: 2.011ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043b\u0438\u0441\u0442\u044c\u044f\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\sum_{i = 1}^{N}g_{i}a_{i} = \\sum_{j = 1}^{K}{}\\left( a_j \\cdot \\sum_{i \\in \\text{leaf}_j} g_i \\right)\" alt=\"\\sum_{i = 1}^{N}g_{i}a_{i} = \\sum_{j = 1}^{K}{}\\left( a_j \\cdot \\sum_{i \\in \\text{leaf}_j} g_i \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c21\/c215c171371c9cdf9dfac30286363bec.svg\" width=\"231\" height=\"61\" data-width=\"28.933\" data-height=\"7.573\" data-vertical-align=\"-3.221\" style=\"width: 28.933ex; height: 7.573ex; vertical-align: -3.221ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c21\/c215c171371c9cdf9dfac30286363bec.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c21\/c215c171371c9cdf9dfac30286363bec.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u042d\u0442\u043e L2-\u0441\u043a\u043e\u0440 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e CPU\/Plain \u0440\u0435\u0436\u0438\u043c\u0430. \u041e\u043d \u0438\u043c\u0435\u0435\u0442 \u0442\u0443 \u0436\u0435 \u0444\u043e\u0440\u043c\u0443 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f, \u0447\u0442\u043e \u0438 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0432\u044b\u0448\u0435, \u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b \u043b\u0438\u0441\u0442\u044c\u0435\u0432.<\/p>\n<p>\u0413\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044f \u043f\u043e \u043b\u0438\u0441\u0442\u044c\u044f\u043c. \u041e\u0441\u0442\u0430\u0432\u0448\u0430\u044f\u0441\u044f \u0447\u0430\u0441\u0442\u044c \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044f \u2014 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439. \u041c\u044b \u0442\u0430\u043a\u0436\u0435 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u0435\u0435 \u043f\u043e \u043b\u0438\u0441\u0442\u044c\u044f\u043c. \u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"n_{j}\" alt=\"n_{j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/828\/8284c2b182ee7baceea27821587e2477.svg\" width=\"18\" height=\"13\" data-width=\"2.204\" data-height=\"1.666\" data-vertical-align=\"-0.666\" style=\"width: 2.204ex; height: 1.666ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/828\/8284c2b182ee7baceea27821587e2477.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/828\/8284c2b182ee7baceea27821587e2477.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg\" width=\"12\" height=\"16\" data-width=\"0.932\" data-height=\"1.957\" data-vertical-align=\"-0.462\" style=\"width: 0.932ex; height: 1.957ex; vertical-align: -0.462ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 \u043b\u0438\u0441\u0442\u0430 \u0441\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\sqrt{\\sum_{i=1}^{N}a_i^2}=\\sqrt{\\sum_{j=1}^{K}n_j\\cdot(a_j)^2}\" alt=\"\\sqrt{\\sum_{i=1}^{N}a_i^2}=\\sqrt{\\sum_{j=1}^{K}n_j\\cdot(a_j)^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a62\/a6258d262a27b661a4f97b431ebc9590.svg\" width=\"207\" height=\"67\" data-width=\"25.898\" data-height=\"8.378\" data-vertical-align=\"-3.623\" style=\"width: 25.898ex; height: 8.378ex; vertical-align: -3.623ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a62\/a6258d262a27b661a4f97b431ebc9590.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a62\/a6258d262a27b661a4f97b431ebc9590.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u0432\u043e\u0434\u044f \u0432\u0441\u0451 \u0432\u043e\u0435\u0434\u0438\u043d\u043e, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0433\u043e CPU\/Plain \u0440\u0435\u0436\u0438\u043c\u0430 CatBoost. \u041e\u043d\u0430 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Score}_{\\text{Cosine}}=\\frac{\\sum_{j=1}^{K}\\left(a_j\\cdot\\sum_{i\\in\\text{leaf}_j}g_i\\right)}{\\sqrt{\\sum_{j=1}^{K}n_j\\cdot(a_j)^2}}\" alt=\"\\text{Score}_{\\text{Cosine}}=\\frac{\\sum_{j=1}^{K}\\left(a_j\\cdot\\sum_{i\\in\\text{leaf}_j}g_i\\right)}{\\sqrt{\\sum_{j=1}^{K}n_j\\cdot(a_j)^2}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/902\/9026f2d5af5fde8e029fbee386c5e0aa.svg\" width=\"285\" height=\"74\" data-width=\"35.588\" data-height=\"9.229\" data-vertical-align=\"-4.049\" style=\"width: 35.588ex; height: 9.229ex; vertical-align: -4.049ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/902\/9026f2d5af5fde8e029fbee386c5e0aa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/902\/9026f2d5af5fde8e029fbee386c5e0aa.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0434\u044b\u0442\u043e\u0436\u0438\u043c, \u043c\u044b \u0432\u044b\u0432\u0435\u043b\u0438 Cosine \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u043a\u043e\u0440\u0430, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0443\u044e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 \u0441\u043f\u043b\u0438\u0442.<\/p>\n<p>\u041e\u0434\u043d\u0430 \u0438\u0437 \u0444\u0438\u0448\u0435\u043a CatBoost \u2014 \u044d\u0442\u043e \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043a\u043e \u0432\u0441\u0435\u043c \u043b\u0438\u0441\u0442\u044c\u044f\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u044f\u0440\u0443\u0441\u0430 \u0434\u0435\u0440\u0435\u0432\u0430.<\/p>\n<ul>\n<li>\n<p>\u0412 \u043a\u043e\u0440\u043d\u0435 1 \u043b\u0438\u0441\u0442 \u0440\u0435\u0436\u0435\u0442\u0441\u044f \u043d\u0430 2.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043d\u043e\u0432\u043e\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u0442 \u043e\u0431\u0430 \u043b\u0438\u0441\u0442\u0430, \u0441\u043e\u0437\u0434\u0430\u0432 4 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043b\u0438\u0441\u0442\u044c\u0435\u0432; \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043f\u0443\u0441\u0442\u044b\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 4 \u043b\u0438\u0441\u0442\u044c\u0435\u0432, \u0441\u043e\u0437\u0434\u0430\u0432 8. \u0418 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b <img decoding=\"async\" class=\"formula inline\" source=\"O_{value}\" alt=\"O_{value}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg\" width=\"45\" height=\"16\" data-width=\"5.674\" data-height=\"1.95\" data-vertical-align=\"-0.357\" style=\"width: 5.674ex; height: 1.95ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/448\/448cfc366cf05e5f7d9d03bfc684332a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0435\u0433\u043e \u043b\u0438\u0441\u0442\u044c\u0435\u0432. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u043f\u043e\u0440\u0430 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435: <img decoding=\"async\" class=\"formula inline\" source=\"z_{i}^{t} = z_{i}^{t - 1} + O_{value}^{t}\" alt=\"z_{i}^{t} = z_{i}^{t - 1} + O_{value}^{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726cd0e2b430f9a3a053cd7cfd54a2bf.svg\" width=\"137\" height=\"21\" data-width=\"17.136\" data-height=\"2.679\" data-vertical-align=\"-0.679\" style=\"width: 17.136ex; height: 2.679ex; vertical-align: -0.679ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726cd0e2b430f9a3a053cd7cfd54a2bf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/726\/726cd0e2b430f9a3a053cd7cfd54a2bf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0421\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e. \u0427\u0442\u043e\u0431\u044b \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430, \u0432\u0432\u0435\u0434\u0451\u043c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c.<\/p>\n<p>\u0411\u0443\u0441\u0442\u0438\u043d\u0433 \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f \u043a \u0446\u0435\u043b\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Learning Rate (\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, <img decoding=\"async\" class=\"formula inline\" source=\"lr\" alt=\"lr\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/58\/587\/58791f322c1bfc3de6141788d3b8666f.svg\" width=\"14\" height=\"13\" data-width=\"1.695\" data-height=\"1.595\" data-vertical-align=\"-0.025\" style=\"width: 1.695ex; height: 1.595ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/58\/587\/58791f322c1bfc3de6141788d3b8666f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/58\/587\/58791f322c1bfc3de6141788d3b8666f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u2014 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <img decoding=\"async\" class=\"formula inline\" source=\"0.03\" alt=\"0.03\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/05\/057\/0574a27738923dd052ed0b873c176afc.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 4.023ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/05\/057\/0574a27738923dd052ed0b873c176afc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/05\/057\/0574a27738923dd052ed0b873c176afc.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"0.1\" alt=\"0.1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb5\/cb5ae17636e975f9bf71ddf5bc542075.svg\" width=\"23\" height=\"12\" data-width=\"2.891\" data-height=\"1.557\" data-vertical-align=\"-0.05\" style=\"width: 2.891ex; height: 1.557ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb5\/cb5ae17636e975f9bf71ddf5bc542075.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb5\/cb5ae17636e975f9bf71ddf5bc542075.svg 781w\" loading=\"lazy\" decode=\"async\"\/>). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 0.03 \u0438 0.1 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 3% \u0438 10% \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"z_{i}^{t} = z_{i}^{t - 1} + (lr \\times O_{value}^{t})\" alt=\"z_{i}^{t} = z_{i}^{t - 1} + (lr \\times O_{value}^{t})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/825\/825c4e4192808057bfa12a5222817a73.svg\" width=\"187\" height=\"21\" data-width=\"23.356\" data-height=\"2.679\" data-vertical-align=\"-0.774\" style=\"width: 23.356ex; height: 2.679ex; vertical-align: -0.774ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/825\/825c4e4192808057bfa12a5222817a73.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/825\/825c4e4192808057bfa12a5222817a73.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>(\u041d\u0430 \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0430\u0445 \u0438 \u0432 \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 CatBoost 1.2.8 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0443\u0436\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 learning_rate. \u0412 \u043d\u0430\u0448\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 O_value \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f. \u041f\u0440\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0430\u0442\u044c \u0438\u0445 \u043d\u0430 learning_rate \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.)<\/p>\n<h4>\u041a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u043b\u0430\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435<\/h4>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0432\u0435\u0441\u044c \u043f\u0430\u0437\u043b: \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445?<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u043b\u043e\u0433\u0438\u0442\u0430. \u0412 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <code>boost_from_average=False<\/code>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"z_0=0\" alt=\"z_0=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/788\/788c918479548ce20fcd4df8f0be5e51.svg\" width=\"50\" height=\"15\" data-width=\"6.188\" data-height=\"1.881\" data-vertical-align=\"-0.375\" style=\"width: 6.188ex; height: 1.881ex; vertical-align: -0.375ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/788\/788c918479548ce20fcd4df8f0be5e51.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/788\/788c918479548ce20fcd4df8f0be5e51.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 0,5. \u041f\u0440\u0438 \u0434\u0440\u0443\u0433\u043e\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043b\u043e\u0433\u0438\u0442 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043d\u043e\u0432\u043e\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0438 \u201c\u043f\u0440\u043e\u043a\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f\u201d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg\" width=\"19\" height=\"12\" data-width=\"2.378\" data-height=\"1.545\" style=\"width: 2.378ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0412 \u043a\u0430\u0436\u0434\u043e\u043c \u0434\u0435\u0440\u0435\u0432\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043b\u0438\u0441\u0442.<\/p>\n<p>\u041c\u044b \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u044d\u0442\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"Z_{final} = z_{0} + (lr \\times O_{value}^{1}) + (lr \\times O_{value}^{2}) + \\ldots + (lr \\times O_{value}^{M})\" alt=\"Z_{final} = z_{0} + (lr \\times O_{value}^{1}) + (lr \\times O_{value}^{2}) + \\ldots + (lr \\times O_{value}^{M})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b3\/4b3dfcce73d369c155863d8c912547a8.svg\" width=\"479\" height=\"22\" data-width=\"59.901\" data-height=\"2.694\" data-vertical-align=\"-0.782\" style=\"width: 59.901ex; height: 2.694ex; vertical-align: -0.782ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b3\/4b3dfcce73d369c155863d8c912547a8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b3\/4b3dfcce73d369c155863d8c912547a8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0441\u044b\u0440\u043e\u0439 \u043b\u043e\u0433\u0438\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"Z_{final}\" alt=\"Z_{final}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/87\/87e\/87ee3f745ad761910ad9535734ac084b.svg\" width=\"44\" height=\"18\" data-width=\"5.448\" data-height=\"2.213\" data-vertical-align=\"-0.667\" style=\"width: 5.448ex; height: 2.213ex; vertical-align: -0.667ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/87\/87e\/87ee3f745ad761910ad9535734ac084b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/87\/87e\/87ee3f745ad761910ad9535734ac084b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 1.85).<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0448\u0430\u0433 \u2014 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043b\u043e\u0433\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443 (\u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0438 \u0441\u0442\u0430\u0442\u044c\u044e):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"p = \\frac{1}{1 + e^{- Z_{final}}}\" alt=\"p = \\frac{1}{1 + e^{- Z_{final}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/be\/be2\/be297ef493b0782978dc6e9c49f2ffcb.svg\" width=\"123\" height=\"40\" data-width=\"15.386\" data-height=\"4.946\" data-vertical-align=\"-1.907\" style=\"width: 15.386ex; height: 4.946ex; vertical-align: -1.907ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/be\/be2\/be297ef493b0782978dc6e9c49f2ffcb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/be\/be2\/be297ef493b0782978dc6e9c49f2ffcb.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h3>\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 CatBoost \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435<\/h3>\n<p>\u041f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u043e \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0423 CatBoost \u0435\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0414\u043b\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 <code>plot_tree<\/code> \u043d\u0443\u0436\u043d\u044b Python-\u043f\u0430\u043a\u0435\u0442 <code>graphviz<\/code> \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 <code>dot<\/code>.<\/p>\n<pre><code class=\"python\">model_toy.plot_tree(    tree_idx=0,    pool=pool_toy)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/121\/0ca\/aa4\/1210caaa4dd10c2bb557b7e4e89564eb.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5. \u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430 CatBoost \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/121\/0ca\/aa4\/1210caaa4dd10c2bb557b7e4e89564eb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/121\/0ca\/aa4\/1210caaa4dd10c2bb557b7e4e89564eb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5. \u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430 CatBoost \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/121\/0ca\/aa4\/1210caaa4dd10c2bb557b7e4e89564eb.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 5 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u0435\u043c\u0441\u044f \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0438 \u0432\u044b\u0439\u0442\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u0435\u0442 \u043d\u0430\u043c CatBoost \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438. \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 (\u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0434\u0443\u043c\u0430\u043d\u043d\u044b\u0439):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">person_income<\/p>\n<\/th>\n<th>\n<p align=\"left\">loan_percent_income<\/p>\n<\/th>\n<th>\n<p align=\"left\">Target<\/p>\n<\/th>\n<th>\n<p align=\"left\">Catboost_pred<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">100000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.10<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.675124<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">80000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.15<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.659438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">60000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.05<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.657338<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">120000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.18<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.677169<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">50000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.12<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.657338<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">150000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.08<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.675124<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">30000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.40<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.340116<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">45000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.35<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.358294<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">80000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.50<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.340116<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">25000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.45<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.340116<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">70000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.55<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.340116<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">90000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.677169<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">110000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.28<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.613931<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">35000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.26<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.395619<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">40000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.29<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.358294<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 15 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 1 \u2014 \u044d\u0442\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0442 \u0437\u0430\u0439\u043c\u0430, \u0430 0 \u2014 \u0432\u044b\u0445\u043e\u0434 \u0432 \u043f\u0440\u043e\u0441\u0440\u043e\u0447\u043a\u0443 (\u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0441\u0442\u0432\u043e\u043c \u0438\u0437 \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u0438, \u0437\u0434\u0435\u0441\u044c \u043a\u043b\u0430\u0441\u0441 1 \u2014 \u0431\u043b\u0430\u0433\u043e\u043f\u043e\u043b\u0443\u0447\u043d\u044b\u0439 \u0438\u0441\u0445\u043e\u0434; \u0441\u043c\u044b\u0441\u043b \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0439). Person Income \u0438 Loan Percent Income \u2014 \u043d\u0430\u0448\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u044e\u0449\u0438\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435. Catboost_pred \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043a\u043e\u0434\u043e\u043c:<\/p>\n<pre><code class=\"python\">target = 'loan_status'features = ['loan_percent_income', 'person_income'] #, 'person_age'cb_params = {  'iterations': 2,  'depth': 4,  'learning_rate': 0.8,  'random_seed': 1,  'reg_lambda': 3.0,  'bootstrap_type': 'No',  'penalties_coefficient': 0,  'langevin': False,  'diffusion_temperature': 0,  'random_strength': 0,  'logging_level': 'Silent',  'score_function': 'Cosine',  'leaf_estimation_method': 'Newton'}pool = Pool(df[features], df[target])pool.quantize()pool.save_quantization_borders('border1.txt')bins_df = pd.read_csv('border1.txt', sep='\\t', header=None,index_col=0)log_buffer = io.StringIO()model = CatBoostClassifier(**cb_params).fit(pool,log_cout=log_buffer,logging_level='Debug')<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0430\u0433\u043b\u044f\u043d\u0435\u043c \u0432\u043d\u0443\u0442\u0440\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<pre><code class=\"python\">print(log_buffer.getvalue())<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u0435\u0440\u043d\u0435\u0442:<\/p>\n<pre><code>loan_percent_income, bin=6 score 1.695285187person_income, bin=8 score 1.896735143loan_percent_income, bin=10 score 1.9139964loan_percent_income, bin=6 score 1.9139964tensor 0 is redundant, remove it and stop0: learn: 0.5341393 total: 235us remaining: 235usloan_percent_income, bin=8 score 1.391268638person_income, bin=3 score 1.557835675loan_percent_income, bin=3 score 1.582888584person_income, bin=3 score 1.582888584tensor 1 is redundant, remove it and stop1: learn: 0.4241715 total: 336us remaining: 0us<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0435 CatBoost \u0444\u0438\u0447\u0438 \u0438 \u0438\u0445 \u0441\u043f\u043b\u0438\u0442\u044b \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u044d\u0442\u0438\u043c \u0444\u0438\u0447\u0430\u043c \u0438 \u0441\u043f\u043b\u0438\u0442\u0430\u043c \u0441\u043a\u043e\u0440\u044b.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1f4\/8ae\/74a\/1f48ae74ac8ee01dd841112001f8cae7.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6. \u0413\u0440\u0430\u043d\u0438\u0446\u044b \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438 \u0436\u0443\u0440\u043d\u0430\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f CatBoost\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/1f4\/8ae\/74a\/1f48ae74ac8ee01dd841112001f8cae7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1f4\/8ae\/74a\/1f48ae74ac8ee01dd841112001f8cae7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6. \u0413\u0440\u0430\u043d\u0438\u0446\u044b \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438 \u0436\u0443\u0440\u043d\u0430\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f CatBoost<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f4\/8ae\/74a\/1f48ae74ac8ee01dd841112001f8cae7.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 6 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u0421\u043b\u0435\u0432\u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u0444\u0430\u0439\u043b\u0430 <code>border1.txt<\/code> \u2014 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0435 CatBoost \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 (loan_percent_income \u0438\u043c\u0435\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441 0, person_income \u2014 1). \u0421\u043f\u0440\u0430\u0432\u0430 \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u044b \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0435\u0441\u044f \u043a \u043d\u0438\u043c \u0432\u044b\u0432\u043e\u0434 \u0436\u0443\u0440\u043d\u0430\u043b\u0430 \u043e\u0442\u043b\u0430\u0434\u043a\u0438.<\/p>\n<h4>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0441\u043f\u043b\u0438\u0442\u043e\u0432<\/h4>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0432\u044b\u0432\u043e\u0434 \u043b\u043e\u0433\u0430: CatBoost \u043f\u0438\u0448\u0435\u0442 \u043d\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u0430 bin=6 \u0438\u043b\u0438 bin=10. \u0410 \u0432 \u0444\u0430\u0439\u043b\u0435 border1.txt \u043b\u0435\u0436\u0430\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0440\u043e\u0434\u0435 0.2549999952, \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043a 0.255.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0431\u044b \u0443 \u043d\u0430\u0441 \u0431\u044b\u043b\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043a\u0430\u0436\u0434\u043e\u0435 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u043f\u043e\u0438\u0441\u043a\u0430\u0445 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u0435\u0437\u0430. \u042d\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 CatBoost (\u043a\u0430\u043a \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430) \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e (binning) \u2014 \u043e\u043d \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0430 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u044b (\u0431\u0438\u043d\u044b).<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0432\u044b\u0437\u0432\u0430\u043b\u0438 \u043c\u0435\u0442\u043e\u0434 pool.quantize() \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0438 border1.txt, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0441\u043e\u0437\u0434\u0430\u043b \u0441\u0435\u0442\u043a\u0443 \u0433\u0440\u0430\u043d\u0438\u0446 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 (borders; \u0432 \u043d\u0430\u0448\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u2014 \u043c\u0435\u0442\u043e\u0434 GreedyLogSum), \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0441\u043f\u043b\u0438\u0442\u044b. \u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043b\u0438\u0442 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u044d\u0442\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 loan_percent_income \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u043c 6 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 0.2549999952 (\u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e 0.255). \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u043d\u0430\u0448 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0435\u0436\u0438\u0442 \u0430\u043a\u043a\u0443\u0440\u0430\u0442 \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 0.250 \u0438 0.260. \u0414\u043b\u044f person_income \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 80 000 \u0438 90 000 \u043f\u0440\u043e\u0448\u043b\u0430 \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u2014 85 000.<\/p>\n<p>\u041f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044f \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0435 \u0432\u0441\u0435 \u0441\u044b\u0440\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0440\u044f\u0434, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0443 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 \u0433\u0440\u0430\u043d\u0438\u0446, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u043f\u043e\u0440\u043e\u0433\u043e\u0432. \u0418\u043d\u0434\u0435\u043a\u0441 bin=6 \u0432 \u043b\u043e\u0433\u0430\u0445 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0438\u0439 Score \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u043c 6, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0435\u0434\u044c\u043c\u0430\u044f: \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u0441 \u043d\u0443\u043b\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043d\u0430\u0448\u0438\u0445 \u0440\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0441\u0447\u0435\u0442\u0430\u0445 \u0432 Excel \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043b\u0438\u0442 \u043d\u0435 \u043f\u043e \u0441\u0430\u043c\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c, \u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0440\u043e\u0433\u0438.<\/p>\n<h3>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Excel<\/h3>\n<p>\u041e\u0431\u0443\u0447\u0438\u043c \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 Excel \u0438 \u0432\u044b\u0439\u0434\u0435\u043c \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f CatBoost. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0438 \u0432\u0441\u0435 \u0448\u0430\u0433\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e \u0432 <a href=\"https:\/\/docs.google.com\/spreadsheets\/d\/15mr9WYGFrmUhhfRSbZeY_bQdxHWM25TCnvtrpEoqxhs\">\u0444\u0430\u0439\u043b\u0435<\/a>. \u0412 \u043a\u043d\u0438\u0433\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u044b \u0434\u043b\u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439. \u0427\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043d\u0430 \u0447\u0438\u0441\u043b\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u044e \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043d\u043e\u0443\u0442\u0431\u0443\u043a.<\/p>\n<p>\u0420\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u043a\u043e\u0440 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u043e loan_percent_income \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430. \u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043b\u0438\u0442 \u0431\u0443\u0434\u0435\u0442 \u0432 \u0442\u043e\u0447\u043a\u0435 loan_percent_income\u22480.255 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u043c 1.695 (\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0441\u043f\u043b\u0438\u0442\u043e\u0432 \u043a\u0430\u043a \u0444\u0438\u0447\u0438 loan_percent_income, \u0442\u0430\u043a \u0438 person_income). \u0412 Excel \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0440\u0430\u0441\u0447\u0451\u0442\u044b; \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0431\u043e\u0440 \u043f\u043e\u0440\u043e\u0433\u043e\u0432 \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0443\u0447\u0435\u0431\u043d\u044b\u0439 \u043a\u043e\u0434.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5db\/e14\/c7e\/5dbe14c7ef80a9f68d575983e1fd92b6.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 7. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5db\/e14\/c7e\/5dbe14c7ef80a9f68d575983e1fd92b6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5db\/e14\/c7e\/5dbe14c7ef80a9f68d575983e1fd92b6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 7. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5db\/e14\/c7e\/5dbe14c7ef80a9f68d575983e1fd92b6.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 7 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u044d\u0442\u0430\u043f\u043e\u0432: \u0432 \u043d\u0430\u0448\u0435\u043c CPU\/Plain \u0440\u0435\u0436\u0438\u043c\u0435 \u0434\u043b\u044f L2\/Cosine-\u0441\u043a\u043e\u0440\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u043b\u0438\u0441\u0442\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"n_j+\\lambda\" alt=\"n_j+\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6c\/d6cc99cddb34e91d9ceb371e8a0a4ea3.svg\" width=\"50\" height=\"19\" data-width=\"6.289\" data-height=\"2.363\" data-vertical-align=\"-0.616\" style=\"width: 6.289ex; height: 2.363ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6c\/d6cc99cddb34e91d9ceb371e8a0a4ea3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6c\/d6cc99cddb34e91d9ceb371e8a0a4ea3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u041d\u044c\u044e\u0442\u043e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\sum_{i\\in\\mathrm{leaf}_j}p_i(1-p_i)+\\lambda\" alt=\"\\sum_{i\\in\\mathrm{leaf}_j}p_i(1-p_i)+\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/807\/8070ae6fe135c7a896fc176e45b4cf8f.svg\" width=\"148\" height=\"43\" data-width=\"18.537\" data-height=\"5.37\" data-vertical-align=\"-2.119\" style=\"width: 18.537ex; height: 5.37ex; vertical-align: -2.119ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/807\/8070ae6fe135c7a896fc176e45b4cf8f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/80\/807\/8070ae6fe135c7a896fc176e45b4cf8f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u043d\u0430 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0440\u0435\u0436\u0438\u043c\u043e\u0432 CatBoost.<\/p>\n<p>\u041d\u0430\u0439\u0434\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043b\u0438\u0442. \u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0442\u043e, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u0441\u043f\u043b\u0438\u0442 loan_percent_income\u22480.255, \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u044d\u0442\u043e\u043c\u0443 \u0441\u043f\u043b\u0438\u0442\u0443.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/4f\/e2\/16\/4fe2168606c25a1489ce5be444aacf1e.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 8. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/4f\/e2\/16\/4fe2168606c25a1489ce5be444aacf1e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/4f\/e2\/16\/4fe2168606c25a1489ce5be444aacf1e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 8. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/webt\/4f\/e2\/16\/4fe2168606c25a1489ce5be444aacf1e.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 8 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u041d\u0430\u0439\u0434\u0451\u043c \u0442\u0440\u0435\u0442\u0438\u0439 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043b\u0438\u0442.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b94\/d6c\/6d5\/b94d6c6d5956aac4be8783b5e49d9b84.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 9. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b94\/d6c\/6d5\/b94d6c6d5956aac4be8783b5e49d9b84.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b94\/d6c\/6d5\/b94d6c6d5956aac4be8783b5e49d9b84.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 9. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b94\/d6c\/6d5\/b94d6c6d5956aac4be8783b5e49d9b84.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 9 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u041f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043d\u0430\u0439\u0442\u0438 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0439 \u0441\u043f\u043b\u0438\u0442 \u043c\u044b \u0443\u043f\u0440\u0435\u043c\u0441\u044f \u0432 \u0442\u043e, \u0447\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043a\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u0434\u043b\u044f \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u0442 \u0441 \u043f\u0435\u0440\u0432\u044b\u043c \u0441\u043f\u043b\u0438\u0442\u043e\u043c, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0434\u0430\u043b\u044c\u0448\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 \u0443\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u0434\u0435\u0440\u0435\u0432\u0435 \u0438 \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043d\u043e\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f. CatBoost \u0443\u0434\u0430\u043b\u044f\u0435\u0442 \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0438 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0440\u043e\u0441\u0442 \u0434\u0435\u0440\u0435\u0432\u0430; \u044d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044e <code>tensor ... is redundant<\/code>. \u0413\u043b\u0443\u0431\u0438\u043d\u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>depth<\/code>, \u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f.<\/p>\n<p>\u0420\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430, \u043e\u0431\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c, \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0435\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"z_{1} = z_{0} + (lr \\times O_{value}^{1})\" alt=\"z_{1} = z_{0} + (lr \\times O_{value}^{1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/625\/6252bce881522df8f6f5a5b5f30db61f.svg\" width=\"174\" height=\"21\" data-width=\"21.756\" data-height=\"2.601\" data-vertical-align=\"-0.735\" style=\"width: 21.756ex; height: 2.601ex; vertical-align: -0.735ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/625\/6252bce881522df8f6f5a5b5f30db61f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/625\/6252bce881522df8f6f5a5b5f30db61f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"new\\_ pred\\_ prob = \\frac{1}{1 + e^{- z_{1}}}\" alt=\"new\\_ pred\\_ prob = \\frac{1}{1 + e^{- z_{1}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/81d\/81d7c933edfca7194720f6299897aba2.svg\" width=\"214\" height=\"38\" data-width=\"26.748\" data-height=\"4.774\" data-vertical-align=\"-1.821\" style=\"width: 26.748ex; height: 4.774ex; vertical-align: -1.821ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/81d\/81d7c933edfca7194720f6299897aba2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/81d\/81d7c933edfca7194720f6299897aba2.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/329\/0c8\/43c\/3290c843ca54c1cb1933b2d1433b436a.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 10. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/329\/0c8\/43c\/3290c843ca54c1cb1933b2d1433b436a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/329\/0c8\/43c\/3290c843ca54c1cb1933b2d1433b436a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 10. \u041f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/329\/0c8\/43c\/3290c843ca54c1cb1933b2d1433b436a.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 10 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u041e\u0431\u0443\u0447\u0438\u043c \u0432\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e.<\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043b\u0438\u0442 \u0431\u0443\u0434\u0435\u0442 \u0432 \u0442\u043e\u0447\u043a\u0435 loan_percent_income\u22480.285 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u043c 1.391<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/80\/34\/88\/803488f4a1f4602d69855869b0079ab8.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 11. \u0412\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/80\/34\/88\/803488f4a1f4602d69855869b0079ab8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/80\/34\/88\/803488f4a1f4602d69855869b0079ab8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 11. \u0412\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/webt\/80\/34\/88\/803488f4a1f4602d69855869b0079ab8.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 11 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u041d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f loan_percent_income\u22480.285, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043a\u043e\u0440 1.558 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 person_income=42 500.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/17f\/17d\/216\/17f17d216bcf33da416f346622e2da8f.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 12. \u0412\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/17f\/17d\/216\/17f17d216bcf33da416f346622e2da8f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/17f\/17d\/216\/17f17d216bcf33da416f346622e2da8f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 12. \u0412\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0440\u0430\u0441\u0447\u0451\u0442 \u0441\u043a\u043e\u0440\u0430 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043f\u043b\u0438\u0442\u0430 \u0432 Excel<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/17f\/17d\/216\/17f17d216bcf33da416f346622e2da8f.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 12 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u041d\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439 loan_percent_income\u22480.285 \u0438 person_income=42 500 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0441\u043a\u043e\u0440 1.5829 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 loan_percent_income=0.135<\/p>\n<p>\u0420\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430, \u043e\u0431\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c, \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0435\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"z_{2} = z_{1} + (lr \\times O_{value}^{2})\" alt=\"z_{2} = z_{1} + (lr \\times O_{value}^{2})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dc7\/dc7dce14afe7f0ea94c8cf5cb15859e8.svg\" width=\"174\" height=\"21\" data-width=\"21.756\" data-height=\"2.601\" data-vertical-align=\"-0.735\" style=\"width: 21.756ex; height: 2.601ex; vertical-align: -0.735ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dc7\/dc7dce14afe7f0ea94c8cf5cb15859e8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dc7\/dc7dce14afe7f0ea94c8cf5cb15859e8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"new\\_ pred\\_ prob = \\frac{1}{1 + e^{- z_{2}}}\" alt=\"new\\_ pred\\_ prob = \\frac{1}{1 + e^{- z_{2}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6e\/6eb\/6eb4592d18a0f2e8e584fb998f13b794.svg\" width=\"214\" height=\"38\" data-width=\"26.748\" data-height=\"4.774\" data-vertical-align=\"-1.821\" style=\"width: 26.748ex; height: 4.774ex; vertical-align: -1.821ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6e\/6eb\/6eb4592d18a0f2e8e584fb998f13b794.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6e\/6eb\/6eb4592d18a0f2e8e584fb998f13b794.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f2\/71a\/44d\/3f271a44d8b63c512a325e8da06fa97c.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 13. \u0412\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 CatBoost\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3f2\/71a\/44d\/3f271a44d8b63c512a325e8da06fa97c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f2\/71a\/44d\/3f271a44d8b63c512a325e8da06fa97c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 13. \u0412\u0442\u043e\u0440\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e: \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 CatBoost<\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3f2\/71a\/44d\/3f271a44d8b63c512a325e8da06fa97c.png\">\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0440\u0438\u0441\u0443\u043d\u043e\u043a 13 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435<\/a><\/p>\n<p>\u0414\u043b\u044f \u0432\u0441\u0435\u0445 15 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 Excel \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 CatBoost 1.2.8 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u0435\u0439 \u043e\u043a\u043e\u043b\u043e <img decoding=\"async\" class=\"formula inline\" source=\"2.2304\\times10^{-9}\" alt=\"2.2304\\times10^{-9}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2b\/2b1\/2b1aa679431947fb8e63cc79b43be8dc.svg\" width=\"108\" height=\"21\" data-width=\"13.546\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 13.546ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2b\/2b1\/2b1aa679431947fb8e63cc79b43be8dc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2b\/2b1\/2b1aa679431947fb8e63cc79b43be8dc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432\u044b\u0448\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u044b \u0434\u043e \u0448\u0435\u0441\u0442\u0438 \u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<h3>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0447\u0435\u0431\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c<\/h3>\n<p>\u0414\u043b\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0432\u0441\u0435\u0439 \u043b\u043e\u0433\u0438\u043a\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u0441\u044f \u043a <a href=\"https:\/\/github.com\/FedorTarasow\/PocketCatboostStudy\/blob\/main\/PocketCatboostStudy.ipynb\">\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0443 \u0441 \u043a\u043e\u0434\u043e\u043c<\/a>.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0438\u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u043d\u0430 CatBoost 1.2.8, NumPy 1.26.4 \u0438 pandas 2.2.3 \u043f\u043e\u0434 Windows, \u043d\u0430 CPU. \u0412 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438: <code>boosting_type=Plain<\/code>, <code>grow_policy=SymmetricTree<\/code>, <code>boost_from_average=False<\/code>, <code>leaf_estimation_iterations=1<\/code>. \u0417\u0430\u0434\u0430\u0434\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b CatBoost \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<pre><code class=\"python\">cb_params_toy = {    'iterations': 2,    'depth': 4,    'learning_rate': 0.8,    'random_seed': 1,    'reg_lambda': 3.0,    'bootstrap_type': 'No',    'penalties_coefficient': 0,    'langevin': False,    'diffusion_temperature': 0,    'random_strength': 0,    'logging_level': 'Silent',    'score_function': 'Cosine',    'leaf_estimation_method': 'Newton'}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>score_function=\u2018Cosine\u2019 \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0441\u043a\u043e\u0440\u0430. \u0423\u0447\u0435\u0431\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0442\u0430\u043a\u0436\u0435 \u2018L2\u2019 \u0444\u0443\u043d\u043a\u0446\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p><code>bootstrap_type=No<\/code> \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 bootstrap. \u041f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>rsm<\/code>; \u0432 \u043d\u0430\u0448\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 <code>rsm=1<\/code>, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u0441\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>depth \u2014 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0441\u043f\u043b\u0438\u0442\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0434\u0435\u0440\u0435\u0432\u0435.<\/p>\n<\/li>\n<li>\n<p>iterations \u2014 \u0447\u0438\u0441\u043b\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0431\u0443\u0434\u0435\u0442 \u0432 \u043d\u0430\u0448\u0435\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435.<\/p>\n<\/li>\n<li>\n<p>learning_rate \u2014 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0448\u0430\u0433\u0430 \u043d\u0430\u0448\u0435\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>reg_lambda \u2014 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 L2-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0432\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435. CatBoost \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u0442 \u0431\u0438\u043d\u043d\u0438\u043d\u0433 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445, \u0438 \u0434\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0440\u0430\u0437\u0431\u0438\u043d\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438, \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u044b.<\/p>\n<pre><code class=\"python\">pool_toy = Pool(df_toy[features_toy], df_toy[target_toy])pool_toy.quantize()pool_toy.save_quantization_borders('border_toy.txt')borders_dict_toy = parse_borders('border_toy.txt')<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0431\u0443\u0447\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u0434\u043e\u043c CatBoost \u0438 \u043d\u0430\u0448\u0438\u043c \u043a\u043e\u0434\u043e\u043c<\/p>\n<pre><code class=\"python\">print(\"\u23f3 \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e CatBoost...\")model_toy = CatBoostClassifier(**cb_params_toy).fit(pool_toy)l2_reg_toy = model_toy.get_all_params()['l2_leaf_reg']print(\"\\n\ud83d\ude80 \u0417\u0430\u043f\u0443\u0441\u043a \u0440\u0443\u0447\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (Toy Dataset)...\")custom_pred_toy = fit_custom_catboost(df_toy, features_toy, target_toy, borders_dict_toy,cb_params_toy['iterations'], cb_params_toy['depth'],cb_params_toy['learning_rate'], l2_reg_toy,score_function=cb_params_toy['score_function'])cb_pred_toy = model_toy.predict_proba(pool_toy)[:, 1]max_diff_toy = (cb_pred_toy - custom_pred_toy).abs().max()print(\"\\n\" + \"=\"*80)print(f\"\ud83c\udfaf \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 (Toy): {max_diff_toy:.12f}\")if max_diff_toy &lt; 1e-7:    print(\"\u2705 SUCCESS! \u0418\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435.\")else:    print(\"\u274c \u041d\u0430\u0439\u0434\u0435\u043d\u044b \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f.\")print(\"=\"*80)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041c\u044b \u0443\u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f.<\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0447\u0430\u0441\u0442\u043e \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u043c\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c\u0438 \u043a\u0430\u043a \u043d\u0435\u043a\u0438\u0439 \u043c\u0430\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u00ab\u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a\u00bb: \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c \u043c\u0435\u0442\u043e\u0434 .fit(), \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u043e \u0441\u0435\u0442\u043a\u0435 \u0438 \u0440\u0430\u0434\u0443\u0435\u043c\u0441\u044f \u0440\u043e\u0441\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a. \u041d\u0430\u0448\u0435\u0439 \u0446\u0435\u043b\u044c\u044e \u0431\u044b\u043b\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u044d\u0442\u043e\u0442 \u00ab\u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a\u00bb \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u043c\u0430\u0433\u0438\u0438 \u2014 \u043b\u0438\u0448\u044c \u0441\u0442\u0440\u043e\u0433\u0430\u044f, \u043b\u043e\u0433\u0438\u0447\u043d\u0430\u044f \u0438 \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430.<\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0432\u0435\u0441\u0442\u0438 \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u043a \u0440\u0435\u0448\u0430\u0435\u043c\u043e\u0439 \u0432\u0440\u0443\u0447\u043d\u0443\u044e, \u043d\u0430\u043c \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u043e\u0439\u0442\u0438 \u043d\u0430 \u0440\u044f\u0434 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u0445 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0439. \u041c\u044b \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0438 (bootstrap) \u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u043a\u043e\u0440 \u0441\u043f\u043b\u0438\u0442\u043e\u0432 (random_strength). \u0417\u0430 \u043a\u0430\u0434\u0440\u043e\u043c \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0438 \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u0433\u043e\u0440\u0434\u043e\u0441\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u2014 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u043d\u0430 \u043b\u0435\u0442\u0443. \u0412\u0435\u0441\u044c \u043a\u043e\u0434, \u0441\u043e\u043f\u0440\u043e\u0432\u043e\u0436\u0434\u0430\u044e\u0449\u0438\u0439 \u044d\u0442\u0443 \u0441\u0442\u0430\u0442\u044c\u044e, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 <a href=\"https:\/\/github.com\/FedorTarasow\/PocketCatboostStudy\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043d\u0430 GitHub<\/a>. \u0423\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0432\u0430\u043c \u0441\u043f\u043b\u0438\u0442\u043e\u0432 \u0438 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a!<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1082608\/\">https:\/\/habr.com\/ru\/articles\/1082608\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>CatBoost: \u043e\u0442 \u0444\u043e\u0440\u043c\u0443\u043b \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 Python \u0438 \u0432 Excel\u041e \u0447\u0435\u043c \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f\u041f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0424\u0435\u0434\u043e\u0440 \u0422\u0430\u0440\u0430\u0441\u043e\u0432, \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 collection \u0441\u0442\u0440\u0438\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u043e\u0437\u043d\u0438\u0447\u043d\u043e\u0433\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u0432 \u0414\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0430\u043d\u043a\u0430 \u0412\u0422\u0411.\u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 ML-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u0432\u0437\u044b\u0441\u043a\u0430\u043d\u0438\u044f \u2014 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0445\u043e\u0434\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u0432 \u043f\u0440\u043e\u0441\u0440\u043e\u0447\u043a\u0443, \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0433\u043b\u0443\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0440\u043e\u0447\u043a\u0438 \u043f\u0440\u0438 \u043d\u0435\u0432\u043d\u0435\u0441\u0435\u043d\u0438\u0438 \u0438\u043b\u0438 \u043d\u0435\u043f\u043e\u043b\u043d\u043e\u043c \u0432\u043d\u0435\u0441\u0435\u043d\u0438\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u044b\u0445 \u043f\u043b\u0430\u0442\u0435\u0436\u0435\u0439 \u043f\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u0443, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u043d\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0441\u0442\u0432\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u041a\u0430\u0436\u0434\u0430\u044f \u0442\u0430\u043a\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0438 \u044f \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0445\u043e\u0447\u0443 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 CatBoost \u2014 \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432 \u0440\u0430\u0431\u043e\u0442\u0435. \u0417\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b\u0430 \u043c\u0435\u043d\u044f \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u043e\u0435\u0439 \u043a\u0430\u0440\u044c\u0435\u0440\u044b. \u0414\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044f \u0448\u0451\u043b \u043a \u043d\u0435\u0439 \u043e\u043a\u043e\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0443\u0442\u044f\u043c\u0438: \u0446\u0435\u043b\u044c \u043e\u0441\u043b\u043e\u0436\u043d\u044f\u043b\u0430\u0441\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432 \u0447\u0442\u0435\u043d\u0438\u0438 \u043a\u043e\u0434\u0430 \u043d\u0430 C++, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0435\u0451 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f.\u0412 \u0438\u0442\u043e\u0433\u0435 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0443\u0447\u0435\u0431\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 CatBoost \u043d\u0430 Python, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u0432\u0441\u044e \u043b\u043e\u0433\u0438\u043a\u0443 \u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u044b, \u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b \u043a\u043e\u0434 \u043d\u0430 GitHub. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u043b\u043e\u043a \u0432\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043b\u0435\u043a\u0446\u0438\u044e YouTube-\u043a\u0430\u043d\u0430\u043b\u0430 StatQuest with Josh Starmer, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u043e\u0434 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0443 CatBoost. \u0414\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0438 (bootstrap) \u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u043a\u043e\u0440 \u0441\u043f\u043b\u0438\u0442\u043e\u0432 (random_strength). \u0421\u0442\u0430\u0442\u044c\u044f \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u043d\u0430 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439, \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0445 \u0441 \u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: \u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u043e\u0431\u0449\u0435\u0439 \u0438\u0434\u0435\u0435\u0439.\u041c\u043e\u0436\u0435\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441: \u0430 \u0437\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e \u043a\u043e\u0441\u0442\u043e\u0447\u043a\u0430\u043c, \u0435\u0441\u043b\u0438 \u043e\u043d \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0438 \u043e\u0442\u043b\u0430\u0436\u0435\u043d? \u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u0435\u0442\u0430\u043b\u044f\u0445 \u0440\u0430\u0431\u043e\u0442\u044b CatBoost \u0438 \u043d\u0435 \u0431\u043e\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b.\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b:\u0412\u044b\u0432\u0435\u0434\u0435\u043c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (Logloss).\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f, \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0438 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u044b, \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430.\u041f\u043e\u0439\u043c\u0451\u043c, \u0437\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043a\u0430\u043a \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 CatBoost \u0441\u043f\u0430\u0441\u0430\u0435\u0442 \u043e\u0442 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u0418 \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u0432\u043e\u043e\u0440\u0443\u0436\u0438\u0432\u0448\u0438\u0441\u044c Excel-\u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0438 Python-\u0441\u043a\u0440\u0438\u043f\u0442\u043e\u043c, \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043c \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043b\u043e\u0433\u0438\u043a\u0443 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0438 \u0441\u043e\u0439\u0434\u0451\u043c\u0441\u044f \u0441 \u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u043c.\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438.\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u0430 \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0441\u0442\u0432\u0430 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043b\u0438\u0446\u0430, \u044f\u0432\u043b\u044f\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c \u043f\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u0443. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u00ab\u043e\u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0438\u0442\u0441\u044f \/ \u043d\u0435 \u043e\u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0438\u0442\u0441\u044f\u00bb, \u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c p \u2208 [0, 1]. \u041c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0431\u044b\u043b\u0430 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a 1 \u0434\u043b\u044f \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u043e\u0432 (\u043a\u043b\u0430\u0441\u0441 1) \u0438 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a 0 \u0434\u043b\u044f \u043f\u043b\u0430\u0442\u0451\u0436\u0435\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 (\u043a\u043b\u0430\u0441\u0441 0). \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437, \u043d\u043e \u043e\u0442\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0440\u0438\u0441\u043a\u0430. \u0412 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.\u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u044d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0412 CatBoost \u0434\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (Log-Likelihood). \u0415\u0451 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f (\u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, LogLoss) \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0442\u044c \u043d\u0430\u0441 \u043a \u043e\u0437\u0432\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0446\u0435\u043b\u0438.\u0433\u0434\u0435  \u2014 \u044d\u0442\u043e pred \u043c\u043e\u0434\u0435\u043b\u0438,  \u2014 \u044d\u0442\u043e 0 \u0438\u043b\u0438 1 \u043a\u043b\u0430\u0441\u0441 \u0442\u0430\u0440\u0433\u0435\u0442\u0430. \u0421\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447, \u043d\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0443\u0431\u0435\u0434\u0438\u043c\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e p \u0432 \u043d\u0435\u0439 \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u043d\u0430\u0448\u0438\u043c \u0442\u0430\u0440\u0433\u0435\u0442\u043e\u043c.\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u043b\u044f \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 (\u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u0431\u0430\u043d\u043a\u0440\u043e\u0442\u0441\u0442\u0432\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u043a\u0430\u043a \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0435 \u0438 \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435, \u0442\u0430\u043a\u043e\u0432\u044b \u043b\u0438\u0448\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0435\u0439\u0441\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f) y=1, \u043f\u0440\u0430\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0438 \u0434\u043e\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0430 1-y, \u043f\u0440\u0438 y=1 \u0437\u0430\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f. \u0414\u043b\u044f \u043b\u0435\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0433\u0440\u0430\u0444\u0438\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438  \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 p \u2192 1\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 1\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u043b\u044f \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 y=0, \u0442\u043e\u0433\u0434\u0430 \u043b\u0435\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0438 \u0434\u043e\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0430 y, \u043f\u0440\u0438 y=0 \u0437\u0430\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f. \u0414\u043b\u044f \u043f\u0440\u0430\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0433\u0440\u0430\u0444\u0438\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438  \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 p \u2192 0.\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2. \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 0\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f 1 \u0438 0, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0443\u043c\u043c\u0443 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435, \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0436\u0435\u043c \u043a\u043b\u0430\u0441\u0441 \u0438 \u0435\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0431\u0443\u0434\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e LL.\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f:\u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0438\u0441\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043d\u0443\u0436\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c (Loss Function, \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u043e\u0448\u0438\u0431\u043a\u0443), \u043f\u043e \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u00ab\u0441\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f\u00bb, \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0443. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u043d\u043e\u0436\u0430\u044e\u0442 \u043d\u0430 . \u0422\u0430\u043a \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u041e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 (Negative Log-Likelihood, NLL) \u0438\u043b\u0438 Logloss (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Loss \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432 CatBoostClassifier):\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442 0 \u0434\u043e 1. \u041e\u043d \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0441\u044b\u0440\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u2014 \u043b\u043e\u0433\u0438\u0442\u044b (log-odds), \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u0445 . \u0421\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043b\u043e\u0433\u0438\u0442\u043e\u043c  \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e  \u0434\u043b\u044f i-\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u0435\u0439 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c:\u0412\u044b\u0440\u0430\u0437\u0438\u043c LL \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u0433\u0438\u0442\u044b. \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u044d\u0442\u043e \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u044b:\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u044d\u0442\u043e \u0432 \u0420\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0441\u043a\u043e\u0431\u043a\u0438:\u0421\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435  \u0432\u0437\u0430\u0438\u043c\u043d\u043e \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0430\u044e\u0442\u0441\u044f, \u0438 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c LL \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u0433\u0438\u0442\u044b:\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044e . \u0417\u0430\u0440\u0430\u043d\u0435\u0435 \u043d\u0430\u0439\u0434\u0451\u043c \u043f\u0435\u0440\u0432\u0443\u044e (gradient \u2014 g) \u0438 \u0432\u0442\u043e\u0440\u0443\u044e (hessian \u2014 h) \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043e\u0442 :\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u043a\u0430\u0436\u0434\u043e\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u043b\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f  \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435  (\u0434\u043b\u044f \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0448\u0430\u0433\u0430 p=0.5, ). \u041c\u044b \u043e\u0431\u0443\u0447\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e t, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043e\u0431\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u0414\u0435\u0440\u0435\u0432\u043e t \u0432\u044b\u0434\u0430\u0441\u0442 \u0434\u043b\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f i \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  (\u0441\u044b\u0440\u043e\u0435 \u043b\u043e\u0433\u0438\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0438\u0441\u0442\u0430, \u043a\u0443\u0434\u0430 \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435). \u0417\u043d\u0430\u0447\u0438\u0442, \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u043e: . \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 , \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 \u043b\u0438\u0441\u0442. \u041d\u043e \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c (\u043d\u0435 \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 \u0432 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u0432 1 \u0438\u043b\u0438 0), \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c L2-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044e (\u0448\u0442\u0440\u0430\u0444) \u0437\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u0438\u0441\u0442\u0430.\u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 t, \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0449\u0443\u044e\u0441\u044f \u0438\u0437 \u0441\u0443\u043c\u043c\u044b n \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u044d\u0442\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430. \u041f\u0443\u0441\u0442\u044c  \u2014 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432 \u043b\u0438\u0441\u0442 j \u0434\u0435\u0440\u0435\u0432\u0430 t, \u0442\u043e\u0433\u0434\u0430 \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0442 \u043b\u043e\u0433\u0438\u0442\u0430  \u0438 \u0442\u0430\u0440\u0433\u0435\u0442\u0430 . \u0414\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0431\u0449\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0422\u0435\u0439\u043b\u043e\u0440\u0430: . \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u0435\u0451 \u043a \u043d\u0430\u0448\u0435\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u0433\u0434\u0435 \u0440\u043e\u043b\u044c \u043c\u0430\u043b\u043e\u0433\u043e \u043f\u0440\u0438\u0440\u0430\u0449\u0435\u043d\u0438\u044f  \u0438\u0433\u0440\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 :\u0420\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u0441\u0443\u043c\u043c\u0443  \u0434\u043b\u044f \u0432\u0441\u0435\u0445  \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043b\u0438\u0441\u0442:\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u043d\u0435\u0451 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0422\u0435\u0439\u043b\u043e\u0440\u0430:\u041c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 , \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0431\u0435\u0440\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e  \u043f\u043e  (\u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043d\u0435 \u0431\u0443\u0434\u0443 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u0438\u0441\u0430\u0442\u044c t) \u0438 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0435\u0451 \u043a \u043d\u0443\u043b\u044e,  \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b:\u0413\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0441  \u0438 :\u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0441\u0430\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e:\u0412\u044b\u0440\u0430\u0436\u0430\u0435\u043c :\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 : \u043c\u0438\u043d\u0443\u0441 \u043f\u0435\u0440\u0435\u0434 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435\u043c \u0434\u0440\u043e\u0431\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u043d\u0435\u0441\u0442\u0438 \u043f\u043e\u0434 \u0437\u043d\u0430\u043a \u0441\u0443\u043c\u043c\u044b.\u041e \u0437\u043d\u0430\u043a\u0430\u0445 \u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445. \u0412 \u0432\u044b\u0432\u043e\u0434\u0435 \u0447\u0435\u0440\u0435\u0437 \u0440\u044f\u0434 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0438 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043e\u0442\u0432\u0435\u0442\u0430 \u043b\u0438\u0441\u0442\u0430 \u0438 Gain \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c; \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u0437\u0430\u0434\u0430\u0451\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 . \u041d\u0438\u0436\u0435, \u0432 \u0437\u0430\u043f\u0438\u0441\u0438 L2-\u0441\u043a\u043e\u0440\u0430 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0441\u043a\u043e\u0440\u0430, \u0431\u0443\u043a\u0432\u043e\u0439  \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u042d\u0442\u043e \u0441\u043c\u0435\u043d\u0430 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445: \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u0432 \u044d\u0442\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d.\u0415\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043b\u0438\u0441\u0442\u0430 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 (Residuals) \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439:\u0418\u0442\u0430\u043a, \u043c\u044b \u0432\u044b\u0432\u0435\u043b\u0438  \u2014 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432 \u043b\u0438\u0441\u0442 \u0434\u0435\u0440\u0435\u0432\u0430, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u0434\u043b\u044f \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0442\u0443\u0434\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u041d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u043f\u043e \u043a\u0430\u043a\u043e\u043c\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u044d\u0442\u0438 \u043b\u0438\u0441\u0442\u044c\u044f? (\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u201c\u0412\u043e\u0437\u0440\u0430\u0441\u0442 &gt; 30\u201d \u0438\u043b\u0438 \u201c\u0414\u043e\u0445\u043e\u0434 &lt; 50k\u201d?). \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043d\u0443\u0436\u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u00ab\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c\u00bb \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u0435\u0437\u0430. \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Score (\u0438\u043b\u0438 Gain \/ \u0412\u044b\u0438\u0433\u0440\u044b\u0448). \u041b\u043e\u0433\u0438\u043a\u0430 \u0435\u0451 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u043c\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442  \u0438 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0422\u0435\u0439\u043b\u043e\u0440\u0430. \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0443\u0437\u043d\u0430\u0442\u044c: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f \u043d\u0430\u0448\u0430 \u043e\u0431\u0449\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430, \u0435\u0441\u043b\u0438 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u044d\u0442\u043e\u0442 \u043b\u0438\u0441\u0442? \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c  (\u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043f\u043e \u0422\u0435\u0439\u043b\u043e\u0440\u0443) \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u0432 \u043d\u0435\u0439 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435.\u0421\u0443\u043c\u043c\u0430 \u0441\u0442\u0430\u0440\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a  \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0448\u0430\u0433\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439 (\u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u043c\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0443\u0436\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u043c). \u0410 \u0432\u043e\u0442 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0441  \u0438  \u043c\u043e\u0436\u043d\u043e \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u044b\u043d\u0435\u0441\u044f \u044d\u0442\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0438 \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438:\u0427\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043f\u043b\u0438\u0442\u0430, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043d\u0435 \u043d\u0443\u0436\u043d\u0430 \u043f\u043e\u043b\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430, \u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u0435\u0451 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u041e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0443 \u0447\u0430\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u044d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u043a :\u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0443\u0437\u043d\u0430\u0442\u044c: \u043a\u0430\u043a\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0442 \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f (\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443), \u0435\u0441\u043b\u0438 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043c \u0432 \u043b\u0438\u0441\u0442 \u043d\u0430\u0448 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 ? \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0439  \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 . \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 (\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435) \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u043b\u044f \u043b\u0438\u0441\u0442\u0430 \u0432 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u043f\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0443 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043a\u0430\u043a  (\u0433\u0434\u0435 \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043e \u0432 \u0442\u043e\u0447\u043a\u0435 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430). \u0414\u043b\u044f \u043a\u0440\u0430\u0442\u043a\u043e\u0441\u0442\u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0441\u0443\u043c\u043c\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435 \u043a\u0430\u043a  \u0438 :\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u043a\u0440\u043e\u0435\u043c \u0441\u043a\u043e\u0431\u043a\u0438 \u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435. \u0412\u043e\u0437\u0432\u0435\u0434\u0435\u043c \u0442\u0440\u0435\u0442\u0438\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c \u0432 \u043a\u0432\u0430\u0434\u0440\u0430\u0442 (\u043c\u0438\u043d\u0443\u0441 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0439\u0434\u0435\u0442):\u0421\u043e\u043a\u0440\u0430\u0442\u0438\u043c  \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c:\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u0430 \u00ab\u00bb. \u041f\u0440\u0438\u0432\u043e\u0434\u0438\u043c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f \u043b\u0438\u0441\u0442\u0430:\u041f\u0440\u0438  \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e; \u0435\u0441\u043b\u0438 , \u043e\u043d\u043e \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e. \u041e\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438, \u0430 \u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e Logloss. \u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0434\u0435\u0440\u0435\u0432\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0441\u043f\u043b\u0438\u0442\u043e\u0432 (\u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439) \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448. \u0422\u0430\u043a \u043a\u0430\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u0437\u043d\u0430\u043a \u043c\u0438\u043d\u0443\u0441 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-494769","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/494769","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=494769"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/494769\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=494769"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=494769"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=494769"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}