{"id":286541,"date":"2017-05-18T14:50:04","date_gmt":"2017-05-18T10:50:04","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=286541"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=286541","title":{"rendered":"\u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043a\u0443\u0440\u0441 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0422\u0435\u043c\u0430 10. \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433. \u0427\u0430\u0441\u0442\u044c 1"},"content":{"rendered":"<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/4a9\/edb\/082\/4a9edb082408442ea47a12b75f19d122.jpg\" align=\"right\" width=\"40%\"\/>  <\/p>\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041d\u0430\u0441\u0442\u0430\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043d\u0430\u0448 \u0441 \u0432\u0430\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u0440\u0441\u0435\u043d\u0430\u043b. <\/p>\n<p>  <\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0445 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433. \u041d\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u0430\u0442\u044c\u044f \u0440\u0430\u0437\u0431\u0438\u0442\u0430 \u043d\u0430 2 \u0447\u0430\u0441\u0442\u0438: \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0442\u0435\u043e\u0440\u0438\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0430 \u0447\u0435\u0440\u0435\u0437 2 \u043d\u0435\u0434\u0435\u043b\u0438 \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0443. <\/p>\n<p>  <\/p>\n<p>\u041e \u0442\u043e\u043c, \u043e\u0442\u043a\u0443\u0434\u0430 \u0443 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0440\u0430\u0441\u0442\u0443\u0442 \u043a\u043e\u0440\u043d\u0438 \u0438 \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0442\u0432\u043e\u0440\u0438\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u2014 \u0432 \u043d\u0430\u0448\u0435\u043c \u043a\u0440\u0430\u0441\u043e\u0447\u043d\u043e\u043c \u043f\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u0432 \u043c\u0438\u0440 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c. \u0420\u0432\u0430\u043d\u0443\u043b\u0438!<\/p>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u0421\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0430\u0442\u0435\u0439 \u0441\u0435\u0440\u0438\u0438<\/b><\/p>\n<div class=\"spoiler_text\">\n<ol>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/322626\/\">\u041f\u0435\u0440\u0432\u0438\u0447\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 Pandas<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/323210\/\">\u0412\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 c Python<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/322534\/\">\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f, \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u043c\u0435\u0442\u043e\u0434 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/323890\/\">\u041b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/324402\/\">\u041a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438: \u0431\u044d\u0433\u0433\u0438\u043d\u0433, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441. \u041a\u0440\u0438\u0432\u044b\u0435 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/325422\/\">\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0438 \u043e\u0442\u0431\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/325654\/\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 \u0443\u0447\u0438\u0442\u0435\u043b\u044f: PCA, \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/326418\/\">\u041e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u0445 c Vowpal Wabbit<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327242\/\">\u0410\u043d\u0430\u043b\u0438\u0437 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Python<\/a><\/li>\n<li>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u0447\u0430\u0441\u0442\u044c 1<\/li>\n<li>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u0447\u0430\u0441\u0442\u044c 2<\/li>\n<\/ol>\n<\/div>\n<\/div>\n<p>  <\/p>\n<p>\u041f\u043b\u0430\u043d \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438:<\/p>\n<p>  <\/p>\n<ol>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#1-vvedenie-i-istoriya-poyavleniya-bustinga\">\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><br \/> \n<ul>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#istoriya-poyavleniya-bustinga\">\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#istoriya-stanovleniya-gbm\">\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f GBM<\/a><\/li>\n<\/ul>\n<\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#2-gbm-algoritm\">GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/a><br \/> \n<ul>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#postanovka-ml-zadachi\">\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 ML \u0437\u0430\u0434\u0430\u0447\u0438<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#funkcionalnyy-gradientnyy-spusk\">\u0424\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#klassicheskiy-gbm-algoritm-friedman-a\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Friedman-\u0430<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#poshagovyy-primer-raboty-gbm\">\u041f\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b GBM<\/a><\/li>\n<\/ul>\n<\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#3-funkcii-poter\">\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/a><br \/> \n<ul>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#funkcii-poter-regressii\">\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#funkcii-poter-klassifikacii\">\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#vesa\">\u0412\u0435\u0441\u0430 \u0438 \u0441\u0432\u043e\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/a><\/li>\n<\/ul>\n<\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#4-itog-pro-teoriyu-gbm\">\u0418\u0442\u043e\u0433 \u043f\u0440\u043e \u0442\u0435\u043e\u0440\u0438\u044e GBM<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#5-domashnee-zadanie-10\">\u0414\u043e\u043c\u0430\u0448\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u211610<\/a><\/li>\n<li><a href=\"https:\/\/habrahabr.ru\/company\/ods\/blog\/327250\/#6-poleznye-ssylki\">\u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/a><\/li>\n<\/ol>\n<p>  <\/p>\n<h1 id=\"1-vvedenie-i-istoriya-poyavleniya-bustinga\">1. \u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h1>\n<p>  <\/p>\n<p>\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043b\u044e\u0434\u0435\u0439, \u043f\u0440\u0438\u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u043a \u0430\u043d\u0430\u043b\u0438\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0445\u043e\u0442\u044c \u0440\u0430\u0437 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043f\u0440\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433. \u042d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u043f\u043e\u0432\u0441\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0439 &quot;\u0434\u0436\u0435\u043d\u0442\u043b\u044c\u043c\u0435\u043d\u0441\u043a\u0438\u0439 \u043d\u0430\u0431\u043e\u0440&quot; \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. Xgboost \u0438 \u0432\u043e\u0432\u0441\u0435 \u0447\u0430\u0441\u0442\u043e \u0430\u0441\u0441\u043e\u0446\u0438\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u043c \u0434\u043b\u044f <a href=\"https:\/\/github.com\/dmlc\/xgboost\/blob\/master\/demo\/README.md#usecases\">\u043f\u043e\u0431\u0435\u0434\u044b<\/a> \u0432 <a href=\"http:\/\/blog.kaggle.com\/tag\/xgboost\/\">ML \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u0445<\/a>, \u043f\u043e\u0440\u043e\u0434\u0438\u0432 \u043c\u0435\u043c \u043f\u0440\u043e &quot;\u0441\u0442\u0430\u043a\u0430\u0442\u044c xgboost-\u044b&quot;. \u0410 \u0435\u0449\u0435 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Learning_to_rank#Practical_usage_by_search_engines\">\u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c<\/a>, \u0438\u043d\u043e\u0433\u0434\u0430 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044f \u0435\u0449\u0435 \u0438 \u0438\u0445 <a href=\"https:\/\/yandex.ru\/company\/technologies\/matrixnet\/\">\u0432\u0438\u0437\u0438\u0442\u043d\u043e\u0439<\/a> <a href=\"http:\/\/download.yandex.ru\/company\/experience\/searchconf\/Searchconf_Algoritm_MatrixNet_Gulin.pdf\">\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u043e\u0439<\/a>. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043b\u044f \u043e\u0431\u0449\u0435\u0433\u043e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0438 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u043b\u0441\u044f.<\/p>\n<p>  <\/p>\n<h3 id=\"istoriya-poyavleniya-bustinga\">\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430<\/h3>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0441 <a href=\"http:\/\/www.cis.upenn.edu\/~mkearns\/papers\/boostnote.pdf\">\u0432\u043e\u043f\u0440\u043e\u0441\u0430<\/a> \u043e \u0442\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0438\u0437 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043b\u0430\u0431\u044b\u0445 \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0434\u043d\u0443 \u0441\u0438\u043b\u044c\u043d\u0443\u044e. \u041f\u043e\u0434 \u0441\u043b\u0430\u0431\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043c\u044b \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u043c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0440\u043e\u0434\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0432\u0435\u0441 \u0431\u043e\u043b\u0435\u0435 &quot;\u0441\u0438\u043b\u044c\u043d\u044b\u043c&quot; \u043c\u043e\u0434\u0435\u043b\u044f\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043b\u0438\u0448\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u043c \u0432\u044b\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f. <\/p>\n<p>  <\/p>\n<p>\u0423\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 <a href=\"http:\/\/www.cs.princeton.edu\/~schapire\/papers\/strengthofweak.pdf\">\u043d\u0430\u0448\u0435\u043b\u0441\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e<\/a>, \u0447\u0442\u043e \u0441\u0430\u043c\u043e \u043f\u043e \u0441\u0435\u0431\u0435 \u0431\u044b\u043b\u043e \u0432\u0430\u0436\u043d\u044b\u043c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c (\u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c \u0432 ML). \u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u0434\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0438 Adaboost. \u0418\u0445 \u043e\u0431\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u043b\u0441\u044f \u0432 \u0436\u0430\u0434\u043d\u043e\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432) \u043f\u0443\u0442\u0435\u043c \u043f\u0435\u0440\u0435\u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (\u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0439) \u0441\u0442\u0440\u043e\u0438\u043b\u0430\u0441\u044c \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u0435\u0441 \u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0435 \u0440\u0430\u043d\u0435\u0435 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c. <\/p>\n<p>  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u0415\u0449\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e Adaboost<\/b><\/p>\n<div class=\"spoiler_text\">\n<p>\u041f\u043e-\u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443, \u043d\u0430\u043c \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u043e \u0431\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u0443\u0440\u0441\u043e\u0432 \u043f\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0438 \u043f\u0435\u0440\u0435\u0434 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u043c \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0442\u0435\u0447\u0443 \u2014 Adaboost. \u041e\u0434\u043d\u0430\u043a\u043e, \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0441\u0430\u043c\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c\u0443, \u0442\u0430\u043a \u043a\u0430\u043a Adaboost \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u0441\u043b\u0438\u043b\u0441\u044f \u0441 GBM, \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0435\u0433\u043e \u0447\u0430\u0441\u0442\u043d\u0430\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f. <\/p>\n<p>  <\/p>\n<p>\u0421\u0430\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u043c\u0435\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u0443\u044e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0437\u0430 \u043d\u0438\u043c \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u0438 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 Adaboost \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u043e\u043c \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 (\u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u043c &quot;\u043f\u043d\u0435\u043c&quot;). \u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/d28\/78f\/7ba\/d2878f7bad0340fc8002e5ba6d0879a5.jpg\"\/>  <\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u0442\u043e\u0447\u043a\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u043c\u0443 \u0435\u0439 \u0432\u0435\u0441\u0443 \u0437\u0430 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435. \u0418 \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u043a\u0430\u043a \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u044d\u0442\u0438 \u0432\u0435\u0441\u0430 \u0440\u0430\u0441\u0442\u0443\u0442 \u2014 \u043f\u043d\u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432 \u043e\u0434\u0438\u043d\u043e\u0447\u043a\u0443 \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u0442\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439. \u041e\u0434\u043d\u0430\u043a\u043e, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043c \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0445 \u043f\u043d\u0435\u0439, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0438\u0441\u043a\u043e\u043c\u043e\u0435 \u043d\u0430\u043c\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/b2b\/029\/d89\/b2b029d898f64bbbb158e15d29595969.png\"\/>  <\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b Adaboost, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0441\u0435\u0440\u0438\u0438 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0438\u0434\u043d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u0435\u043a, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438:<\/p>\n<p>  <\/p>\n<div class=\"oembed\">\n<div>\n<div style=\"left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.2493%;\"><iframe src=\"https:\/\/www.youtube.com\/embed\/k4G2VCuOMMg?rel=0&amp;showinfo=1\" style=\"border: 0; top: 0; left: 0; width: 100%; height: 100%; position: absolute;\" allowfullscreen scrolling=\"no\"><\/iframe><\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<p>  <\/p>\n<p>Adaboost \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0441 \u0435\u0433\u043e \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 <a href=\"https:\/\/www.cs.princeton.edu\/courses\/archive\/spring07\/cos424\/papers\/boosting-survey.pdf\">\u0431\u044b\u043b\u043e \u043c\u0430\u043b\u043e<\/a>, \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0438\u0445 \u0432\u043e\u0437\u043d\u0438\u043a \u043f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0435\u043a\u0442\u0440 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u0439: \u043a\u0442\u043e-\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u043b \u0435\u0433\u043e \u0441\u0432\u0435\u0440\u0445-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0438 \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u043e\u0439 \u043f\u0443\u043b\u0435\u0439, \u043a\u0442\u043e-\u0442\u043e \u0431\u044b\u043b \u0441\u043a\u0435\u043f\u0442\u0438\u0447\u0435\u043d \u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u043b \u043c\u043d\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u044d\u0442\u043e \u043c\u0430\u043b\u043e\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u0436\u0435\u0441\u0442\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u043f\u043e\u0434\u0433\u043e\u043d\u043a\u043e\u0439 (overfitting). \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u044d\u0442\u043e \u043a\u0430\u0441\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043c\u043e\u0449\u043d\u044b\u043c\u0438 \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c\u0438, \u043a \u043a\u043e\u0442\u043e\u0440\u044b\u043c Adaboost \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432. \u041a \u0441\u0447\u0430\u0441\u0442\u044c\u044e, \u043a\u043e\u0433\u0434\u0430 \u0437\u0430 \u0434\u0435\u043b\u043e \u0432\u0437\u044f\u043b\u0430\u0441\u044c \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0443\u0440\u0430 \u0421\u0442\u044d\u043d\u0444\u043e\u0440\u0434\u0441\u043a\u043e\u0439 \u043a\u0430\u0444\u0435\u0434\u0440\u044b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438, \u0443\u0436\u0435 \u043f\u0440\u0438\u043d\u0435\u0441\u0448\u0430\u044f \u043c\u0438\u0440\u0443 Lasso, Elastic Net \u0438 Random Forest, \u0432 1999 \u0433\u043e\u0434\u0443 \u043e\u0442 Jerome Friedman \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u2014 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u043e\u043d \u0436\u0435 Gradient Boosting (Machine), \u043e\u043d \u0436\u0435 GBM. \u042d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 Friedman \u0441\u0440\u0430\u0437\u0443 \u0437\u0430\u0434\u0430\u043b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0431\u0430\u0437\u0443 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u043e\u0431\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043a\u0430\u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.<\/p>\n<p>  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041d\u0430\u0441\u043b\u0435\u0434\u0438\u0435 \u0421\u0442\u044d\u043d\u0444\u043e\u0440\u0434\u0430<\/b><\/p>\n<div class=\"spoiler_text\">\n<p>\u0412\u043e\u043e\u0431\u0449\u0435, \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0421\u0442\u044d\u043d\u0444\u043e\u0440\u0434\u0441\u043a\u043e\u0439 \u043a\u0430\u0444\u0435\u0434\u0440\u044b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u0440\u0438\u0447\u0430\u0441\u0442\u043d\u0430 \u0438 \u043a CART, \u0438 \u043a bootstrap, \u0438 \u0435\u0449\u0435 \u043a\u043e \u043c\u043d\u043e\u0433\u0438\u043c \u0432\u0435\u0449\u0430\u043c, \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u043d\u0435\u0441\u044f \u0441\u0432\u043e\u0438 \u0438\u043c\u0435\u043d\u0430 \u0432 \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0443\u0447\u0435\u0431\u043d\u0438\u043a\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438. \u041f\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u0441\u0447\u0435\u0442\u0443 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u043e\u0432\u0441\u0435\u0434\u043d\u0435\u0432\u043d\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043c, \u0438 \u043a\u0442\u043e \u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0449\u0435 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f. \u0418\u043b\u0438 \u0443\u0436\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c, \u043d\u043e \u0435\u0449\u0435 \u043d\u0435 \u043d\u0430\u0448\u043b\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f (\u043a\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/arxiv.org\/abs\/1308.2719\">glinternet<\/a>).<\/p>\n<p>  <\/p>\n<p>\u0421 \u0441\u0430\u043c\u0438\u043c Friedman-\u043e\u043c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0432\u0438\u0434\u0435\u043e\u0437\u0430\u043f\u0438\u0441\u0435\u0439. \u041e\u0434\u043d\u0430\u043a\u043e, \u0441 \u043d\u0438\u043c \u0435\u0441\u0442\u044c <a href=\"https:\/\/www.youtube.com\/watch?v=8hupHmBVvb0\">\u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u044c\u044e<\/a> \u043f\u0440\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 CART, \u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u0440\u0435\u0448\u0430\u043b\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u043a\u0438 (\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u044b \u043e\u0442\u043d\u0435\u0441\u043b\u0438 \u043a \u0430\u043d\u0430\u043b\u0438\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 data science) 40+ \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434:<\/p>\n<p>  <\/p>\n<div class=\"oembed\">\n<div>\n<div style=\"left: 0; width: 100%; height: 0; position: relative; padding-bottom: 75.0019%;\"><iframe src=\"https:\/\/www.youtube.com\/embed\/8hupHmBVvb0?rel=0&amp;showinfo=1\" style=\"border: 0; top: 0; left: 0; width: 100%; height: 100%; position: absolute;\" allowfullscreen scrolling=\"no\"><\/iframe><\/div>\n<\/div>\n<\/div>\n<p>  <\/p>\n<p>\u0418\u0437 \u0441\u0435\u0440\u0438\u0438 \u043f\u043e\u0437\u043d\u0430\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/www.youtube.com\/watch?v=zBk3PK3g-Fc\">\u043b\u0435\u043a\u0446\u0438\u044f \u043e\u0442 Hastie<\/a> \u0441 \u0440\u0435\u0442\u0440\u043e\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u0430\u0448\u0438\u0445 \u0441 \u0432\u0430\u043c\u0438 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432:<\/p>\n<p>  <\/p>\n<div class=\"oembed\">\n<div>\n<div style=\"left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.2493%;\"><iframe src=\"https:\/\/www.youtube.com\/embed\/zBk3PK3g-Fc?rel=0&amp;showinfo=1\" style=\"border: 0; top: 0; left: 0; width: 100%; height: 100%; position: absolute;\" allowfullscreen scrolling=\"no\"><\/iframe><\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/031\/6ec\/f44\/0316ecf449b54464a7da01f4cfafe0a3.jpg\" align=\"right\" width=\"30%\"\/>\u041f\u043e \u0441\u0443\u0442\u0438, \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u0435\u043b \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0437\u044b\u0441\u043a\u0430\u043d\u0438\u0439 \u0432 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 (\u0442\u0430\u043a \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0432 ML) \u043a \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438, \u043a\u0430\u043a \u0442\u0430\u043a\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438 \u0438\u0437\u0443\u0447\u0430\u0442\u044c. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0430\u0447\u0438\u043d\u043a\u0438, \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e: \u043c\u044b \u0432\u0441\u0451 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c (\u0431\u0443\u0441\u0442\u0438\u043c) \u0441\u043b\u0430\u0431\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u043d\u0430\u0440\u0430\u0449\u0438\u0432\u0430\u044f \u043d\u0430\u0448 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u044b\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u0442\u0435\u0445 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0433\u0434\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 &quot;\u043d\u0435 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438&quot;. \u041d\u043e \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u043d\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430 \u043f\u0435\u0440\u0435\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u0445, \u0430 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0442\u044c \u043e\u0431\u0449\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u041d\u0430 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u044d\u0442\u043e \u0434\u0430\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0444\u0430\u043d\u0442\u0430\u0437\u0438\u0438 \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0439. <\/p>\n<p>  <\/p>\n<h3 id=\"istoriya-stanovleniya-gbm\">\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f GBM<\/h3>\n<p>  <\/p>\n<p>\u0421\u0432\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0432 &quot;\u0434\u0436\u0435\u043d\u0442\u043b\u044c\u043c\u0435\u043d\u0441\u043a\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435&quot; \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0437\u0430\u043d\u044f\u043b \u043d\u0435 \u0441\u0440\u0430\u0437\u0443 \u2014 \u043d\u0430 \u044d\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0435 10 \u043b\u0435\u0442 \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0443 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e GBM \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0439 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: GLMboost \u0438 GAMboost \u043a\u0430\u043a \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435 \u0443\u0436\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f GAM \u043c\u043e\u0434\u0435\u043b\u0435\u0439, CoxBoost \u0434\u043b\u044f \u043a\u0440\u0438\u0432\u044b\u0445 \u0434\u043e\u0436\u0438\u0442\u0438\u044f, RankBoost \u0438 LambdaMART \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u0442\u043e\u0433\u043e \u0436\u0435 GBM \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u0445: Stochastic GBM, GBDT (Gradient Boosted Decision Trees), GBRT (Gradient Boosted Regression Trees), MART (Multiple Additive Regression Trees), GBM \u043a\u0430\u043a Generalised Boosting Machines \u0438 \u043f\u0440\u043e\u0447\u0438\u0435. \u041a \u0442\u043e\u043c\u0443 \u0436\u0435, \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 machine learner-\u043e\u0432 \u0431\u044b\u043b\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0449\u0435\u043d\u044b \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c \u0432\u0441\u0435\u043c \u043f\u043e\u0434\u0440\u044f\u0434, \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043e\u0442\u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e.<\/p>\n<p>  <\/p>\n<p>\u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043d\u0430\u0447\u0430\u043b\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0434\u0430\u0447\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. \u042d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u044b\u043f\u0438\u0441\u0430\u043b\u0438 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0437\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0432\u044b\u0434\u0430\u0447\u0438, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u0442\u0430\u043b\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0435 \u0432 GBM. \u041e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u0432\u043d\u0435\u0434\u0440\u0438\u043b\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0432 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 AltaVista, \u0430 \u0432\u0441\u043a\u043e\u0440\u0435 \u0437\u0430 \u043d\u0438\u043c\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438 Yahoo, Yandex, Bing \u0438 \u0434\u0440\u0443\u0433\u0438\u0435. \u041f\u0440\u0438\u0447\u0435\u043c, \u0433\u043e\u0432\u043e\u0440\u044f \u043e \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438, \u0440\u0435\u0447\u044c \u0448\u043b\u0430 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043d\u0430 \u0433\u043e\u0434\u044b \u0432\u043f\u0435\u0440\u0435\u0434 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432, \u0430 \u043d\u0435 \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u0432\u0437\u0430\u0438\u043c\u043e-\u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0439 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u043f\u043e\u0434\u0435\u043b\u043a\u043e\u0439, \u0436\u0438\u0432\u0443\u0449\u0435\u0439 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043f\u0430\u0440\u044b \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/48a\/ea4\/fff\/48aea4fffdbe4e5f9205ba81110e6061.jpg\" align=\"right\" width=\"30%\"\/> \u0413\u043b\u0430\u0432\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0441\u044b\u0433\u0440\u0430\u043b\u0438 ML \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f, \u0432 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 kaggle. \u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0434\u0430\u0432\u043d\u043e \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u043b\u043e \u043e\u0431\u0449\u0435\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b, \u0433\u0434\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0438 \u0437\u0430\u0434\u0430\u0447, \u0447\u0442\u043e\u0431\u044b \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u0431\u043e\u0440\u044c\u0431\u0435 \u0437\u0430 state of the art \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043b\u044e\u0434\u0438 \u0441 \u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438. \u0421\u0443\u043c\u0440\u0430\u0447\u043d\u044b\u043c \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u043c \u0433\u0435\u043d\u0438\u044f\u043c, \u0432\u044b\u0440\u0430\u0441\u0442\u0438\u0432\u0448\u0438\u043c \u0443 \u0441\u0435\u0431\u044f \u0432 \u0433\u0430\u0440\u0430\u0436\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0447\u0443\u0434\u043e-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0442\u0430\u043b\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u0432\u0441\u0435 \u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0440\u044b\u0432\u043d\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u043e\u0442\u043b\u0438\u0447\u043d\u0443\u044e \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0443 \u0434\u043b\u044f \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f. \u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0438 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0441 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0436\u0438\u043b\u0441\u044f \u043d\u0430 kaggle \u043f\u043e\u0447\u0442\u0438 <a href=\"http:\/\/blog.kaggle.com\/2011\/12\/21\/score-xavier-conort-on-coming-second-in-give-me-some-credit\/\">\u0441\u0440\u0430\u0437\u0443<\/a> (\u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043a\u0430\u0442\u044c GBM \u0432 \u0438\u043d\u0442\u0435\u0440\u0432\u044c\u044e \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u0435\u0439 \u0441 2011 \u0433\u043e\u0434\u0430), \u0430 <a href=\"https:\/\/github.com\/dmlc\/xgboost\">xgboost<\/a> \u043a\u0430\u043a \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0431\u044b\u0441\u0442\u0440\u043e \u0437\u0430\u0432\u043e\u0435\u0432\u0430\u043b \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u043a\u043e\u0440\u0435 \u043f\u043e\u0441\u043b\u0435 \u0441\u0432\u043e\u0435\u0433\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c xgboost \u2014 \u044d\u0442\u043e \u043d\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043d\u043e\u0432\u044b\u0439 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0440\u0430\u0439\u043d\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e GBM \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p>\u0418 \u0432\u043e\u0442 \u043c\u044b \u0437\u0434\u0435\u0441\u044c, \u0432 2017 \u0433\u043e\u0434\u0443, \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0448\u0435\u043b \u043e\u0447\u0435\u043d\u044c \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0434\u043b\u044f ML \u043f\u0443\u0442\u044c \u043e\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u0434\u0435\u043b\u043e\u043a \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438 \u043a \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c \u0438 \u043c\u0430\u0441\u0441\u043e\u0432\u043e\u043c\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u0447\u0435\u0440\u0435\u0437 \u0433\u043e\u0434\u044b \u043f\u043e\u0441\u043b\u0435 \u0441\u0432\u043e\u0435\u0433\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f. <\/p>\n<p>  <\/p>\n<h1 id=\"2-gbm-algoritm\">2. GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/h1>\n<p>  <\/p>\n<h3 id=\"postanovka-ml-zadachi\">\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 ML \u0437\u0430\u0434\u0430\u0447\u0438<\/h3>\n<p>  <\/p>\n<p>\u041c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 \u043e\u0431\u0449\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c. \u0423 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0431\u043e\u0440 \u043f\u0430\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/01c\/707\/3a3\/01c7073a3c9cec139d9e838f9f0046a0.svg\" alt=\"$\\large x$\" data-tex=\"inline\"\/><\/math> \u0438 \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f2f\/cce\/38a\/f2fcce38aaaacdbdc8fe83bac5e0a29f.svg\" alt=\"$\\large y$\" data-tex=\"inline\"\/><\/math>, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/3ae\/802\/1fc\/3ae8021fc570bf96c15353ee81d6bcbf.svg\" alt=\"$\\large \\left\\{ (x_i, y_i) \\right\\}_{i=1, \\ldots,n}$\" data-tex=\"inline\"\/><\/math>, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u0438\u0434\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/bca\/995\/9ca\/bca9959ca945b5e6f6080f5e26387429.svg\" alt=\"$\\large y = f(x)$\" data-tex=\"inline\"\/><\/math>. \u0412\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math>, \u0430 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u0430\u043a\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043b\u0443\u0447\u0448\u0435, \u0443 \u043d\u0430\u0441 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d58\/bc1\/fc5\/d58bc1fc5aca69de30748a7e62d2e58f.svg\" alt=\"$\\large L(y,f)$\" data-tex=\"inline\"\/><\/math>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c: <\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/8dd\/945\/f1b\/8dd945f1bbd22da14bdf8e7a09747bd0.svg\" alt=\"$\\large y \\approx \\hat{f}(x), \\\\ \\large \\hat{f}(x) = \\underset{f(x)}{\\arg\\min} \\ L(y,f(x))$\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/f8d\/7d1\/87c\/f8d7d187ce954aad9e8ab2d4a7f564bb.jpg\" \/><\/div>\n<p>  <\/p>\n<p>\u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u043a\u0430\u043a\u0438\u0445-\u043b\u0438\u0431\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0438 \u043e \u0442\u0438\u043f\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/06e\/87d\/cce\/06e87dcce57c1f623957e0b2afbf57a0.svg\" alt=\"$\\large f(x)$\" data-tex=\"inline\"\/><\/math>, \u043d\u0438 \u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0448\u0438\u0445 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math>, \u043d\u0438 \u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f2f\/cce\/38a\/f2fcce38aaaacdbdc8fe83bac5e0a29f.svg\" alt=\"$\\large y$\" data-tex=\"inline\"\/><\/math>. \u0420\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d58\/bc1\/fc5\/d58bc1fc5aca69de30748a7e62d2e58f.svg\" alt=\"$\\large L(y,f)$\" data-tex=\"inline\"\/><\/math> \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439. \u0422\u0430\u043a \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430\u0434\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043d\u0435 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043c\u0438\u0440\u0435, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u0432 \u043d\u0430\u0448\u0435\u043c \u0440\u0430\u0441\u043f\u043e\u0440\u044f\u0436\u0435\u043d\u0438\u0438, \u043f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0432\u0441\u0435 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0439. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math> \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u0442\u0435\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e \u0435\u0441\u0442\u044c:<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/bce\/d48\/f35\/bced48f35e6a00463db33b55f85432ce.svg\" alt=\"$\\large \\hat{f}(x) = \\underset{f(x)}{\\arg\\min} \\ \\mathbb {E} _{x,y}[L(y,f(x))]$\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<p>\u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/06e\/87d\/cce\/06e87dcce57c1f623957e0b2afbf57a0.svg\" alt=\"$\\large f(x)$\" data-tex=\"inline\"\/><\/math> \u0432 \u043c\u0438\u0440\u0435 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u2014 \u0441\u0430\u043c\u043e \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c\u0435\u0440\u043d\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u0431\u044b \u0445\u043e\u0442\u044c \u043a\u0430\u043a-\u0442\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443, \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u043a\u0430\u043a\u0438\u043c-\u043d\u0438\u0431\u0443\u0434\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/01d\/942\/cbd\/01d942cbd92d63c8876f2061d806d0cb.svg\" alt=\"$\\large f(x, \\theta), \\theta \\in \\mathbb{R}^d $\" data-tex=\"inline\"\/><\/math>. \u042d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0443\u0436\u0435 \u0432\u043f\u043e\u043b\u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u043c\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/925\/9b9\/9bc\/9259b99bc28715b5f0fbb2c10134adec.svg\" alt=\"$\\large \\hat{f}(x) = f(x, \\hat{\\theta}), \\\\ \\large \\hat{\\theta} = \\underset{\\theta}{\\arg\\min} \\ \\mathbb {E} _{x,y}[L(y,f(x,\\theta))]$\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<p>\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/67f\/ac9\/01d\/67fac901d370e4e6297354841d3290a6.svg\" alt=\"$\\large \\hat{\\theta}$\" data-tex=\"inline\"\/><\/math> \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0435\u0434\u043a\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u044e\u0442 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f8f\/123\/015\/f8f1230155d9b8dba6e0e65c046e2cdc.svg\" alt=\"$\\large L_{\\theta}(\\hat{\\theta})$\" data-tex=\"inline\"\/><\/math>, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0443\u044e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u044b \u0438\u0445 \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u043f\u043e \u0438\u043c\u0435\u044e\u0449\u0438\u043c\u0441\u044f \u0443 \u043d\u0430\u0441 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u0436\u0435 \u0432\u044b\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/67f\/ac9\/01d\/67fac901d370e4e6297354841d3290a6.svg\" alt=\"$\\large \\hat{\\theta}$\" data-tex=\"inline\"\/><\/math> \u0437\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/254\/79f\/698\/25479f6983f7a19e57e1bfc9906e4dd6.svg\" alt=\"$\\large M$\" data-tex=\"inline\"\/><\/math> \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b (\u0438 \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438, \u0438 \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0447\u0430\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u043a\u0430\u0442\u044c \u043a \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0443):<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/21a\/cd2\/e7f\/21acd2e7f4648a00b945e7f0b6bcef1d.svg\" alt=\"$\\large \\hat{\\theta} = \\sum_{i = 1}^M \\hat{\\theta_i}, \\\\ \\large L_{\\theta}(\\hat{\\theta}) = \\sum_{i = 1}^N L(y_i,f(x_i, \\hat{\\theta}) $\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<p>\u0414\u0435\u043b\u043e \u0437\u0430 \u043c\u0430\u043b\u044b\u043c \u2014 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u044f\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f8f\/123\/015\/f8f1230155d9b8dba6e0e65c046e2cdc.svg\" alt=\"$\\large L_{\\theta}(\\hat{\\theta})$\" data-tex=\"inline\"\/><\/math>. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a. \u0414\u043b\u044f \u043d\u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/805\/7f5\/42f\/8057f542fc5efb781d009ce1508ece80.svg\" alt=\"$\\large \\nabla L_{\\theta}(\\hat{\\theta})$\" data-tex=\"inline\"\/><\/math> \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u0430\u0448\u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b63\/2e3\/ac9\/b632e3ac96ab284caf36a4023e969742.svg\" alt=\"$\\large \\hat{\\theta_i}$\" data-tex=\"inline\"\/><\/math> \u0432\u0434\u043e\u043b\u044c \u043d\u0435\u0433\u043e (\u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441 \u2014 \u043c\u044b \u0436\u0435 \u0445\u043e\u0442\u0438\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443, \u0430 \u043d\u0435 \u043d\u0430\u0440\u0430\u0441\u0442\u0438\u0442\u044c). \u0418 \u0432\u0441\u0435, \u043d\u0430\u0434\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043a-\u0442\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0435 \u043f\u0435\u0440\u0432\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/2dc\/45b\/941\/2dc45b9417b7663de6fd2836846d02ff.svg\" alt=\"$\\large \\hat{\\theta_0}$\" data-tex=\"inline\"\/><\/math> \u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/254\/79f\/698\/25479f6983f7a19e57e1bfc9906e4dd6.svg\" alt=\"$\\large M$\" data-tex=\"inline\"\/><\/math> \u043c\u044b \u044d\u0442\u0443 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c. \u0412 \u043d\u0430\u0448\u0435\u043c \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u043c \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0438\u0434\u0435 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/67f\/ac9\/01d\/67fac901d370e4e6297354841d3290a6.svg\" alt=\"$\\large \\hat{\\theta}$\" data-tex=\"inline\"\/><\/math> \u043d\u0430\u0438\u0432\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ab8\/38b\/a98\/ab838ba98ad5c3305de2b7d28c096555.svg\" alt=\"$\\large \\hat{\\theta} = \\hat{\\theta_0}$\" data-tex=\"inline\"\/><\/math> <\/li>\n<li>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/adc\/289\/062\/adc2890629131b7a039918ee8e339a15.svg\" alt=\"$\\large t = 1, \\dots, M$\" data-tex=\"inline\"\/><\/math> \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c:<br \/> \n<ol>\n<li>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/805\/7f5\/42f\/8057f542fc5efb781d009ce1508ece80.svg\" alt=\"$\\large \\nabla L_{\\theta}(\\hat{\\theta})$\" data-tex=\"inline\"\/><\/math> \u043f\u0440\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/67f\/ac9\/01d\/67fac901d370e4e6297354841d3290a6.svg\" alt=\"$\\large \\hat{\\theta}$\" data-tex=\"inline\"\/><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/e7f\/7cb\/505\/e7f7cb505866a16613e7e3a3151e6483.svg\" alt=\"$\\large L_{\\theta}(\\hat{\\theta}) = \\left[\\frac{\\partial L(y, f(x, \\theta))}{\\partial \\theta}\\right]_{\\theta = \\hat{\\theta}}$\" data-tex=\"inline\"\/><\/math><\/li>\n<li>\u0417\u0430\u0434\u0430\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a69\/f82\/cf4\/a69f82cf467ef57878aa24c06f00727d.svg\" alt=\"$\\large \\hat{\\theta_t}$\" data-tex=\"inline\"\/><\/math> \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430<br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/36e\/71f\/dc6\/36e71fdc6aa9250d125de661723d6acc.svg\" alt=\"$\\large \\hat{\\theta_t} \\leftarrow \u2212\\nabla L_{\\theta}(\\hat{\\theta})$\" data-tex=\"inline\"\/><\/math><\/li>\n<li>\u041e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/67f\/ac9\/01d\/67fac901d370e4e6297354841d3290a6.svg\" alt=\"$\\large \\hat{\\theta}$\" data-tex=\"inline\"\/><\/math>:<br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/9e1\/562\/9c6\/9e15629c64e93f9ab9d9d5967895e53f.svg\" alt=\"$\\large \\hat{\\theta} \\leftarrow \\hat{\\theta} + \\hat{\\theta_t} = \\sum_{i = 0}^t \\hat{\\theta_i} $\" data-tex=\"inline\"\/><\/math> <\/li>\n<\/ol>\n<\/li>\n<li>\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/67f\/ac9\/01d\/67fac901d370e4e6297354841d3290a6.svg\" alt=\"$\\large \\hat{\\theta}$\" data-tex=\"inline\"\/><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b51\/a7d\/fdc\/b51a7dfdc81eff1ffc024085384c613b.svg\" alt=\"$\\large \\hat{\\theta} = \\sum_{i = 0}^M \\hat{\\theta_i} $\" data-tex=\"inline\"\/><\/math> <\/li>\n<li>\u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ec3\/ae5\/5ed\/ec3ae55ed53c7aaac8ff62c069a0778d.svg\" alt=\"$\\large \\hat{f}(x) = f(x, \\hat{\\theta})$\" data-tex=\"inline\"\/><\/math> \u043f\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e<\/li>\n<\/ol>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/2b5\/5d6\/90d\/2b55d690d99e4ec0976b360aae6ce4df.jpg\" \/><\/div>\n<p>  <\/p>\n<h3 id=\"funkcionalnyy-gradientnyy-spusk\">\u0424\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/h3>\n<p>  <\/p>\n<p>\u0420\u0430\u0441\u0448\u0438\u0440\u0438\u043c \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435: \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math> \u0432 \u0432\u0438\u0434\u0435 \u0441\u0430\u043c\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u0412\u044b\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0439, \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0441\u0440\u0430\u0437\u0443 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u044d\u0442\u0443 \u0441\u0443\u043c\u043c\u0443, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/e1a\/ea2\/4d5\/e1aea24d5ab2fb7dcb2f7d284b8cd061.svg\" alt=\"$\\large \\hat{f_0}(x)$\" data-tex=\"inline\"\/><\/math>:<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/964\/d3f\/adf\/964d3fadfee2c39612380ab8b6dd618e.svg\" alt=\"$\\large \\hat{f}(x) = \\sum_{i = 0}^M \\hat{f_i}(x)$\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<p>\u041c\u0430\u0433\u0438\u0438 \u043f\u043e\u043a\u0430 \u043d\u0435 \u0441\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0435\u0448\u0438\u043b\u0438, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0430\u0448\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math> \u043d\u0435 \u0432 \u0432\u0438\u0434\u0435 \u043e\u0434\u043d\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043a\u0443\u0447\u0435\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (\u043a\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c), \u0430 \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0434\u0435\u043b\u0430\u044f \u0432\u0438\u0434, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0434\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. <\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443, \u043d\u0430\u043c \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c \u0441\u0432\u043e\u0439 \u043f\u043e\u0438\u0441\u043a \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/c3a\/01d\/453\/c3a01d453d058e88a0d4d7cdbf3a0939.svg\" alt=\"$\\large \\hat{f}(x) = h(x, \\theta)$\" data-tex=\"inline\"\/><\/math>. \u041d\u043e, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0441\u0443\u043c\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0447\u0435\u043c \u043b\u044e\u0431\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 (\u0441\u0443\u043c\u043c\u0443 \u0434\u0432\u0443\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432-\u043f\u043d\u0435\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 1 \u0443\u0436\u0435 \u043d\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u043f\u043d\u0435\u043c). \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043e\u0431\u0449\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0432\u0441\u0435 \u0435\u0449\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0421\u0440\u0430\u0437\u0443 \u0443\u0447\u0442\u0435\u043c, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/8c0\/d9a\/47c\/8c0d9a47c49965a7e0f1cf40a84a4f6b.svg\" alt=\"$\\large \\rho \\in \\mathbb{R}$\" data-tex=\"inline\"\/><\/math>. \u0414\u043b\u044f \u0448\u0430\u0433\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a8f\/b83\/6a2\/a8fb836a2c55657c8263cd7fc9af7c73.svg\" alt=\"$\\large t$\" data-tex=\"inline\"\/><\/math> \u0437\u0430\u0434\u0430\u0447\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/6bb\/c8d\/219\/6bbc8d2198c35366f58c4191b3667221.svg\" alt=\"$\\large \\hat{f}(x) = \\sum_{i = 0}^{t-1} \\hat{f_i}(x), \\\\ \\large (\\rho_t,\\theta_t) = \\underset{\\rho,\\theta}{\\arg\\min} \\ \\mathbb {E} _{x,y}[L(y,\\hat{f}(x) + \\rho \\cdot h(x, \\theta))], \\\\ \\large \\hat{f_t}(x) = \\rho_t \\cdot h(x, \\theta_t)$\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<p>\u0410 \u0432\u043e\u0442 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0440\u0435\u043c\u044f \u043c\u0430\u0433\u0438\u0438. \u041c\u044b \u0432\u044b\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438 \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043e\u0431\u0449\u0435\u043c \u0432\u0438\u0434\u0435, \u0441\u043b\u043e\u0432\u043d\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0430\u043a \u0431\u0440\u0430\u0442\u044c \u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043a\u0430\u043a\u0438\u0435 \u0443\u0433\u043e\u0434\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/9e6\/248\/612\/9e6248612badea38ca8ddfe7432bd34c.svg\" alt=\"$\\large h(x, \\theta)$\" data-tex=\"inline\"\/><\/math> \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0430\u043a\u0438\u0445 \u0443\u0433\u043e\u0434\u043d\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u043e\u0442\u0435\u0440\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/85e\/07f\/7c7\/85e07f7c7d36aa773d7eae8e1b86c10a.svg\" alt=\"$\\large L(y, f(x, \\theta))$\" data-tex=\"inline\"\/><\/math>. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0442\u043e \u043a\u0440\u0430\u0439\u043d\u0435 \u0441\u043b\u043e\u0436\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u044b\u043b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0432\u0435\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0443 \u043a \u0447\u0435\u043c\u0443-\u0442\u043e \u0440\u0435\u0448\u0430\u0435\u043c\u043e\u043c\u0443. <\/p>\n<p>  <\/p>\n<p>\u0417\u043d\u0430\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0448\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0431\u044b\u043b\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0441 \u044d\u0442\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c (\u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441). \u0422\u043e \u0435\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u041c\u041d\u041a-\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u0432\u044b\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u043e \u044d\u0442\u0438\u043c \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c. \u0418 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0438 \u0434\u043b\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u0438 \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u043c\u044b \u0432\u0441\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u0443\u0434\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/148\/b38\/5a5\/148b385a50819104dc672deb4853f506.svg\" alt=\"$\\large r$\" data-tex=\"inline\"\/><\/math> \u0438 \u043d\u0430\u0448\u0438\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438. \u0414\u043b\u044f \u0448\u0430\u0433\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a8f\/b83\/6a2\/a8fb836a2c55657c8263cd7fc9af7c73.svg\" alt=\"$\\large t$\" data-tex=\"inline\"\/><\/math> \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: <\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/55b\/215\/9bf\/55b2159bfd7fff020149acf9541b5d53.svg\" alt=\"$ \\large \\hat{f}(x) = \\sum_{i = 0}^{t-1} \\hat{f_i}(x), \\\\ \\large r_{it} = -\\left[\\frac{\\partial L(y_i, f(x_i))}{\\partial f(x_i)}\\right]_{f(x)=\\hat{f}(x)}, \\quad \\mbox{for } i=1,\\ldots,n ,\\\\ \\large \\theta_t = \\underset{\\theta}{\\arg\\min} \\ \\sum_{i = 1}^{n} (r_{it} - h(x_i, \\theta))^2, \\\\ \\large \\rho_t = \\underset{\\rho}{\\arg\\min} \\ \\sum_{i = 1}^{n} L(y_i, \\hat{f}(x_i) + \\rho \\cdot h(x_i, \\theta_t))$\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/f6a\/2fb\/909\/f6a2fb909ee1466b914081eeb83c573c.jpg\"  width=\"60%\"\/><\/div>\n<p>  <\/p>\n<h3 id=\"klassicheskiy-gbm-algoritm-friedman-a\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Friedman-\u0430<\/h3>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0435, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 Jerome Friedman \u0432 1999 \u0433\u043e\u0434\u0443. \u041c\u044b \u0432\u0441\u0435 \u0442\u0430\u043a \u0436\u0435 \u0440\u0435\u0448\u0430\u0435\u043c \u043e\u0431\u0449\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c. \u041d\u0430 \u0432\u0445\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0445:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/3ae\/802\/1fc\/3ae8021fc570bf96c15353ee81d6bcbf.svg\" alt=\"$\\large \\left\\{ (x_i, y_i) \\right\\}_{i=1, \\ldots,n}$\" data-tex=\"inline\"\/><\/math>;<\/li>\n<li>\u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/254\/79f\/698\/25479f6983f7a19e57e1bfc9906e4dd6.svg\" alt=\"$\\large M$\" data-tex=\"inline\"\/><\/math>;<\/li>\n<li>\u0432\u044b\u0431\u043e\u0440 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d58\/bc1\/fc5\/d58bc1fc5aca69de30748a7e62d2e58f.svg\" alt=\"$\\large L(y, f)$\" data-tex=\"inline\"\/><\/math> \u0441 \u0432\u044b\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c;<\/li>\n<li>\u0432\u044b\u0431\u043e\u0440 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/9e6\/248\/612\/9e6248612badea38ca8ddfe7432bd34c.svg\" alt=\"$\\large h(x, \\theta)$\" data-tex=\"inline\"\/><\/math>, \u0441 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u043e\u0439 \u0438\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f;<\/li>\n<li>\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/9e6\/248\/612\/9e6248612badea38ca8ddfe7432bd34c.svg\" alt=\"$\\large h(x, \\theta)$\" data-tex=\"inline\"\/><\/math>, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 \u0443 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0439;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0431\u0435\u0437 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u2014 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/4b6\/ce0\/d45\/4b6ce0d45ac0bc1bf1b1b494776066e2.svg\" alt=\"$\\large f_0(x)$\" data-tex=\"inline\"\/><\/math>. \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/28e\/a16\/886\/28ea168860667b0a29f14d30570351a8.svg\" alt=\"$\\large \\gamma$\" data-tex=\"inline\"\/><\/math>. \u0415\u0433\u043e, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/28a\/dea\/f40\/28adeaf40c9b97eb9404666ab5b655ff.svg\" alt=\"$\\large \\rho $\" data-tex=\"inline\"\/><\/math> \u043d\u0430\u0445\u043e\u0434\u044f\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u043c, \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c line search \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c (\u0430 \u043d\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430). \u0418\u0442\u0430\u043a, GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c GBM \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d00\/4e6\/bb0\/d004e6bb07c24b5f3ff498a1cf02d9a6.svg\" alt=\"$\\large \\hat{f}(x) = \\hat{f}_0, \\hat{f}_0 = \\gamma, \\gamma \\in \\mathbb{R}$\" data-tex=\"inline\"\/><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/308\/2da\/5ea\/3082da5ea816c39fd1f963ab9ae8da3c.svg\" alt=\"$\\large \\hat{f}_0 = \\underset{\\gamma}{\\arg\\min} \\ \\sum_{i = 1}^{n} L(y_i, \\gamma)$\" data-tex=\"inline\"\/><\/math><\/li>\n<li>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/adc\/289\/062\/adc2890629131b7a039918ee8e339a15.svg\" alt=\"$\\large t = 1, \\dots, M$\" data-tex=\"inline\"\/><\/math> \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c:<br \/> \n<ol>\n<li>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/7f8\/5e6\/733\/7f85e67332bdd33090891c3536e77f47.svg\" alt=\"$\\large r_t$\" data-tex=\"inline\"\/><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/3a8\/c46\/fcb\/3a8c46fcbbe85f3244ae5bf225b7355b.svg\" alt=\"$\\large r_{it} = -\\left[\\frac{\\partial L(y_i, f(x_i))}{\\partial f(x_i)}\\right]_{f(x)=\\hat{f}(x)}, \\quad \\mbox{for } i=1,\\ldots,n$\" data-tex=\"inline\"\/><\/math><\/li>\n<li>\u041f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a36\/62b\/30c\/a3662b30c261c09134de4bb011d0fb0f.svg\" alt=\"$\\large h_t(x)$\" data-tex=\"inline\"\/><\/math> \u043a\u0430\u043a \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u043d\u0430 \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ba6\/ee7\/f7d\/ba6ee7f7d0a77396e73f827c2fe629d0.svg\" alt=\"$\\large \\left\\{ (x_i, r_{it}) \\right\\}_{i=1, \\ldots,n}$\" data-tex=\"inline\"\/><\/math><\/li>\n<li>\u041d\u0430\u0439\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ffc\/5df\/9a3\/ffc5df9a339038606c84791da480cd80.svg\" alt=\"$\\large \\rho_t $\" data-tex=\"inline\"\/><\/math> \u043f\u0440\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a36\/62b\/30c\/a3662b30c261c09134de4bb011d0fb0f.svg\" alt=\"$\\large h_t(x)$\" data-tex=\"inline\"\/><\/math> \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/1ff\/8be\/a9b\/1ff8bea9b9190e08072464526e8e3054.svg\" alt=\"$\\large \\rho_t = \\underset{\\rho}{\\arg\\min} \\ \\sum_{i = 1}^{n} L(y_i, \\hat{f}(x_i) + \\rho \\cdot h(x_i, \\theta))$\" data-tex=\"inline\"\/><\/math><\/li>\n<li>\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/9f5\/796\/55b\/9f579655bd311851edff5ec7338a5157.svg\" alt=\"$\\large \\hat{f_t}(x) = \\rho_t \\cdot h_t(x)$\" data-tex=\"inline\"\/><\/math><\/li>\n<li>\u041e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/11d\/751\/a20\/11d751a20de8115684ee326a32e56243.svg\" alt=\"$\\large \\hat{f}(x) \\leftarrow \\hat{f}(x) + \\hat{f_t}(x) = \\sum_{i = 0}^{t} \\hat{f_i}(x)$\" data-tex=\"inline\"\/><\/math> <\/li>\n<\/ol>\n<\/li>\n<li>\u0421\u043a\u043e\u043c\u043f\u043e\u043d\u043e\u0432\u0430\u0442\u044c \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e GBM \u043c\u043e\u0434\u0435\u043b\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/964\/d3f\/adf\/964d3fadfee2c39612380ab8b6dd618e.svg\" alt=\"$\\large \\hat{f}(x) = \\sum_{i = 0}^M \\hat{f_i}(x) $\" data-tex=\"inline\"\/><\/math> <\/li>\n<li>\u041f\u043e\u043a\u043e\u0440\u044f\u0442\u044c kaggle \u0438 \u043c\u0438\u0440 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e (\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0442\u0430\u043c \u0434\u0435\u043b\u0430\u0442\u044c, \u0441\u0430\u043c\u0438 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u0442\u0435\u0441\u044c)<\/li>\n<\/ol>\n<p>  <\/p>\n<h3 id=\"poshagovyy-primer-raboty-gbm\">\u041f\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b GBM<\/h3>\n<p>  <\/p>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 GBM. \u0411\u0443\u0434\u0435\u043c \u0441 \u0435\u0433\u043e \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/bed\/f9d\/0ce\/bedf9d0ce291531e1643c02e579da92e.svg\" alt=\"$\\large y = cos(x) + \\epsilon, \\epsilon \\sim \\mathcal{N}(0, \\frac{1}{5}), x \\in [-5,5]$\" data-tex=\"inline\"\/><\/math>.<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/9fe\/04d\/7ba\/9fe04d7ba5a645d49fc6aa3e875c8c41.jpg\" \/><\/div>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043d\u0430 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435-\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c. \u0421\u0430\u043c\u0438\u0445 \u043f\u0430\u0440 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u043c\u044b \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c 300 \u0448\u0442\u0443\u043a, \u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b 2. \u0421\u043e\u0431\u0435\u0440\u0435\u043c \u0432\u043c\u0435\u0441\u0442\u0435 \u0432\u0441\u0435, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f GBM:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0418\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d9c\/209\/37f\/d9c20937ff740f1d591261532c10e171.svg\" alt=\"$\\large \\left\\{ (x_i, y_i) \\right\\}_{i=1, \\ldots,300}$\" data-tex=\"inline\"\/><\/math> \u2713<\/li>\n<li>\u0427\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/1a4\/ce8\/755\/1a4ce8755aed2e3bd446e066e6c06c7f.svg\" alt=\"$\\large M = 3$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0421\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ab5\/45e\/b91\/ab545eb9173c4fc7b40438170cff6e72.svg\" alt=\"$\\large L(y, f) = (y-f)^2$\" data-tex=\"inline\"\/><\/math> \u2713<br \/>  \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/50b\/322\/fee\/50b322fee96f8942056d8c11c592c8d5.svg\" alt=\"$\\large L(y, f) = L_2$\" data-tex=\"inline\"\/><\/math> loss \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a8c\/bfd\/324\/a8cbfd32403bc49def68ec5b3edecb2b.svg\" alt=\"$\\large r = (y - f)$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0414\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/6f2\/dbd\/0a4\/6f2dbd0a47723a082d0cec5264c1a549.svg\" alt=\"$\\large h(x)$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0439: \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0430\u0432\u043d\u0430 2 \u2713;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0423 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0438 \u0441 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/28e\/a16\/886\/28ea168860667b0a29f14d30570351a8.svg\" alt=\"$\\large \\gamma$\" data-tex=\"inline\"\/><\/math> \u0438 \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ffc\/5df\/9a3\/ffc5df9a339038606c84791da480cd80.svg\" alt=\"$\\large \\rho_t$\" data-tex=\"inline\"\/><\/math>. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c GBM \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/75e\/f17\/1ee\/75ef171ee0a67277291bedb4f5f2459a.svg\" alt=\"$\\large \\gamma = \\frac{1}{n} \\cdot \\sum_{i = 1}^n y_i$\" data-tex=\"inline\"\/><\/math>, \u0430 \u0432\u0441\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ffc\/5df\/9a3\/ffc5df9a339038606c84791da480cd80.svg\" alt=\"$\\large \\rho_t$\" data-tex=\"inline\"\/><\/math> \u0440\u0430\u0432\u043d\u044b 1. <\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c GBM \u0438 \u0431\u0443\u0434\u0435\u043c \u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432: \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math> (\u0441\u0438\u043d\u0438\u0439 \u0433\u0440\u0430\u0444\u0438\u043a), \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u0436\u0434\u043e\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/242\/8d0\/9bb\/2428d09bb9765d69d08766ffc6c31747.svg\" alt=\"$\\large \\hat{f_t}(x)$\" data-tex=\"inline\"\/><\/math> \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445 (\u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a). \u041d\u043e\u043c\u0435\u0440 \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u043e\u043c\u0435\u0440\u0443 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438:<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/edb\/328\/98a\/edb32898ad014d8d95782759d11f63fb.png\" \/><\/div>\n<p>  <\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u043a\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0448\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u041e\u0434\u043d\u0430\u043a\u043e, \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b \u0442\u043e\u043b\u044c\u043a\u043e &quot;\u043b\u0435\u0432\u0443\u044e \u0432\u0435\u0442\u0432\u044c&quot; \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a23\/837\/981\/a238379817135b6a8f8ab55005a5c7ba.svg\" alt=\"$\\large x \\in [-5, -4]$\" data-tex=\"inline\"\/><\/math>). \u0422\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043d\u0430\u0448\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u044b, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e \u0432\u0435\u0442\u043a\u0443 \u0441\u0440\u0430\u0437\u0443, \u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u043d\u0430 \u043b\u0435\u0432\u043e\u0439 \u0432\u0435\u0442\u0432\u0438 \u0431\u044b\u043b\u0430 \u0431\u043e\u043b\u044c\u0448\u0435. \u0422\u0430\u043a \u0447\u0442\u043e, \u043f\u0440\u0430\u0432\u0430\u044f \u0432\u0435\u0442\u0432\u044c &quot;\u043f\u0440\u043e\u0440\u043e\u0441\u043b\u0430&quot; \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438. <\/p>\n<p>  <\/p>\n<p>\u0412 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u043e\u0448\u0435\u043b \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0438 \u043e\u0436\u0438\u0434\u0430\u043b\u0438: \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043d\u0430\u0448\u0438 \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0438\u0441\u044c, \u0430 GBM \u0432\u0441\u0435 \u0431\u043b\u0438\u0436\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u043b \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0441\u0438\u043d\u0443\u0441. \u041e\u0434\u043d\u0430\u043a\u043e, \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 GBM \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043d\u043e \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u0435\u043d. \u0427\u0442\u043e\u0431\u044b \u0441\u0430\u043c\u0438\u043c \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0442\u0435\u043c, \u043a\u0430\u043a GBM \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0432 \u0431\u043b\u043e\u0433\u0435 <a href=\"http:\/\/arogozhnikov.github.io\/2016\/06\/24\/gradient_boosting_explained.html\">Brilliantly wrong<\/a> \u0435\u0441\u0442\u044c \u043e\u0444\u0438\u0433\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0434\u0435\u043c\u043a\u0430:<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/779\/3e0\/e66\/7793e0e66b7d4871b6391a94cd5d4cf2.jpg\" \/><\/div>\n<p><a href=\"http:\/\/arogozhnikov.github.io\/2016\/06\/24\/gradient_boosting_explained.html\"><a href=\"http:\/\/arogozhnikov.github.io\/2016\/06\/24\/gradient_boosting_explained.html\">http:\/\/arogozhnikov.github.io\/2016\/06\/24\/gradient_boosting_explained.html<\/a><\/a><\/p>\n<p>  <\/p>\n<h1 id=\"3-funkcii-poter\">3. \u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/h1>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u043d\u0435 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0430, \u0441\u043a\u0430\u0436\u0435\u043c, \u0437\u0430\u0434\u0430\u0447\u0443 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438? \u041d\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043d\u0430\u0434\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0435 \u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f2f\/cce\/38a\/f2fcce38aaaacdbdc8fe83bac5e0a29f.svg\" alt=\"$\\large y$\" data-tex=\"inline\"\/><\/math> \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d58\/bc1\/fc5\/d58bc1fc5aca69de30748a7e62d2e58f.svg\" alt=\"$\\large L(y, f)$\" data-tex=\"inline\"\/><\/math>. \u042d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u0432\u0430\u0436\u043d\u044b\u0439 \u0432\u0435\u0440\u0445\u043d\u0435\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0439 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438 \u043a\u0430\u043a\u0438\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u043e\u0442 \u043d\u0430\u0448\u0435\u0439 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. <\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0441\u0430\u043c\u0438\u043c \u043d\u0430\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c \u0438 \u0432\u044b\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043d\u0430\u0434\u043e \u2014 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0443\u0436\u0435 \u0432\u0441\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0437\u0430 \u043d\u0430\u0441. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u0432\u0443\u0445 \u0441\u0430\u043c\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0437\u0430\u0434\u0430\u0447: \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/1a3\/4ba\/adc\/1a34baadc518fee8f5c20b00ba4eebd1.svg\" alt=\"$\\large y \\in \\mathbb{R}$\" data-tex=\"inline\"\/><\/math> \u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/509\/029\/f9d\/509029f9d7beaa5c00b77f9e0d2b6b4d.svg\" alt=\"$\\large y \\in \\left\\{-1, 1\\right\\}$\" data-tex=\"inline\"\/><\/math>. \u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439, \u0440\u0430\u043d\u0433\u0430\u043c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0432\u0441\u044f\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u043c\u0438 \u0441\u043b\u0443\u0447\u0430\u044f\u043c\u0438 \u0432\u0440\u043e\u0434\u0435 \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0440\u0430\u0437. <\/p>\n<p>  <\/p>\n<h3 id=\"funkcii-poter-regressii\">\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/h3>\n<p>  <\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u0441 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/1a3\/4ba\/adc\/1a34baadc518fee8f5c20b00ba4eebd1.svg\" alt=\"$\\large y \\in \\mathbb{R}$\" data-tex=\"inline\"\/><\/math>. \u0412\u044b\u0431\u0438\u0440\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043c\u044b \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0435\u0448\u0430\u0435\u043c, \u043a\u0430\u043a\u043e\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/892\/f8e\/530\/892f8e53062c46d8ce96a8da66295e72.svg\" alt=\"$\\large (y|x)$\" data-tex=\"inline\"\/><\/math> \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c. \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0447\u0430\u0441\u0442\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b:<\/p>\n<p>  <\/p>\n<ul>\n<li><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ab5\/45e\/b91\/ab545eb9173c4fc7b40438170cff6e72.svg\" alt=\"$\\large L(y, f) = (y - f)^2$\" data-tex=\"inline\"\/><\/math>, \u043e\u043d\u043e \u0436\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b45\/a10\/0e8\/b45a100e886162c2411bfe4ff431782a.svg\" alt=\"$\\large L_2$\" data-tex=\"inline\"\/><\/math> loss, \u043e\u043d\u043e \u0436\u0435 Gaussian loss. \u042d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u0441\u0430\u043c\u044b\u0439 \u0447\u0430\u0441\u0442\u044b\u0439 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442. \u0415\u0441\u043b\u0438 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043a \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 (\u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438) \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0435\u0433\u043e.<\/li>\n<li><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/5d3\/019\/cf4\/5d3019cf49a616004f5f743b762ff752.svg\" alt=\"$\\large L(y, f) = |y - f|$\" data-tex=\"inline\"\/><\/math>, \u043e\u043d\u043e \u0436\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/eb3\/d31\/417\/eb3d31417cf578ff8fea0ad9b2f814ee.svg\" alt=\"$\\large L_1$\" data-tex=\"inline\"\/><\/math> loss, \u043e\u043d\u043e \u0436\u0435 Laplacian loss. \u042d\u0442\u0430, \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u0432\u0435\u0449\u044c, \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0434\u0438\u0430\u043d\u0443. \u041c\u0435\u0434\u0438\u0430\u043d\u0430, \u043a\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430 \u043a \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u0435\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u043d\u0435 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f, \u043d\u0435\u0436\u0435\u043b\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f.<\/li>\n<li><math>$inline$ \\large \\begin{equation} L(y, f) =\\left\\{ \\begin{array}{@{}ll@{}} (1 &#8212; \\alpha) \\cdot |y &#8212; f|, &#038; \\text{if}\\ |y-f| \\leq 0 \\\\ \\alpha \\cdot |y &#8212; f|, &#038; \\text{if}\\ |y-f| &gt;0 \\end{array}\\right. \\end{equation}, \\alpha \\in (0,1) $inline$<\/math>, \u043e\u043d\u043e \u0436\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/288\/00d\/7aa\/28800d7aa91b533e95c176cd3dd7101d.svg\" alt=\"$\\large L_q$\" data-tex=\"inline\"\/><\/math> loss, \u043e\u043d\u043e \u0436\u0435 Quantile loss. \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u0438 \u043d\u0435 \u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0434\u0438\u0430\u043d\u0443 \u0441 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/eb3\/d31\/417\/eb3d31417cf578ff8fea0ad9b2f814ee.svg\" alt=\"$\\large L_1$\" data-tex=\"inline\"\/><\/math>, \u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e 75%-\u043a\u0432\u0430\u043d\u0442\u0438\u043b\u044c, \u043c\u044b \u0431\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u044d\u0442\u0438\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u0441 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/c8a\/78c\/35f\/c8a78c35f98df825f679863eb01d9f2f.svg\" alt=\"$\\large \\alpha = 0.75$\" data-tex=\"inline\"\/><\/math>. \u041c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u0441\u0441\u0438\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043f\u043e \u043d\u0443\u0436\u043d\u0443\u044e \u043d\u0430\u043c \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u0438. <\/li>\n<\/ul>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/6d5\/e3a\/09c\/6d5e3a09c703491b947fde851e412ac0.png\"\/>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/288\/00d\/7aa\/28800d7aa91b533e95c176cd3dd7101d.svg\" alt=\"$\\large L_q$\" data-tex=\"inline\"\/><\/math> \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e 75%-\u043a\u0432\u0430\u043d\u0442\u0438\u043b\u044c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u0430. \u0421\u043e\u0431\u0435\u0440\u0435\u043c \u0432\u0441\u0435 \u0432\u043e\u0435\u0434\u0438\u043d\u043e:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0418\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d9c\/209\/37f\/d9c20937ff740f1d591261532c10e171.svg\" alt=\"$\\large \\left\\{ (x_i, y_i) \\right\\}_{i=1, \\ldots,300}$\" data-tex=\"inline\"\/><\/math> \u2713<\/li>\n<li>\u0427\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/1a4\/ce8\/755\/1a4ce8755aed2e3bd446e066e6c06c7f.svg\" alt=\"$\\large M = 3$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u041a\u0432\u0430\u043d\u0442\u0438\u043b\u044c\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c <math>$inline$ \\large \\begin{equation} L_{0.75}(y, f) =\\left\\{ \\begin{array}{@{}ll@{}} 0.25 \\cdot |y &#8212; f|, &#038; \\text{if}\\ |y-f| \\leq 0 \\\\ 0.75 \\cdot |y &#8212; f|, &#038; \\text{if}\\ |y-f| &gt;0 \\end{array}\\right. \\end{equation} $inline$<\/math> \u2713;<\/li>\n<li>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/37a\/850\/998\/37a850998d13679144bc68c006c06bbd.svg\" alt=\"$\\large L_{0.75}(y, f)$\" data-tex=\"inline\"\/><\/math> \u2014 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u043d\u0430\u0448\u0438\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/c8a\/78c\/35f\/c8a78c35f98df825f679863eb01d9f2f.svg\" alt=\"$\\large \\alpha = 0.75$\" data-tex=\"inline\"\/><\/math>. \u041c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0447\u0435\u043c\u0443-\u0442\u043e, \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0435\u043c\u0443 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440:<br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/427\/faf\/524\/427faf524235997a36624a82947f8ef7.svg\" alt=\"$\\large r_{i} = -\\left[\\frac{\\partial L(y_i, f(x_i))}{\\partial f(x_i)}\\right]_{f(x)=\\hat{f}(x)} = $\" data-tex=\"inline\"\/><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/391\/2c0\/777\/3912c077746aed3ff8a5b4420fe1b8fc.svg\" alt=\"$\\large = \\alpha I(y_i &gt; \\hat{f}(x_i) ) - (1 - \\alpha)I(y_i \\leq \\hat{f}(x_i) ), \\quad \\mbox{for } i=1,\\ldots,300$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0414\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/6f2\/dbd\/0a4\/6f2dbd0a47723a082d0cec5264c1a549.svg\" alt=\"$\\large h(x)$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0439: \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0430\u0432\u043d\u0430 2 \u2713;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0435 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0437\u044f\u0442\u044c \u043d\u0443\u0436\u043d\u0443\u044e \u043d\u0430\u043c \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f2f\/cce\/38a\/f2fcce38aaaacdbdc8fe83bac5e0a29f.svg\" alt=\"$\\large y$\" data-tex=\"inline\"\/><\/math>. \u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u0440\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ffc\/5df\/9a3\/ffc5df9a339038606c84791da480cd80.svg\" alt=\"$\\large \\rho_t$\" data-tex=\"inline\"\/><\/math> \u043d\u0430\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0442\u0430\u043a \u0447\u0442\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c line search. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c:<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/0e6\/7dd\/614\/0e67dd614076499e91c8c4238457ae4d.png\" \/><\/div>\n<p>  <\/p>\n<p>\u041d\u0435\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u2014 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/8c4\/b48\/dcb\/8c4b48dcbfea117a96c24f4d4f23269e.svg\" alt=\"$\\large r_{i} $\" data-tex=\"inline\"\/><\/math> \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041e\u0434\u043d\u0430\u043a\u043e, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0440\u0430\u0431\u043e\u0442\u044b GBM \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u043d\u0430\u0448\u0443 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e. <\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0447\u0442\u043e \u0438 \u0441 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c, \u0441\u043c\u0435\u0449\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/9b7\/7f4\/d76\/9b77f4d76de504f60e4bf6c5c05b8365.svg\" alt=\"$\\large \\approx 0.135$\" data-tex=\"inline\"\/><\/math>. \u041d\u043e \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0438\u0441\u043a\u0430\u043b\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u0438 \u0432\u044b\u0448\u0435 90%, \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u0447\u0435\u043a \u0432\u044b\u0448\u0435 \u043d\u0443\u0436\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e (\u043a\u0430\u043a \u043d\u0435\u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b), \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f. \u041f\u0440\u043e \u0442\u0430\u043a\u0438\u0435 \u043d\u044e\u0430\u043d\u0441\u044b \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c\u0441\u044f, \u0440\u0435\u0448\u0430\u044f \u043d\u0435\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p>  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u0415\u0449\u0435 \u0447\u0443\u0442\u044c-\u0447\u0443\u0442\u044c \u043f\u0440\u043e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/b><\/p>\n<div class=\"spoiler_text\">\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u043e\u0442\u0435\u0440\u044c, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438 \u0440\u043e\u0431\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438. \u041e\u0434\u0438\u043d \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0413\u0443\u0431\u0435\u0440\u0430, \u043e\u043d\u0430 \u0436\u0435 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Huber_loss\">Huber loss<\/a>. \u0421\u0443\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f\u0445 \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b45\/a10\/0e8\/b45a100e886162c2411bfe4ff431782a.svg\" alt=\"$\\large L_2$\" data-tex=\"inline\"\/><\/math>, \u0430 \u0441 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430, \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043a\u0430\u043a <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/eb3\/d31\/417\/eb3d31417cf578ff8fea0ad9b2f814ee.svg\" alt=\"$\\large L_1$\" data-tex=\"inline\"\/><\/math>. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0432\u043a\u043b\u0430\u0434 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432 \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0437\u0430 \u043d\u0438\u043c\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e-\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u043e\u0431\u0449\u0438\u0439 \u0432\u0438\u0434 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0430\u043a\u0446\u0435\u043d\u0442\u0438\u0440\u0443\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043c\u0435\u043b\u043a\u0438\u0445 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044f\u0445 \u0438 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f\u0445. <\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/cd0\/139\/06c\/cd013906c827ac791d8c451e592fb3f2.svg\" alt=\"$\\large y = \\frac{sin(x)}{x}$\" data-tex=\"inline\"\/><\/math>, \u043a \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u044b\u043b \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0448\u0443\u043c: \u0441\u043c\u0435\u0441\u044c \u0438\u0437 \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438, \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0435\u0433\u043e \u0432 \u0440\u043e\u043b\u0438 \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0433\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432. \u0421\u0430\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445 A-D, \u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0438\u043c GBM \u2014 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445 F-H (\u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 E \u2014 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f):<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/130\/05b\/222\/13005b222e8a4eb68c3936216c05e276.jpg\" \/><\/div>\n<p>\u0418 \u0432 <a href=\"https:\/\/habrastorage.org\/web\/130\/05b\/222\/13005b222e8a4eb68c3936216c05e276.jpg\">\u043a\u0440\u0443\u043f\u043d\u043e\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0438<\/a>.<\/p>\n<p>  <\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u0431\u044b\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0441\u043f\u043b\u0430\u0439\u043d\u044b. \u041c\u044b \u0432\u0435\u0434\u044c \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438, \u0447\u0442\u043e \u0431\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u044f? \u041e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0447\u0430\u0449\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435 \u0438 \u043a\u0430\u043a\u0438\u0435 \u0443 \u043d\u0438\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u043e GBM (\u0447\u0430\u0441\u0442\u044c 2). \u041c\u044b \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0432 \u0431\u043e\u043d\u0443\u0441\u043d\u043e\u0439 \u0441\u0435\u043a\u0446\u0438\u0438 \u043a\u0443\u0440\u0441\u0430, \u043a\u0443\u0434\u0430 \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c\u044b\u0435 \u0441\u0442\u043e\u0439\u043a\u0438\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u043b\u0435\u0433\u043a\u0438\u0435 \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0438\u0437-\u0437\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0448\u0443\u043c\u043e\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b45\/a10\/0e8\/b45a100e886162c2411bfe4ff431782a.svg\" alt=\"$\\large L_2$\" data-tex=\"inline\"\/><\/math>, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/eb3\/d31\/417\/eb3d31417cf578ff8fea0ad9b2f814ee.svg\" alt=\"$\\large L_1$\" data-tex=\"inline\"\/><\/math> \u0438 Huber loss \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u0430. \u041f\u0440\u0438 \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u043e\u043c \u043f\u043e\u0434\u0431\u043e\u0440\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 Huber loss \u043c\u044b \u0434\u0430\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0443\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0440\u0435\u0434\u0438 \u043d\u0430\u0448\u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432. \u0410 \u0435\u0449\u0435 \u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u044f\u0445 (10%, 50% \u0438 90% \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435). <\/p>\n<p>  <\/p>\n<p>\u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0444\u0443\u043d\u043a\u0446\u0438\u044f Huber loss \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043d\u0435 \u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445 (\u0432 h2o \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430, \u0432 xgboost \u0435\u0449\u0435 \u043d\u0435\u0442). \u042d\u0442\u043e \u0436\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u043e\u0442\u0435\u0440\u044c, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0438 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u0438, \u0438 \u0442\u0430\u043a\u0438\u0435 \u044d\u043a\u0437\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0435\u0449\u0438 \u043a\u0430\u043a <a href=\"https:\/\/www.slideshare.net\/charthur\/quantile-and-expectile-regression\">\u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u043a\u0442\u0438\u043b\u0438<\/a>. \u041d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0438\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<\/div>\n<\/div>\n<p>  <\/p>\n<h3 id=\"funkcii-poter-klassifikacii\">\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/h3>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e, \u043a\u043e\u0433\u0434\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/509\/029\/f9d\/509029f9d7beaa5c00b77f9e0d2b6b4d.svg\" alt=\"$\\large y \\in \\left\\{-1, 1\\right\\}$\" data-tex=\"inline\"\/><\/math>. \u041c\u044b \u0443\u0436\u0435 \u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e GBM \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u0436\u0435 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0418 \u0432\u043e\u043e\u0431\u0449\u0435, \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b, \u043d\u0435 \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u044f\u0441\u044c, \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439 \u043a\u0430\u043a \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 \u043a\u0430\u043a\u0438\u043c-\u043d\u0438\u0431\u0443\u0434\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b45\/a10\/0e8\/b45a100e886162c2411bfe4ff431782a.svg\" alt=\"$\\large L_2$\" data-tex=\"inline\"\/><\/math> loss, \u043d\u043e \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e (\u0445\u043e\u0442\u044f \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e). <\/p>\n<p>  <\/p>\n<p>\u0418\u0437-\u0437\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u0430\u043c\u0438 \u043c\u0435\u0442\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0430 \u0438\u0445 log-\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430\u0434 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043a\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/44b\/482\/2f4\/44b4822f49ff349a7d1c45d6d5f89e05.svg\" alt=\"$\\large y \\cdot f$\" data-tex=\"inline\"\/><\/math> (\u043d\u0435 \u0441\u043f\u0440\u043e\u0441\u0442\u0430 \u0436\u0435 \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043c\u0435\u0442\u043a\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u043d\u0430\u043a\u043e\u0432). \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0442\u0430\u043a\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p>  <\/p>\n<ul>\n<li><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/bc5\/3ce\/d1c\/bc53ced1c3f35156e27176298db5a9ea.svg\" alt=\"$\\large L(y, f) = log(1 + exp(-2yf))$\" data-tex=\"inline\"\/><\/math>, \u043e\u043d\u0430 \u0436\u0435 Logistic loss, \u043e\u043d\u0430 \u0436\u0435 Bernoulli loss. \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u043c \u0434\u0430\u0436\u0435 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u041d\u0435\u0442, \u044d\u0442\u043e \u043d\u0435 \u0431\u0430\u0433. \u041d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u044d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c &quot;\u0440\u0430\u0437\u0434\u0432\u0438\u0433\u0430\u0442\u044c&quot; \u043a\u043b\u0430\u0441\u0441\u044b \u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u0441\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u0435\u0440\u043d\u043e. \u042d\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0438 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. <\/li>\n<li><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/78d\/d18\/a4c\/78dd18a4cc8a8622b864dd2b25886d09.svg\" alt=\"$\\large L(y, f) = exp(-yf)$\" data-tex=\"inline\"\/><\/math>, \u043e\u043d\u043e \u0436\u0435 Adaboost loss. \u0422\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 Adaboost \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u0435\u043d GBM \u0441 \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c. \u041a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0430 \u043d\u0430 Logistic loss, \u043d\u043e \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0436\u0435\u0441\u0442\u043a\u0438\u0439 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0448\u0442\u0440\u0430\u0444 \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0436\u0435. <\/li>\n<\/ul>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/bf5\/9de\/dcf\/bf59dedcfd9d49b18e89ce342b09ce69.png\"\/>  <\/p>\n<p>\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u044b\u0435 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0430\u0448 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u0441\u0438\u043d\u0443\u0441, \u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e sign. \u041d\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c (jitter-\u0448\u0443\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438): <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/e72\/513\/78b\/e7251378bf6d459ab1aeea7a1f1996a1.jpg\"\/>  <\/p>\n<p>\u0412\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f Logistic loss, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u0436\u0435 \u043c\u044b \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0431\u0443\u0441\u0442\u0438\u043c. \u041a\u0430\u043a \u0438 \u043f\u0440\u0435\u0436\u0434\u0435, \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0432\u043e\u0435\u0434\u0438\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0440\u0435\u0448\u0430\u0442\u044c:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0418\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f96\/a41\/c3d\/f96a41c3dc74ee2a4caa8c7fac885952.svg\" alt=\"$\\large \\left\\{ (x_i, y_i) \\right\\}_{i=1, \\ldots,300}, y_i \\in \\left\\{-1, 1\\right\\}$\" data-tex=\"inline\"\/><\/math> \u2713<\/li>\n<li>\u0427\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/1a4\/ce8\/755\/1a4ce8755aed2e3bd446e066e6c06c7f.svg\" alt=\"$\\large M = 3$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u2014 Logistic loss, \u0435\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a:<br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ebd\/73b\/51f\/ebd73b51f97cb9a26f88416d2c50b3da.svg\" alt=\"$\\large r_{i} = \\frac{2 \\cdot y_i}{1 + exp(2 \\cdot y_i \\cdot \\hat{f}(x_i)) }, \\quad \\mbox{for } i=1,\\ldots,300$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0414\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/6f2\/dbd\/0a4\/6f2dbd0a47723a082d0cec5264c1a549.svg\" alt=\"$\\large h(x)$\" data-tex=\"inline\"\/><\/math> \u2713;<\/li>\n<li>\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0439: \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0440\u0430\u0432\u043d\u0430 2 \u2713;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u0441 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432\u0441\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043d\u0430\u0448\u0438 \u043a\u043b\u0430\u0441\u0441\u044b \u043d\u0435\u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u044b \u0432 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 63% \u043d\u0430 37%. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0434\u043b\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e. \u0422\u0430\u043a \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/49a\/655\/d2f\/49a655d2f7eaecb03f5247ebee9f42fc.svg\" alt=\"$\\large \\hat{f_0} = \\gamma$\" data-tex=\"inline\"\/><\/math> \u043f\u043e\u0438\u0441\u043a\u043e\u043c:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/f8a\/054\/702\/f8a05470271448d9bc0d4dc3e524a571.png\"\/>  <\/p>\n<p>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0448\u043b\u043e\u0441\u044c \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 -0.273. \u041c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0434\u043e\u0433\u0430\u0434\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c (\u043d\u0430\u043c \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u0441\u0435\u0445 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u043c), \u043d\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0441\u043a\u0430\u0437\u0430\u043b\u0438, \u043d\u0435\u0442. \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u0443\u0436\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c GBM \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0436\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0434 \u0435\u0433\u043e \u043a\u0430\u043f\u043e\u0442\u043e\u043c:<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/7b4\/ab0\/5fa\/7b4ab05fa0a543bfad94950e47f91568.png\" \/><\/div>\n<p>  <\/p>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0443\u0441\u043f\u0435\u0448\u043d\u043e, \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0448\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f &quot;\u043d\u0438\u0436\u043d\u0438\u0435&quot; \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u0432 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u0438 \u043a\u0430\u043a \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u0441\u0442\u0443\u043f\u0435\u043d\u044c\u043a\u0438, \u0433\u0434\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u0431\u044b\u043b\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0430\u043d\u044b. \u041d\u0430 \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0438 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0438\u0437-\u0437\u0430 \u0448\u0443\u043c\u0430 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a-\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 GBM \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 (\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043d\u0430 \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c). <\/p>\n<p>  <\/p>\n<h3 id=\"vesa\">\u0412\u0435\u0441\u0430<\/h3>\n<p>  <\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 \u0444\u0438\u043d\u0430\u043d\u0441\u043e\u0432\u044b\u0445 \u0440\u044f\u0434\u043e\u0432 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0445\u043e\u0442\u0435\u0442\u044c \u043f\u0440\u0438\u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u0435\u0441 \u043a\u0440\u0443\u043f\u043d\u044b\u043c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u044f\u0434\u0430, \u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u0442\u043e\u043a\u0430 \u2014 \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043e\u0442\u0442\u043e\u043a \u0443 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u0441 \u0432\u044b\u0441\u043e\u043a\u0438\u043c LTV (lifetime value, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u043d\u0435\u0433 \u043a\u043b\u0438\u0435\u043d\u0442 \u043d\u0430\u043c \u043f\u0440\u0438\u043d\u0435\u0441\u0435\u0442 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c). <\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/0c0\/ad0\/3a4\/0c0ad03a4c4b46bfa5bcd5101678c9c4.jpg\" \/><\/div>\n<p>  <\/p>\n<p>\u0418\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u043e\u0438\u043d\u0430 \u2014 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c, \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u0434\u043b\u044f \u043d\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e (\u0430 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0435\u0449\u0435 \u0438 \u0413\u0435\u0441\u0441\u0438\u0430\u043d), \u0438 \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442 \u043b\u0438 \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c. \u041e\u0434\u043d\u0430\u043a\u043e, \u0432\u044b\u0441\u043e\u043a\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0433\u0434\u0435-\u0442\u043e \u043e\u0448\u0438\u0431\u0438\u0442\u044c\u0441\u044f, \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u043c\u0438, \u0434\u0430 \u0438 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0435\u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f. <\/p>\n<p>  <\/p>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0431\u044b\u043b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u0435\u0434\u043a\u043e \u0432\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u2014 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0438 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f \u2014 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0434\u043b\u044f \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0430\u043a \u0432\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/01c\/707\/3a3\/01c7073a3c9cec139d9e838f9f0046a0.svg\" alt=\"$\\large x$\" data-tex=\"inline\"\/><\/math>, \u0442\u0430\u043a \u0438 \u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f2f\/cce\/38a\/f2fcce38aaaacdbdc8fe83bac5e0a29f.svg\" alt=\"$\\large y$\" data-tex=\"inline\"\/><\/math> \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0434\u0430\u0435\u043c \u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u0435\u0441 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/0bc\/fde\/aac\/0bcfdeaac455212e54b75f4884624364.svg\" alt=\"$\\large w(x,y)$\" data-tex=\"inline\"\/><\/math>. \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u0443\u043c\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u0441\u043e\u0432: <\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/79c\/e6e\/673\/79ce6e6738410af3b10ede52c89d9a90.svg\" alt=\"$ \\large w_i \\in \\mathbb{R}, \\\\ \\large w_i \\geq 0 \\quad \\mbox{for } i=1,\\ldots,n, \\\\ \\large \\sum_{i = 1}^n w_i &gt; 0 $\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<p>\u0412\u0435\u0441\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u043f\u043e\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u0441\u0430\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e\u0434 \u0440\u0435\u0448\u0430\u0435\u043c\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043e\u0449\u0440\u044f\u044e\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441 \u0446\u0435\u043b\u0435\u0432\u044b\u043c\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0432\u0435\u0441\u0430 \u2014 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430\u0448\u0430 \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044f \u0433\u043b\u0430\u0437\u0430 \u043d\u0430 \u0438\u0445 \u043f\u0440\u0438\u0440\u043e\u0434\u0443:<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/c44\/5c6\/deb\/c445c6deb6dd25bd58caa1be26a52dd1.svg\" alt=\"$ \\large L_{w}(y,f) = w \\cdot L(y,f), \\\\ \\large r_{it} = - w_i \\cdot \\left[\\frac{\\partial L(y_i, f(x_i))}{\\partial f(x_i)}\\right]_{f(x)=\\hat{f}(x)}, \\quad \\mbox{for } i=1,\\ldots,n$\" data-tex=\"display\"\/><\/math><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043f\u0440\u0438\u0432\u044f\u0437\u044b\u0432\u0430\u044f \u0432\u0435\u0441\u0430 \u043a \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f2f\/cce\/38a\/f2fcce38aaaacdbdc8fe83bac5e0a29f.svg\" alt=\"$\\large y$\" data-tex=\"inline\"\/><\/math>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0435\u043b\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u043a\u043e\u043b\u0435\u043d\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432, \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/c5e\/803\/828\/c5e8038285c0c81a07d7700fbf4816e5.svg\" alt=\"$\\large |y|$\" data-tex=\"inline\"\/><\/math> \u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/eb3\/d31\/417\/eb3d31417cf578ff8fea0ad9b2f814ee.svg\" alt=\"$\\large L_1$\" data-tex=\"inline\"\/><\/math> \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u2014 \u043d\u0435 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b45\/a10\/0e8\/b45a100e886162c2411bfe4ff431782a.svg\" alt=\"$\\large L_2$\" data-tex=\"inline\"\/><\/math> loss, \u0442\u0430\u043a \u043a\u0430\u043a \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u0430\u043c\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f0a\/82d\/293\/f0a82d29336962246f316fd89dd0a509.svg\" alt=\"$\\large \\hat{f}(x)$\" data-tex=\"inline\"\/><\/math>. <\/p>\n<p>  <\/p>\n<p>\u041c\u044b \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u043c \u0432\u0441\u0435 \u044d\u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439-\u043d\u0438\u0431\u0443\u0434\u044c \u043e\u0447\u0435\u043d\u044c \u044d\u043a\u0437\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0432\u0435\u0441\u043e\u0432 \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0417\u0430\u0434\u0430\u0434\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0443\u044e \u0432\u0435\u0441\u043e\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <\/p>\n<p><math>$$display$$ \\large \\begin{equation} w(x) =\\left\\{ \\begin{array}{@{}ll@{}} 0.1, &#038; \\text{if}\\ x \\leq 0 \\\\ 0.1 + |cos(x)|, &#038; \\text{if}\\ x &gt;0 \\end{array}\\right. \\end{equation} $$display$$<\/math><\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/8c2\/1b1\/aa4\/8c21b1aa47134f7aa46b15ef910369b2.png\" \/><\/div>\n<p>  <\/p>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u0430\u043a\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0434\u0432\u0430 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430: \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043d\u0430 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/01c\/707\/3a3\/01c7073a3c9cec139d9e838f9f0046a0.svg\" alt=\"$\\large x$\" data-tex=\"inline\"\/><\/math>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0444\u043e\u0440\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0441\u0438\u043d\u0443\u0441. \u0412\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 GBM \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u0438\u0437 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439, \u0432\u043a\u043b\u044e\u0447\u0430\u044f line search \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c:<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/afc\/cca\/72a\/afccca72a0774990b685de37b0fe9d9f.png\" \/><\/div>\n<p>  <\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f, \u043a\u0430\u043a\u043e\u0439 \u043c\u044b \u0438 \u043e\u0436\u0438\u0434\u0430\u043b\u0438. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0432\u0438\u0434\u043d\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443 \u043d\u0430\u0441 \u0441\u0442\u0430\u043b\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043f\u0441\u0435\u0432\u0434\u043e-\u043e\u0441\u0442\u0430\u0442\u043a\u0438, \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044f \u043d\u0430\u0448 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0441\u0438\u043d\u0443\u0441. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043b\u0435\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0431\u044b\u043b\u0430 \u0432\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u043f\u0440\u043e\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u043f\u0440\u0430\u0432\u043e\u0439, \u0438\u043c\u0435\u0432\u0448\u0435\u0439 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0432\u0435\u0441\u0430. \u0412-\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043d\u0430\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u0442\u0430\u043b\u0435\u0439, \u0441\u0442\u0430\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0441\u0438\u043d\u0443\u0441 (\u0430 \u0442\u0430\u043a\u0436\u0435, \u043d\u0430\u0447\u0430\u0432 \u043b\u0435\u0433\u043a\u0443\u044e \u043f\u0435\u0440\u0435\u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0443).<\/p>\n<p>  <\/p>\n<p>\u0412\u0435\u0441\u0430 \u2014 \u044d\u0442\u043e \u043c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u043d\u0430 \u043d\u0430\u0448 \u0441\u0442\u0440\u0430\u0445 \u0438 \u0440\u0438\u0441\u043a, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c, \u0441\u0442\u043e\u0438\u0442 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0448\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443, \u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0432 \u043d\u0435\u0435 \u0432\u0435\u0441\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443 \u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u044e.<\/p>\n<p>  <\/p>\n<h1 id=\"4-itog-pro-teoriyu-gbm\">4. \u0418\u0442\u043e\u0433 \u043f\u0440\u043e \u0442\u0435\u043e\u0440\u0438\u044e GBM<\/h1>\n<p>  <\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0442\u0435\u043e\u0440\u0438\u044e \u043f\u0440\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433. GBM \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0430 \u043e\u0431\u0449\u0430\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f, \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u0438\u0447\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u0438\u0431\u043a\u0430\u044f \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u0430\u044f: \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0435\u0449\u0435 \u0438 \u043d\u0430\u0432\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u043d\u0430 \u043d\u0438\u0445 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0432\u0435\u0441\u043e\u0432\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. <\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430, \u0438 \u043e\u043f\u044b\u0442 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0439 \u043f\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 (\u0432\u0441\u0435 \u043a\u0440\u043e\u043c\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0438 \u0430\u0443\u0434\u0438\u043e, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445), GBM \u043e\u0447\u0435\u043d\u044c \u0447\u0430\u0441\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c (\u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u044f stacking-\u0430 \u0438 \u0432\u0435\u0440\u0445\u043d\u0435\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0445 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439, \u0433\u0434\u0435 GBM \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u043e\u0442\u044a\u0435\u043c\u043b\u0435\u043c\u043e\u0439 \u0438\u0445 \u0447\u0430\u0441\u0442\u044c\u044e). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u0438 GBM <a href=\"https:\/\/arxiv.org\/abs\/1603.04119\">\u043f\u043e\u0434 Reinforcement Learning<\/a> (Minecraft, ICML 2016), \u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0412\u0438\u043e\u043b\u0430-\u0414\u0436\u043e\u043d\u0441\u0430, \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u0432 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u043c \u0437\u0440\u0435\u043d\u0438\u0438, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Viola%E2%80%93Jones_object_detection_framework#Learning_algorithm\">\u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 Adaboost<\/a>.<\/p>\n<p>  <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 GBM, \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u044e, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0441 \u043d\u0438\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u041d\u0435\u0441\u043f\u0440\u043e\u0441\u0442\u0430 \u043c\u044b \u0432\u0435\u0437\u0434\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/1a4\/ce8\/755\/1a4ce8755aed2e3bd446e066e6c06c7f.svg\" alt=\"$\\large M = 3$\" data-tex=\"inline\"\/><\/math>. \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043d\u0435 3, \u0430 30 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 GBM \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0432\u044b\u0448\u0435, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0448\u0435\u043b \u0431\u044b \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u043c:<\/p>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/ad8\/366\/a44\/ad8366a4469346c6b2e1306495b05d1a.jpg\" \/><\/div>\n<p>  <\/p>\n<p>\u041e \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0432 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445, \u0438 \u043a\u0430\u043a \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 GBM, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u0412 \u043d\u0435\u0439 \u0436\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b \u2014 <a href=\"https:\/\/github.com\/dmlc\/xgboost\">xgboost<\/a>, <a href=\"https:\/\/github.com\/Microsoft\/LightGBM\">lightgbm<\/a> \u0438 <a href=\"http:\/\/docs.h2o.ai\/h2o\/latest-stable\/h2o-docs\/data-science\/gbm.html\">h2o<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0443\u0435\u043c\u0441\u044f \u0432 \u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435. \u0410 \u043f\u043e\u043a\u0430 \u043c\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0432\u0430\u043c \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 GBM \u0432 \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0434\u0435\u043c\u043a\u0435 <a href=\"http:\/\/arogozhnikov.github.io\/2016\/07\/05\/gradient_boosting_playground.html\">Brliiantly wrong<\/a>:<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/27f\/0f5\/3be\/27f0f53be9424cb1afaffb9a0e32909f.jpg\" \/><\/div>\n<p><a href=\"http:\/\/arogozhnikov.github.io\/2016\/07\/05\/gradient_boosting_playground.html\"><a href=\"http:\/\/arogozhnikov.github.io\/2016\/07\/05\/gradient_boosting_playground.html\">http:\/\/arogozhnikov.github.io\/2016\/07\/05\/gradient_boosting_playground.html<\/a><\/a><\/p>\n<p>  <\/p>\n<h1 id=\"5-domashnee-zadanie-10\">5. \u0414\u043e\u043c\u0430\u0448\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u211610<\/h1>\n<p>  <\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u0441 \u0442\u0435\u043e\u0440\u0438\u0435\u0439 GBM \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0435\u0449\u0435 \u043d\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043f\u0440\u043e GBM \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043a \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0442\u0435\u043e\u0440\u0438\u0438. <\/p>\n<p>  <\/p>\n<p>\u0412\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c GBM \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0422\u0430\u043a\u0436\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 GBM \u0434\u043b\u044f <a href=\"https:\/\/www.kaggle.com\/wiki\/RootMeanSquaredLogarithmicError\">RMSLE<\/a> \u0438 <a href=\"https:\/\/www.kaggle.com\/c\/rossmann-store-sales#evaluation\">RMSPE<\/a> \u043c\u0435\u0442\u0440\u0438\u043a, \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u0438\u0441\u0430\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c (\u0438 \u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b). <\/p>\n<p>  <\/p>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0434\u0430\u043d\u044b \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u043c \u043a \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0441\u0443\u0442\u043e\u043a \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438. <\/p>\n<p>  <\/p>\n<h1 id=\"6-poleznye-ssylki\">6. \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/h1>\n<p>  <\/p>\n<ul>\n<li><a href=\"https:\/\/statweb.stanford.edu\/~jhf\/ftp\/trebst.pdf\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f<\/a> \u043f\u0440\u043e GBM \u043e\u0442 Jerome Friedman<\/li>\n<li><a href=\"http:\/\/statweb.stanford.edu\/~tibs\/ElemStatLearn\/printings\/ESLII_print10.pdf\">\u0413\u043b\u0430\u0432\u0430 \u0432 Elements of Statistical Learning<\/a> \u043e\u0442 Hastie, Tibshirani, Friedman (\u0441\u0442\u0440. 337)<\/li>\n<li><a href=\"https:\/\/en.wikipedia.org\/wiki\/Gradient_boosting\">Wiki<\/a> \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e Gradient Boosting<\/li>\n<li><a href=\"https:\/\/www.ncbi.nlm.nih.gov\/pmc\/articles\/PMC3885826\/\">Frontiers tutorial<\/a> \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e GBM (\u043b\u0430\u0439\u0442\u043e\u0432\u044b\u0439 \u0441\u0430\u043c\u043e\u043f\u0438\u0430\u0440)<\/li>\n<li><a href=\"https:\/\/www.youtube.com\/watch?v=wPqtzj5VZus\">\u0412\u0438\u0434\u0435\u043e-\u043b\u0435\u043a\u0446\u0438\u044f Hastie<\/a> \u043f\u0440\u043e GBM \u043d\u0430 h2o.ai \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438<\/li>\n<li><a href=\"https:\/\/youtu.be\/5NBNTl0aCng\">\u0412\u0438\u0434\u0435\u043e-\u043b\u0435\u043a\u0446\u0438\u044f \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440\u0430 \u0413\u0443\u043b\u0438\u043d\u0430<\/a> \u043f\u0440\u043e \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0442 \u0422\u0435\u0445\u043d\u043e\u0441\u0444\u0435\u0440\u044b<\/li>\n<li>\u0412\u0438\u0434\u0435\u043e-\u043b\u0435\u043a\u0446\u0438\u0438 \u041a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0438\u043d\u0430 \u0412\u043e\u0440\u043e\u043d\u0446\u043e\u0432\u0430 (<a href=\"https:\/\/youtu.be\/vXDmq5i77F4?list=PLJOzdkh8T5kpGiIQttuMwo3jLciewjd7R\">\u0447\u0430\u0441\u0442\u044c 1<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=W4CI3AUtw3Y&amp;index=15&amp;list=PLJOzdkh8T5kpGiIQttuMwo3jLciewjd7R\">\u0447\u0430\u0441\u0442\u044c 2<\/a>) \u043f\u0440\u043e \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0442 \u0428\u043a\u043e\u043b\u044b \u0410\u043d\u0430\u043b\u0438\u0437\u0430 \u0414\u0430\u043d\u043d\u044b\u0445<\/li>\n<\/ul>\n<p>  <\/p>\n<p><em>\u041e\u0441\u043e\u0431\u0430\u044f \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u043d\u043e\u0441\u0442\u044c <a href=\"https:\/\/habrahabr.ru\/users\/yorko\/\" class=\"user_link\">yorko<\/a> (\u042e\u0440\u0438\u044e \u041a\u0430\u0448\u043d\u0438\u0446\u043a\u043e\u043c\u0443) \u0437\u0430 \u0446\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/habrahabr.ru\/users\/bauchgefuehl\/\" class=\"user_link\">bauchgefuehl<\/a> (\u0410\u043d\u0430\u0441\u0442\u0430\u0441\u0438\u0438 \u041c\u0430\u043d\u043e\u0445\u0438\u043d\u043e\u0439) \u0437\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u0441 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c.<\/em><\/p>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habrahabr.ru\/post\/327250\/\"> https:\/\/habrahabr.ru\/post\/327250\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/web\/4a9\/edb\/082\/4a9edb082408442ea47a12b75f19d122.jpg\" align=\"right\" width=\"40%\"\/>  <\/p>\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041d\u0430\u0441\u0442\u0430\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043d\u0430\u0448 \u0441 \u0432\u0430\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u0440\u0441\u0435\u043d\u0430\u043b. <\/p>\n<p>  <\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0445 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433. \u041d\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u0430\u0442\u044c\u044f \u0440\u0430\u0437\u0431\u0438\u0442\u0430 \u043d\u0430 2 \u0447\u0430\u0441\u0442\u0438: \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0442\u0435\u043e\u0440\u0438\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0430 \u0447\u0435\u0440\u0435\u0437 2 \u043d\u0435\u0434\u0435\u043b\u0438 \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0443. <\/p>\n<p>  <\/p>\n<p>\u041e \u0442\u043e\u043c, \u043e\u0442\u043a\u0443\u0434\u0430 \u0443 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u0440\u0430\u0441\u0442\u0443\u0442 \u043a\u043e\u0440\u043d\u0438 \u0438 \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0442\u0432\u043e\u0440\u0438\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u2014 \u0432 \u043d\u0430\u0448\u0435\u043c \u043a\u0440\u0430\u0441\u043e\u0447\u043d\u043e\u043c \u043f\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u0432 \u043c\u0438\u0440 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c. \u0420\u0432\u0430\u043d\u0443\u043b\u0438!<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-286541","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/286541","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=286541"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/286541\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=286541"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=286541"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=286541"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}