{"id":483510,"date":"2026-06-13T14:35:05","date_gmt":"2026-06-13T14:35:05","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=483510"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=483510","title":{"rendered":"\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432\u00a0ML \u0431\u0435\u0437\u00a0\u0432\u043e\u0434\u044b: \u043e\u0442\u00a0\u0431\u0430\u0437\u044b \u0434\u043e\u00a0Attention. \u0427\u0430\u0441\u0442\u044c 11: \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 <a href=\"https:\/\/habr.com\/ru\/articles\/1045016\/\" rel=\"noopener noreferrer nofollow\">\u0434\u0435\u0441\u044f\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/a> \u043f\u0440\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043b\u0435\u0441\u0430 \u043c\u044b \u043d\u0430\u0442\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443: \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043a \u043b\u0435\u0441\u0443 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u043b \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u043d\u043e \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c. <\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0432\u043e\u0434\u0438\u0442\u044c \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043a \u043d\u0443\u043b\u044e, \u0438 \u0437\u0430\u043e\u0434\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, \u043a\u0430\u043a \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430\u0445 \u0441\u0432\u043e\u0438\u0445 &#171;\u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432&#187;.<\/p>\n<h2>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/h2>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043c\u044b \u0433\u043e\u0442\u043e\u0432\u0438\u043c \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u0443 \u043f\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u043d\u043e \u0443 \u043d\u0430\u0441 \u0436\u0435\u0441\u0442\u043a\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u2014 \u043c\u044b \u0432\u044b\u0434\u0430\u0435\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u0440\u0446\u0438\u044f\u043c\u0438 \u0440\u043e\u0432\u043d\u043e \u043f\u043e 1 \u0447\u0430\u0441\u0443.<\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0447\u0430\u0441\u0435 \u043c\u044b \u0431\u0435\u0433\u043b\u043e \u0447\u0438\u0442\u0430\u0435\u043c \u043b\u0435\u043a\u0446\u0438\u044e \u043e\u0431\u043e \u0432\u0441\u0435\u043c \u043f\u043e\u043d\u0435\u043c\u043d\u043e\u0433\u0443. \u041f\u0440\u043e\u0432\u043e\u0434\u0438\u043c \u043f\u0440\u043e\u0431\u043d\u044b\u0439 \u0442\u0435\u0441\u0442: \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 \u043f\u0440\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u043b\u0438 SVM \u0438 KNN.<\/p>\n<p>\u041c\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u0433\u0434\u0435 \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c, \u0438 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u0447\u0430\u0441\u0435 <strong>\u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c<\/strong> \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0430 \u0442\u0440\u0430\u0442\u0438\u043c \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u043d\u0430 SVM. \u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0442\u0435\u0441\u0442\u0435 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u044b \u0437\u043d\u0430\u044e\u0442 \u0443\u0436\u0435 \u0434\u0432\u0435 \u0442\u0435\u043c\u044b, \u043d\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 &#171;\u043f\u043b\u0430\u0432\u0430\u044e\u0442&#187; \u0432 KNN. \u0422\u043e\u0433\u0434\u0430 \u043d\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0447\u0430\u0441\u0435 \u043c\u044b \u043f\u0440\u0438\u0446\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c KNN.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u2014 \u044d\u0442\u043e <strong>\u0441\u0443\u043c\u043c\u0430<\/strong> \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u0432\u0441\u0435\u0445 \u0447\u0430\u0441\u043e\u0432\u044b\u0445 \u043b\u0435\u043a\u0446\u0438\u0439, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0447\u0430\u0441 \u0442\u0440\u0430\u0442\u0438\u043b\u0441\u044f <strong>\u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e<\/strong> \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435 \u043f\u0440\u043e\u0431\u0435\u043b\u043e\u0432 (\u043e\u0448\u0438\u0431\u043e\u043a) \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445.<\/p>\n<p>\u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: \u043c\u044b \u0441\u0442\u0440\u043e\u0438\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0433\u0434\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u0417\u0430\u0442\u0435\u043c \u043d\u043e\u0432\u044b\u0439 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0435\u0433\u043e \u0432\u043a\u043b\u0430\u0434 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044e. <\/p>\n<p> \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439.  <\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"y= F(x)\" alt=\"y= F(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/595\/595674c1015136cc26969269f307be9c.svg\" width=\"64\" height=\"16\" data-width=\"8.875\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/595\/595674c1015136cc26969269f307be9c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/595\/595674c1015136cc26969269f307be9c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0435\u0440\u0435\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u0430<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"F_M(x) = \\sum_{m=0}^{M}\\gamma_mh_m(x)\" alt=\"F_M(x) = \\sum_{m=0}^{M}\\gamma_mh_m(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3ab\/3ab9c18c772986c6f53e95651e7a001e.svg\" width=\"168\" height=\"48\" data-width=\"21.936\" data-height=\"6.74\" data-vertical-align=\"-2.804\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3ab\/3ab9c18c772986c6f53e95651e7a001e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3ab\/3ab9c18c772986c6f53e95651e7a001e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<br \/><img decoding=\"async\" class=\"formula inline\" source=\"h_m(x)\" alt=\"h_m(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg\" width=\"40\" height=\"16\" data-width=\"5.95\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2014 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e,<br \/><img decoding=\"async\" class=\"formula inline\" source=\"\\gamma_m\" alt=\"\\gamma_m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/450\/45045ddc39f748208d12990482e55a21.svg\" width=\"16\" height=\"16\" data-width=\"2.764\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/450\/45045ddc39f748208d12990482e55a21.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/450\/45045ddc39f748208d12990482e55a21.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2014 \u0435\u0433\u043e \u0432\u0435\u0441,<br \/><img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg\" width=\"16\" height=\"12\" data-width=\"2.378\" data-height=\"1.545\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2014 \u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.<\/p>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442: <\/p>\n<h4>\u0428\u0430\u0433 1<\/h4>\n<p>\u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0435\u0442. \u0414\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"F_0(x)\" alt=\"F_0(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fc\/8fcfde35f945bc699762d85dfebeb02d.svg\" width=\"40\" height=\"16\" data-width=\"5.497\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fc\/8fcfde35f945bc699762d85dfebeb02d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fc\/8fcfde35f945bc699762d85dfebeb02d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0442\u0430\u0440\u0433\u0435\u0442\u0443. \u041c\u044b \u0445\u043e\u0442\u0438\u043c  \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443. \u0418 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430:<\/p>\n<ol>\n<li>\n<p> <strong>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445<\/strong><br \/>\u0417\u0434\u0435\u0441\u044c \u0432\u0441\u0451 \u043a\u0440\u0430\u0439\u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e. \u041c\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"F_0(x_i)\" alt=\"F_0(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52e\/52e2c627763fd8afd7a4f06c409188ae.svg\" width=\"48\" height=\"16\" data-width=\"6.236\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52e\/52e2c627763fd8afd7a4f06c409188ae.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52e\/52e2c627763fd8afd7a4f06c409188ae.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"r_i = y_i - F_0(x_i)\" alt=\"r_i = y_i - F_0(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/542\/5427c947107d3df12c5ca1f344be2b83.svg\" width=\"120\" height=\"16\" data-width=\"15.628\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/542\/5427c947107d3df12c5ca1f344be2b83.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/542\/5427c947107d3df12c5ca1f344be2b83.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0441\u0442\u0440\u043e\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"(X, r) \" alt=\"(X, r) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a25\/a250759932343c0b3002b58e3cb4bf4f.svg\" width=\"40\" height=\"16\" data-width=\"5.714\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a25\/a250759932343c0b3002b58e3cb4bf4f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a25\/a250759932343c0b3002b58e3cb4bf4f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0435\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"F_1(x)\" alt=\"F_1(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2d6\/2d6d545b3398daa59143b410abe27f6b.svg\" width=\"40\" height=\"16\" data-width=\"5.497\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2d6\/2d6d545b3398daa59143b410abe27f6b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2d6\/2d6d545b3398daa59143b410abe27f6b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<br \/>\u041c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445 \u0445\u043e\u0440\u043e\u0448, \u043d\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u2014 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<\/li>\n<li>\n<p> <strong>\u0424\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a  <\/strong><\/p>\n<\/li>\n<\/ol>\n<p> \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\omega_{new}\u200b= \\omega\u2212\\eta\\nabla L\" alt=\"\\omega_{new}\u200b= \\omega\u2212\\eta\\nabla L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/82a\/82a5ddbe602d9f5cbdc722a02dba787c.svg\" width=\"128\" height=\"16\" data-width=\"16.186\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/82a\/82a5ddbe602d9f5cbdc722a02dba787c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/82a\/82a5ddbe602d9f5cbdc722a02dba787c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0435\u0441\u0442\u044c \u043b\u0438\u0448\u044c \u0441\u0430\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"F(x)\" alt=\"F(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d76\/d76f2c4d6bdf142af5106c3f36e9e970.svg\" width=\"32\" height=\"16\" data-width=\"4.749\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d76\/d76f2c4d6bdf142af5106c3f36e9e970.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d76\/d76f2c4d6bdf142af5106c3f36e9e970.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.  \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442  \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:  <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g_i = \\frac{\\partial L(y_i, F(x_i))}{\\partial F(x_i)}\" alt=\"g_i = \\frac{\\partial L(y_i, F(x_i))}{\\partial F(x_i)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/528\/52850500eccaddcfeadb4398d8f44393.svg\" width=\"144\" height=\"40\" data-width=\"18.756\" data-height=\"5.475\" data-vertical-align=\"-2.172\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/528\/52850500eccaddcfeadb4398d8f44393.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/528\/52850500eccaddcfeadb4398d8f44393.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"r_i = -g_i\" alt=\"r_i = -g_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/76949e6731c2c0706faef0a5dd9dddcf.svg\" width=\"64\" height=\"12\" data-width=\"8.356\" data-height=\"1.783\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/76949e6731c2c0706faef0a5dd9dddcf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/76949e6731c2c0706faef0a5dd9dddcf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u041a \u0441\u043b\u043e\u0432\u0443 \u0434\u043b\u044f MSE<img decoding=\"async\" class=\"formula inline\" source=\"\\left(L = \\frac{1}{2}(y-F)^2\\right)\" alt=\"\\left(L = \\frac{1}{2}(y-F)^2\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/53\/530\/53013f5b0ac1b06015345d1cc689b973.svg\" width=\"144\" height=\"40\" data-width=\"18.332\" data-height=\"5.428\" data-vertical-align=\"-2.148\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/53\/530\/53013f5b0ac1b06015345d1cc689b973.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/53\/530\/53013f5b0ac1b06015345d1cc689b973.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u043f\u043e\u043b\u0443\u0447\u0438\u043c<img decoding=\"async\" class=\"formula inline\" source=\" g = F - y\" alt=\" g = F - y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/38\/384\/38465f47ba90ce3aa66fab958bb7f7eb.svg\" width=\"72\" height=\"16\" data-width=\"9.665\" data-height=\"2.002\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/38\/384\/38465f47ba90ce3aa66fab958bb7f7eb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/38\/384\/38465f47ba90ce3aa66fab958bb7f7eb.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"r = y - F\" alt=\"r = y - F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0ff\/0ffd516f40d94718b39a876d0b4d87b9.svg\" width=\"72\" height=\"16\" data-width=\"9.606\" data-height=\"2.002\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0ff\/0ffd516f40d94718b39a876d0b4d87b9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0ff\/0ffd516f40d94718b39a876d0b4d87b9.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <\/p>\n<p>\u0442\u043e \u0435\u0441\u0442\u044c, \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445. <span class=\"habrahidden\">\u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0443\u043c\u0430\u044e\u0442, \u0447\u0442\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430\u0445. \u041d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. \u041e\u043d \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 <strong>\u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u0445<\/strong><\/span><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0441\u0442\u0440\u043e\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0441\u0430\u043c \u0442\u0430\u0440\u0433\u0435\u0442, \u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c, <strong>\u043a\u0443\u0434\u0430 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f<\/strong>, <strong>\u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c<\/strong>.  <\/p>\n<h4>\u0428\u0430\u0433 2<\/h4>\n<p>\u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u0434\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043d\u0430\u0448\u0438\u0445 100500 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\gamma_m = \\arg\\!\\min_{\\gamma}\\sum_{i}L(y_i,F_{m-1}(x_i) + \\gamma h_m(x_i))\" alt=\"\\gamma_m = \\arg\\!\\min_{\\gamma}\\sum_{i}L(y_i,F_{m-1}(x_i) + \\gamma h_m(x_i))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a8\/6a87eb8d48241e01142aa299e6b4c79e.svg\" width=\"336\" height=\"32\" data-width=\"42.447\" data-height=\"4.847\" data-vertical-align=\"-1.858\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a8\/6a87eb8d48241e01142aa299e6b4c79e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a8\/6a87eb8d48241e01142aa299e6b4c79e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043b\u044f MSE \u044d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u041f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0435\u0451 \u0434\u043b\u044f MSE \u0438 \u0432\u044b\u0432\u0435\u0434\u0435\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\gamma_m = \\arg\\!\\min_{\\gamma} \\sum_{i=1}^{n}\\frac{1}{2}\\bigg(y_i - (F_{m-1}(x_i) + \\gamma h_m(x_i))\\bigg)^2\" alt=\"\\gamma_m = \\arg\\!\\min_{\\gamma} \\sum_{i=1}^{n}\\frac{1}{2}\\bigg(y_i - (F_{m-1}(x_i) + \\gamma h_m(x_i))\\bigg)^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5a6\/5a69af9eeebcec926dd7494bcb61ba28.svg\" width=\"392\" height=\"48\" data-width=\"49.111\" data-height=\"6.546\" data-vertical-align=\"-2.707\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5a6\/5a69af9eeebcec926dd7494bcb61ba28.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5a6\/5a69af9eeebcec926dd7494bcb61ba28.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p> \u0427\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043f\u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439<img decoding=\"async\" class=\"formula inline\" source=\"\\gamma\" alt=\"\\gamma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg\" width=\"12\" height=\"16\" data-width=\"1.229\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0435\u043c \u0435\u0451 \u043a \u043d\u0443\u043b\u044e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{\\partial}{\\partial \\gamma}\\sum_{i=1}^{n}\\frac{1}{2}\\bigg(y_i - F_{m-1}(x_i) + \\gamma h_m(x_i)\\bigg)^2 = 0\" alt=\"\\frac{\\partial}{\\partial \\gamma}\\sum_{i=1}^{n}\\frac{1}{2}\\bigg(y_i - F_{m-1}(x_i) + \\gamma h_m(x_i)\\bigg)^2 = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/753\/7536ea0b00704665ce21c8d56e7d0244.svg\" width=\"336\" height=\"48\" data-width=\"42.302\" data-height=\"6.546\" data-vertical-align=\"-2.707\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/753\/7536ea0b00704665ce21c8d56e7d0244.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/753\/7536ea0b00704665ce21c8d56e7d0244.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0432 \u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0432, \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\sum_{i=1}^{n}\\bigg(-(y_i - F_{m-1}(x_i))h_m(x_i) - \\gamma h_m(x_i)^2\\bigg) = 0\" alt=\"\\sum_{i=1}^{n}\\bigg(-(y_i - F_{m-1}(x_i))h_m(x_i) - \\gamma h_m(x_i)^2\\bigg) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c2d\/c2dc6434543c88fc50c7f314397f2439.svg\" width=\"376\" height=\"48\" data-width=\"47.509\" data-height=\"6.354\" data-vertical-align=\"-2.611\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c2d\/c2dc6434543c88fc50c7f314397f2439.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c2\/c2d\/c2dc6434543c88fc50c7f314397f2439.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e<img decoding=\"async\" class=\"formula inline\" source=\"y_i - F_{m-1}(x_i)\" alt=\"y_i - F_{m-1}(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0bb\/0bb2bc14d58a219df366ca4bb8053711.svg\" width=\"104\" height=\"16\" data-width=\"13.5\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0bb\/0bb2bc14d58a219df366ca4bb8053711.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0bb\/0bb2bc14d58a219df366ca4bb8053711.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e \u043d\u0435 \u0447\u0442\u043e \u0438\u043d\u043e\u0435, \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043e\u0441\u0442\u0430\u0442\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u043d\u0435\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043b\u0438 \u043a\u0430\u043a<img decoding=\"async\" class=\"formula inline\" source=\"r_{i}\" alt=\"r_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/be\/bed\/bedcf2f74ea8e1f0f46880c0c79592ff.svg\" width=\"12\" height=\"12\" data-width=\"1.76\" data-height=\"1.357\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/be\/bed\/bedcf2f74ea8e1f0f46880c0c79592ff.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/be\/bed\/bedcf2f74ea8e1f0f46880c0c79592ff.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\sum_{i=1}^{n}\\Big(-r_{i}h_{m}(x_{i})+\\gamma h_{m}(x_{i})^{2}\\Big)=0\" alt=\"\\sum_{i=1}^{n}\\Big(-r_{i}h_{m}(x_{i})+\\gamma h_{m}(x_{i})^{2}\\Big)=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/04d\/04d115d36b45ffb1a855e04337f01420.svg\" width=\"264\" height=\"48\" data-width=\"33.381\" data-height=\"6.354\" data-vertical-align=\"-2.611\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/04d\/04d115d36b45ffb1a855e04337f01420.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/04d\/04d115d36b45ffb1a855e04337f01420.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u043b\u0435\u0433\u043a\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\gamma\" alt=\"\\gamma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg\" width=\"12\" height=\"16\" data-width=\"1.229\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\gamma = \\frac{\\sum_{i=1}^{n}r_{i}h_{m}(x_{i})}{\\sum_{i=1}^{n}h_{m}(x_{i})^{2}}\" alt=\"\\gamma = \\frac{\\sum_{i=1}^{n}r_{i}h_{m}(x_{i})}{\\sum_{i=1}^{n}h_{m}(x_{i})^{2}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/df0\/df037289f109329a1ceb0e7237017f98.svg\" width=\"152\" height=\"48\" data-width=\"19.241\" data-height=\"6.077\" data-vertical-align=\"-2.473\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/df0\/df037289f109329a1ceb0e7237017f98.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/df0\/df037289f109329a1ceb0e7237017f98.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<details class=\"spoiler\">\n<summary>\u041a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u0430\u043b\u044c\u0446\u0430\u0445<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e 3 \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u0430\u0440\u0433\u0435\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg\" width=\"12\" height=\"12\" data-width=\"1.109\" data-height=\"1.464\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: <img decoding=\"async\" class=\"formula inline\" source=\"y_1 = 1, \\ y_2 = 3, \\  y_3 = 5\" alt=\"y_1 = 1, \\ y_2 = 3, \\  y_3 = 5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/01\/015\/015b1e21c1409f0c15049642193e4b95.svg\" width=\"168\" height=\"16\" data-width=\"21.877\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/01\/015\/015b1e21c1409f0c15049642193e4b95.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/01\/015\/015b1e21c1409f0c15049642193e4b95.svg 781w\" loading=\"lazy\" decode=\"async\"\/><em>  <\/em><\/p>\n<p><strong>\u0428\u0430\u0433 1. \u0411\u0430\u0437\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435<img decoding=\"async\" class=\"formula inline\" source=\"F_0(x)\" alt=\"F_0(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fc\/8fcfde35f945bc699762d85dfebeb02d.svg\" width=\"40\" height=\"16\" data-width=\"5.497\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fc\/8fcfde35f945bc699762d85dfebeb02d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fc\/8fcfde35f945bc699762d85dfebeb02d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> <\/strong><\/p>\n<p>\u041c\u044b \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u043c \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b \u2014 \u0431\u0435\u0440\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0442\u0430\u0440\u0433\u0435\u0442\u0443: <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"F_0(x) = \\frac{1 + 3 + 5}{3} = 3\" alt=\"F_0(x) = \\frac{1 + 3 + 5}{3} = 3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e2\/9e2d2d62f06343ed558913f130870215.svg\" width=\"176\" height=\"32\" data-width=\"22.583\" data-height=\"4.638\" data-vertical-align=\"-1.753\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e2\/9e2d2d62f06343ed558913f130870215.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e2\/9e2d2d62f06343ed558913f130870215.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0440\u0430\u0432\u043d\u044b: <img decoding=\"async\" class=\"formula inline\" source=\"\\{3, 3, 3\\}\" alt=\"\\{3, 3, 3\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef9bd8a3ad7f4053c51b76610cef1326.svg\" width=\"56\" height=\"16\" data-width=\"7.668\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef9bd8a3ad7f4053c51b76610cef1326.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef9bd8a3ad7f4053c51b76610cef1326.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. <\/p>\n<p> <strong>\u0428\u0430\u0433 2. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043e\u0441\u0442\u0430\u0442\u043a\u0438<\/strong><img decoding=\"async\" class=\"formula inline\" source=\"r_i\" alt=\"r_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2593b49488f8bc44396795792c2d79.svg\" width=\"12\" height=\"12\" data-width=\"1.76\" data-height=\"1.357\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2593b49488f8bc44396795792c2d79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/af2\/af2593b49488f8bc44396795792c2d79.svg 781w\" loading=\"lazy\" decode=\"async\"\/> <\/p>\n<p>\u0418\u0442\u0430\u043a,<img decoding=\"async\" class=\"formula inline\" source=\"r_i = y_i - F_0(x_i)\" alt=\"r_i = y_i - F_0(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/542\/5427c947107d3df12c5ca1f344be2b83.svg\" width=\"120\" height=\"16\" data-width=\"15.628\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/542\/5427c947107d3df12c5ca1f344be2b83.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/542\/5427c947107d3df12c5ca1f344be2b83.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: <em> <\/em><br \/><img decoding=\"async\" class=\"formula inline\" source=\"r_1 = 1 - 3 = -2\" alt=\"r_1 = 1 - 3 = -2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/786\/7862ad5af28e943e3807b285d032c081.svg\" width=\"120\" height=\"12\" data-width=\"15.962\" data-height=\"1.846\" data-vertical-align=\"-0.339\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/786\/7862ad5af28e943e3807b285d032c081.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/786\/7862ad5af28e943e3807b285d032c081.svg 781w\" loading=\"lazy\" decode=\"async\"\/><em>, <\/em><img decoding=\"async\" class=\"formula inline\" source=\"r_2 = 3 - 3 = 0\" alt=\"r_2 = 3 - 3 = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d4\/d44\/d445057145197634ad425e3ba8995be9.svg\" width=\"112\" height=\"12\" data-width=\"14.202\" data-height=\"1.846\" data-vertical-align=\"-0.339\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d4\/d44\/d445057145197634ad425e3ba8995be9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d4\/d44\/d445057145197634ad425e3ba8995be9.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"r_3 = 5 - 3 = 2\" alt=\"r_3 = 5 - 3 = 2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eec\/eecb5faad3a00c437b612032fbf0033d.svg\" width=\"112\" height=\"12\" data-width=\"14.202\" data-height=\"1.881\" data-vertical-align=\"-0.375\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eec\/eecb5faad3a00c437b612032fbf0033d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eec\/eecb5faad3a00c437b612032fbf0033d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><em>. <\/em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0438: <img decoding=\"async\" class=\"formula inline\" source=\"\\{-2, 0, 2\\}\" alt=\"\\{-2, 0, 2\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9fc\/9fc894382e887bc727ea0282f3a513da.svg\" width=\"72\" height=\"16\" data-width=\"9.428\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9fc\/9fc894382e887bc727ea0282f3a513da.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9fc\/9fc894382e887bc727ea0282f3a513da.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. <\/p>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u044d\u0442\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u043c\u044b \u0441\u0442\u0440\u043e\u0438\u043c \u043d\u043e\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0439. \u041d\u043e\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b <img decoding=\"async\" class=\"formula inline\" source=\"h_1(x_i)\" alt=\"h_1(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/368\/36848e9f5710e5a830b3da0744c37172.svg\" width=\"48\" height=\"16\" data-width=\"6.085\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/368\/36848e9f5710e5a830b3da0744c37172.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/368\/36848e9f5710e5a830b3da0744c37172.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0414\u0435\u0440\u0435\u0432\u043e \u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u0442\u043a\u0438. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u0435<img decoding=\"async\" class=\"formula inline\" source=\"\\{-2, 0, 2\\}\" alt=\"\\{-2, 0, 2\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9fc\/9fc894382e887bc727ea0282f3a513da.svg\" width=\"72\" height=\"16\" data-width=\"9.428\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9fc\/9fc894382e887bc727ea0282f3a513da.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9fc\/9fc894382e887bc727ea0282f3a513da.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u0448\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0434\u0430\u043b\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0434\u043b\u044f\u00a0\u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432:<img decoding=\"async\" class=\"formula inline\" source=\"h_1(x_1) = -1\" alt=\"h_1(x_1) = -1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1ea\/1ea15618131a9995cf39fb044d99e41e.svg\" width=\"96\" height=\"16\" data-width=\"12.241\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1ea\/1ea15618131a9995cf39fb044d99e41e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1ea\/1ea15618131a9995cf39fb044d99e41e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>,<img decoding=\"async\" class=\"formula inline\" source=\"h_1(x_2) = 0\" alt=\"h_1(x_2) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0fc\/0fcd51cac15a3d8d0cb5914cce4a2b8c.svg\" width=\"80\" height=\"16\" data-width=\"10.481\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0fc\/0fcd51cac15a3d8d0cb5914cce4a2b8c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0fc\/0fcd51cac15a3d8d0cb5914cce4a2b8c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>,<img decoding=\"async\" class=\"formula inline\" source=\"h_1(x_3) = 1\" alt=\"h_1(x_3) = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/740\/740dc0e558d788682983e0ff277180bc.svg\" width=\"80\" height=\"16\" data-width=\"10.481\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/740\/740dc0e558d788682983e0ff277180bc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/740\/740dc0e558d788682983e0ff277180bc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. <\/p>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0434\u0435\u0440\u0435\u0432\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"\\{-1, 0, 1\\}\" alt=\"\\{-1, 0, 1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f4\/6f47e30aa078e01e9e26b235aa8813ac.svg\" width=\"72\" height=\"16\" data-width=\"9.428\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f4\/6f47e30aa078e01e9e26b235aa8813ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f4\/6f47e30aa078e01e9e26b235aa8813ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. <\/p>\n<p><strong>\u0428\u0430\u0433 3. \u0421\u0447\u0438\u0442\u0430\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u0434\u0435\u0440\u0435\u0432\u0430<\/strong><img decoding=\"async\" class=\"formula inline\" source=\"\\gamma_1\" alt=\"\\gamma_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d0\/d0a\/d0a2f6a5d05a6359a829e866944d05fc.svg\" width=\"16\" height=\"16\" data-width=\"2.16\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d0\/d0a\/d0a2f6a5d05a6359a829e866944d05fc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d0\/d0a\/d0a2f6a5d05a6359a829e866944d05fc.svg 781w\" loading=\"lazy\" decode=\"async\"\/> <\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0448\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0443: <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\gamma_1 = \\frac{\\sum r_i h_1(x_i)}{\\sum h_1(x_i)^2}\" alt=\"\\gamma_1 = \\frac{\\sum r_i h_1(x_i)}{\\sum h_1(x_i)^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6f\/e6f667154a00b59baef7c9dffebf1bb5.svg\" width=\"128\" height=\"40\" data-width=\"16.783\" data-height=\"5.498\" data-vertical-align=\"-2.183\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6f\/e6f667154a00b59baef7c9dffebf1bb5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e6\/e6f\/e6f667154a00b59baef7c9dffebf1bb5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c (\u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043d\u0430\u00a0\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0434\u0435\u0440\u0435\u0432\u0430 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"(-2 \\cdot -1) + (0 \\cdot 0) + (2 \\cdot 1) = 2 + 0 + 2 = 4\" alt=\"(-2 \\cdot -1) + (0 \\cdot 0) + (2 \\cdot 1) = 2 + 0 + 2 = 4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cdc\/cdcb6d9f434da467579990fe4fffeaa6.svg\" width=\"336\" height=\"16\" data-width=\"42.114\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cdc\/cdcb6d9f434da467579990fe4fffeaa6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cdc\/cdcb6d9f434da467579990fe4fffeaa6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u0447\u0438\u0442\u0430\u0435\u043c \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c (\u0432\u043e\u0437\u0432\u043e\u0434\u0438\u043c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0434\u0435\u0440\u0435\u0432\u0430 \u0432\u00a0\u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c): <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"(-1)^2 + 0^2 + 1^2 = 1 + 0 + 1 = 2\" alt=\"(-1)^2 + 0^2 + 1^2 = 1 + 0 + 1 = 2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9a\/9ad\/9ad673c3b92b89bce675ee46cb04d688.svg\" width=\"248\" height=\"16\" data-width=\"31.499\" data-height=\"2.565\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9a\/9ad\/9ad673c3b92b89bce675ee46cb04d688.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9a\/9ad\/9ad673c3b92b89bce675ee46cb04d688.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>3. \u0414\u0435\u043b\u0438\u043c \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u043d\u0430\u00a0\u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c: <img decoding=\"async\" class=\"formula inline\" source=\"\\gamma_1\u00a0= \\frac{4}{2} = 2\" alt=\"\\gamma_1\u00a0= \\frac{4}{2} = 2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd0\/cd0b96ca64fc61ca1ea5924b7dceeb19.svg\" width=\"88\" height=\"32\" data-width=\"11.452\" data-height=\"4.613\" data-vertical-align=\"-1.741\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd0\/cd0b96ca64fc61ca1ea5924b7dceeb19.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd0\/cd0b96ca64fc61ca1ea5924b7dceeb19.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p> \u0418\u0442\u043e\u0433: \u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0440\u0430\u0432\u0435\u043d 2. \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0433\u043e \u0438 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043d\u0430\u0448 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"F_1(x) = F_0(x) + 2 \\cdot h_1(x)\" alt=\"F_1(x) = F_0(x) + 2 \\cdot h_1(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/49e\/49e91252124d73428145a8ae032f896d.svg\" width=\"192\" height=\"16\" data-width=\"24.887\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/49e\/49e91252124d73428145a8ae032f896d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/49\/49e\/49e91252124d73428145a8ae032f896d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a\u0438\u043c\u0438 \u0441\u0442\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u044f 1-\u0433\u043e: <img decoding=\"async\" class=\"formula inline\" source=\"3 + 2 \\times (-1) = 1\" alt=\"3 + 2 \\times (-1) = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f3\/f33\/f33c196a1ce55d8ff176625e35112fe0.svg\" width=\"128\" height=\"16\" data-width=\"16.594\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f3\/f33\/f33c196a1ce55d8ff176625e35112fe0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f3\/f33\/f33c196a1ce55d8ff176625e35112fe0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> <\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f 2-\u0433\u043e: <img decoding=\"async\" class=\"formula inline\" source=\"3 + 2 \\times 0 = 3\" alt=\"3 + 2 \\times 0 = 3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6b5\/6b5f804b4d4118d937551c44c60ec947.svg\" width=\"104\" height=\"16\" data-width=\"13.073\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6b5\/6b5f804b4d4118d937551c44c60ec947.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6b5\/6b5f804b4d4118d937551c44c60ec947.svg 781w\" loading=\"lazy\" decode=\"async\"\/> <\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f 3-\u0433\u043e: <img decoding=\"async\" class=\"formula inline\" source=\"3 + 2 \\times 1 = 5\" alt=\"3 + 2 \\times 1 = 5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee7\/ee7443b11babb4ee3e793ad718cb6b29.svg\" width=\"104\" height=\"16\" data-width=\"13.073\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee7\/ee7443b11babb4ee3e793ad718cb6b29.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee7\/ee7443b11babb4ee3e793ad718cb6b29.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c MSE \u0432\u00a0\u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0443\u043f\u0430\u043b\u0430 \u0434\u043e\u00a0\u043d\u0443\u043b\u044f.<\/p>\n<\/div>\n<\/details>\n<p> \u041d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043b\u043e\u0441\u0441-\u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a.  <\/p>\n<h4>\u0428\u0430\u0433 3<\/h4>\n<p>\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"F_m(x) = F_{m-1}(x) + \\eta\\gamma_m h_m(x),\" alt=\"F_m(x) = F_{m-1}(x) + \\eta\\gamma_m h_m(x),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/746\/7463f3394f96554300c6c85669cf188e.svg\" width=\"240\" height=\"16\" data-width=\"30.498\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/746\/7463f3394f96554300c6c85669cf188e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/74\/746\/7463f3394f96554300c6c85669cf188e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\eta\" alt=\"\\eta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg\" width=\"12\" height=\"16\" data-width=\"1.124\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 learning rate. \u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u043d\u043e\u0432\u043e.<\/p>\n<p>\u041f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\eta\" alt=\"\\eta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg\" width=\"12\" height=\"16\" data-width=\"1.124\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u0448\u0443\u043c. \u041f\u043e\u0442\u043e\u043c\u0443 \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0431\u0435\u0440\u0443\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 learning rate \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0421\u0430\u043c\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0434\u0435\u043b\u0430\u044e\u0442 \u043d\u0435\u0433\u043b\u0443\u0431\u043e\u043a\u0438\u043c\u0438 (max_depth = 3-10): \u0446\u0435\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438, \u0430 \u043d\u0435 \u0440\u0435\u0448\u0430\u0442\u044c \u0432\u0441\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0422\u0430\u043a\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0430\u0431\u044b\u043c\u0438 \u0443\u0447\u0435\u043d\u0438\u043a\u0430\u043c\u0438<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u0432\u0435\u0440\u0445\u0443 \u0432\u043d\u0438\u0437, \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0442\u044c \u0435\u043c\u0443 \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e:<\/p>\n<p>\u041c\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbb{F}\" alt=\"\\mathbb{F}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c8\/0c874640811a342e6fdea6907606b7b8.svg\" width=\"12\" height=\"16\" data-width=\"1.382\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c8\/0c874640811a342e6fdea6907606b7b8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c8\/0c874640811a342e6fdea6907606b7b8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbb{F}_B\" alt=\"\\mathbb{F}_B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea6\/ea68b037d121b18d055ff5a5f9c3c0fb.svg\" width=\"16\" height=\"16\" data-width=\"2.784\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea6\/ea68b037d121b18d055ff5a5f9c3c0fb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea6\/ea68b037d121b18d055ff5a5f9c3c0fb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432 \u043d\u0435\u0433\u043e (\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439). <\/p>\n<p>\u0410\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043f\u0440\u0438 \u043a\u0430\u043a\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"F \\in \\mathbb{F}\" alt=\"F \\in \\mathbb{F}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/75b\/75be33bfcebaafe8865685205c20a307.svg\" width=\"40\" height=\"16\" data-width=\"5.843\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/75b\/75be33bfcebaafe8865685205c20a307.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/75b\/75be33bfcebaafe8865685205c20a307.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043b\u043e\u0441\u0441 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e. \u041d\u043e \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbb{F}_B\" alt=\"\\mathbb{F}_B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea6\/ea68b037d121b18d055ff5a5f9c3c0fb.svg\" width=\"16\" height=\"16\" data-width=\"2.784\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea6\/ea68b037d121b18d055ff5a5f9c3c0fb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea6\/ea68b037d121b18d055ff5a5f9c3c0fb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043c\u044b \u0438\u0449\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u0434\u0435\u0440\u0435\u0432\u043e), \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442.<\/p>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0437\u0434\u0435\u0441\u044c \u0442\u043e, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0441\u043a\u043e\u043b\u044c\u043a\u043e <strong>\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/strong>, \u0433\u0434\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0431\u0430\u0437\u0438\u0441\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.  \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b:  <\/p>\n<ul>\n<li>\n<p>MSE \u0434\u0430\u0451\u0442 \u043d\u0430\u043c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433;<\/p>\n<\/li>\n<li>\n<p>LogLoss \u0434\u0430\u0451\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e;<\/p>\n<\/li>\n<li>\n<p>\u0414\u0440\u0443\u0433\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u0430\u0441\u0442 \u0434\u0440\u0443\u0433\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f, \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0447\u044c\u044f \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u043d\u0438 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0430\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<p>\u0418 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043d\u0435\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0445\u0438\u0442\u0440\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"(X, r) \" alt=\"(X, r) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a25\/a250759932343c0b3002b58e3cb4bf4f.svg\" width=\"40\" height=\"16\" data-width=\"5.714\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a25\/a250759932343c0b3002b58e3cb4bf4f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a25\/a250759932343c0b3002b58e3cb4bf4f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0422\u043e \u0435\u0441\u0442\u044c \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043c\u043e\u0436\u043d\u043e \u043a\u0430\u0441\u0442\u043e\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434 \u043b\u044e\u0431\u043e\u0439 \u0432\u043a\u0443\u0441.<\/p>\n<h2>\u041d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/h2>\n<p>\u0422\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u0432\u044b\u0448\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0440\u044f\u0434 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 <strong>\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0447\u043b\u0435\u043d\u0430<\/strong> (\u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439). \u041f\u043e \u0441\u0443\u0442\u0438, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u044b \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0443\u0441\u043a\u0430, \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0448\u0430\u0433 <img decoding=\"async\" class=\"formula inline\" source=\"\\gamma _{m}\" alt=\"\\gamma _{m}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/de\/de2\/de23c1c2b1723b386e5ffa1c32f1e057.svg\" width=\"16\" height=\"16\" data-width=\"2.764\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/de\/de2\/de23c1c2b1723b386e5ffa1c32f1e057.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/de\/de2\/de23c1c2b1723b386e5ffa1c32f1e057.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 (argmin).<\/p>\n<p>\u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0441\u043f\u0443\u0441\u043a\u0430, \u043d\u043e \u0438 \u043e \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0434\u043e <strong>\u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0447\u043b\u0435\u043d\u0430<\/strong> \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p>\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"12\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u0432 \u0432\u0438\u0434\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"h_m(x)\" alt=\"h_m(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg\" width=\"40\" height=\"16\" data-width=\"5.95\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043b\u043e\u0441\u0441. \u0420\u0430\u0437\u043b\u043e\u0436\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg\" width=\"12\" height=\"12\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"F_{m-1}(x_i)\" alt=\"F_{m-1}(x_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/87\/876\/876cf8b1434a430420850ffb86bfcc12.svg\" width=\"64\" height=\"16\" data-width=\"8.886\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/87\/876\/876cf8b1434a430420850ffb86bfcc12.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/87\/876\/876cf8b1434a430420850ffb86bfcc12.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"L\\big(y_{i},F_{m-1}(x_{i})+h_{m}(x_{i})\\big) \\approx L\\big(y_{i},F_{m-1}(x_{i})\\big)+g_{i}h_{m}(x_{i})+\\frac{1}{2}h_{i}h_{m}(x_{i})^{2}\" alt=\"L\\big(y_{i},F_{m-1}(x_{i})+h_{m}(x_{i})\\big) \\approx L\\big(y_{i},F_{m-1}(x_{i})\\big)+g_{i}h_{m}(x_{i})+\\frac{1}{2}h_{i}h_{m}(x_{i})^{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9c\/a9c7017a90f58a6cd9ddeaed82b49e89.svg\" width=\"552\" height=\"32\" data-width=\"69.065\" data-height=\"4.588\" data-vertical-align=\"-1.729\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9c\/a9c7017a90f58a6cd9ddeaed82b49e89.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9c\/a9c7017a90f58a6cd9ddeaed82b49e89.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0434\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g_i = \\frac{\\partial L(y_i, F_{m-1}(x_i))}{\\partial F_{m-1}(x_i)}\" alt=\"g_i = \\frac{\\partial L(y_i, F_{m-1}(x_i))}{\\partial F_{m-1}(x_i)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/29\/290\/2909befd22c0a6cc1aedc1d38a7b282a.svg\" width=\"176\" height=\"40\" data-width=\"22.153\" data-height=\"5.475\" data-vertical-align=\"-2.172\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/29\/290\/2909befd22c0a6cc1aedc1d38a7b282a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/29\/290\/2909befd22c0a6cc1aedc1d38a7b282a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u043f\u0435\u0440\u0432\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f (<strong>\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442<\/strong>), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u043a\u0443\u0434\u0430 \u043f\u0430\u0434\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044f.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"h_i = \\frac{\\partial^2 L(y_i, F_{m-1}(x_i))}{\\partial F_{m-1}(x_i)^2}\" alt=\"h_i = \\frac{\\partial^2 L(y_i, F_{m-1}(x_i))}{\\partial F_{m-1}(x_i)^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/dbe\/dbeb7715bbbab0185479e60c6ea5c355.svg\" width=\"184\" height=\"40\" data-width=\"23.482\" data-height=\"5.687\" data-vertical-align=\"-2.278\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/dbe\/dbeb7715bbbab0185479e60c6ea5c355.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/dbe\/dbeb7715bbbab0185479e60c6ea5c355.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0432\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f (<strong>\u0433\u0435\u0441\u0441\u0438\u0430\u043d<\/strong>), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 (\u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0443 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438).<\/p>\n<p><em>\u0412\u0430\u0436\u043d\u043e\u0435 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c: <\/em><strong><em>\u043d\u0435 \u043f\u0443\u0442\u0430\u0439\u0442\u0435 \u0433\u0435\u0441\u0441\u0438\u0430\u043d \u043e\u0431\u044a\u0435\u043a\u0442\u0430 <\/em><img decoding=\"async\" class=\"formula inline\" source=\"h_{i}\" alt=\"h_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/914\/914767ffc65896751e16a5b9fbf3fc4a.svg\" width=\"16\" height=\"12\" data-width=\"2.043\" data-height=\"1.927\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/914\/914767ffc65896751e16a5b9fbf3fc4a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/914\/914767ffc65896751e16a5b9fbf3fc4a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><em> \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 <\/em><img decoding=\"async\" class=\"formula inline\" source=\"h_m(x)\" alt=\"h_m(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg\" width=\"40\" height=\"16\" data-width=\"5.95\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 781w\" loading=\"lazy\" decode=\"async\"\/><em>.<\/em><\/strong><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u043e\u0442 \u043b\u043e\u0441\u0441 \u043f\u043e \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u041d\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"h_m(x)\" alt=\"h_m(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg\" width=\"40\" height=\"16\" data-width=\"5.95\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/23c\/23cee294c31cecb7985d655f5625a675.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u0443 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e. \u041a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"L\\big(y_i, F_{m-1}(x_i)\\big)\" alt=\"L\\big(y_i, F_{m-1}(x_i)\\big)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d8\/5d8cc4401fcdfe90ec18b8b50d2cbe17.svg\" width=\"120\" height=\"16\" data-width=\"15.353\" data-height=\"2.713\" data-vertical-align=\"-0.791\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d8\/5d8cc4401fcdfe90ec18b8b50d2cbe17.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d8\/5d8cc4401fcdfe90ec18b8b50d2cbe17.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043a\u0438\u043d\u0443\u0442\u044c \u0438\u0437 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"  \\sum_{i=1}^{n}\\left[g_{i}h_{m}(x_{i})+\\frac{1}{2}h_{i}h_{m}(x_{i})^{2}\\right]\\rightarrow \\min_{h_{m}}\" alt=\"  \\sum_{i=1}^{n}\\left[g_{i}h_{m}(x_{i})+\\frac{1}{2}h_{i}h_{m}(x_{i})^{2}\\right]\\rightarrow \\min_{h_{m}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1be\/1be35191ebe24ee509453dbbd66c8dad.svg\" width=\"288\" height=\"48\" data-width=\"36.445\" data-height=\"6.354\" data-vertical-align=\"-2.611\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1be\/1be35191ebe24ee509453dbbd66c8dad.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1be\/1be35191ebe24ee509453dbbd66c8dad.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"w_{j} \" alt=\"w_{j} \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d1d\/d1dd67bfae2b772c386a7782115961d8.svg\" width=\"16\" height=\"12\" data-width=\"2.467\" data-height=\"1.668\" data-vertical-align=\"-0.666\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d1d\/d1dd67bfae2b772c386a7782115961d8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d1d\/d1dd67bfae2b772c386a7782115961d8.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0432\u043e\u0435\u0433\u043e \u043b\u0438\u0441\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"j = 1, \\dots, J\" alt=\"j = 1, \\dots, J\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/479\/479f0823acf661757a85c8f40bd905f0.svg\" width=\"88\" height=\"16\" data-width=\"11.553\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/479\/479f0823acf661757a85c8f40bd905f0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/479\/479f0823acf661757a85c8f40bd905f0.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0442\u0443 \u0441\u0443\u043c\u043c\u0443 \u043f\u043e \u043b\u0438\u0441\u0442\u044c\u044f\u043c. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"I_{j}\" alt=\"I_{j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/917\/917e4ab2cd2cbf2912d04debe88712d1.svg\" width=\"12\" height=\"16\" data-width=\"1.842\" data-height=\"2.211\" data-vertical-align=\"-0.666\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/917\/917e4ab2cd2cbf2912d04debe88712d1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/917\/917e4ab2cd2cbf2912d04debe88712d1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 \u043b\u0438\u0441\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg\" width=\"12\" height=\"12\" data-width=\"0.932\" data-height=\"1.957\" data-vertical-align=\"-0.462\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/363\/363b122c528f54df4a0446b6bab05515.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0422\u043e\u0433\u0434\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0441\u0430 \u043b\u0438\u0441\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"w_{j}\" alt=\"w_{j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63d\/63d15cf1dbc5dddbb744bda178e25bbb.svg\" width=\"16\" height=\"12\" data-width=\"2.467\" data-height=\"1.668\" data-vertical-align=\"-0.666\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63d\/63d15cf1dbc5dddbb744bda178e25bbb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63d\/63d15cf1dbc5dddbb744bda178e25bbb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\sum_{i\\in I{j}}g_{i}w_{j}+\\frac{1}{2}\\sum_{i\\in I{j}}h_{i}w_{j}^{2}\\rightarrow \\min_{w_{j}}\" alt=\"\\sum_{i\\in I{j}}g_{i}w_{j}+\\frac{1}{2}\\sum_{i\\in I{j}}h_{i}w_{j}^{2}\\rightarrow \\min_{w_{j}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/907\/907e6cf871b86f3b811be499dbb475e7.svg\" width=\"224\" height=\"48\" data-width=\"28.785\" data-height=\"6.077\" data-vertical-align=\"-2.473\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/907\/907e6cf871b86f3b811be499dbb475e7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/907\/907e6cf871b86f3b811be499dbb475e7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u044b <img decoding=\"async\" class=\"formula inline\" source=\"f(w) = B w + \\frac{1}{2} A w^2\" alt=\"f(w) = B w + \\frac{1}{2} A w^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/32\/32a\/32a28248f6751c4e6c58de80dcc24c8e.svg\" width=\"160\" height=\"32\" data-width=\"20.175\" data-height=\"4.588\" data-vertical-align=\"-1.729\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/32\/32a\/32a28248f6751c4e6c58de80dcc24c8e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/32\/32a\/32a28248f6751c4e6c58de80dcc24c8e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0435\u0451 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"w = -B\/A\" alt=\"w = -B\/A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/888\/888672b27f7619cb13834f8c5a9c5920.svg\" width=\"80\" height=\"16\" data-width=\"10.942\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/888\/888672b27f7619cb13834f8c5a9c5920.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/888\/888672b27f7619cb13834f8c5a9c5920.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"w_{j}\" alt=\"w_{j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63d\/63d15cf1dbc5dddbb744bda178e25bbb.svg\" width=\"16\" height=\"12\" data-width=\"2.467\" data-height=\"1.668\" data-vertical-align=\"-0.666\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63d\/63d15cf1dbc5dddbb744bda178e25bbb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/63\/63d\/63d15cf1dbc5dddbb744bda178e25bbb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <strong>\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u0432 \u043b\u0438\u0441\u0442\u0435<\/strong>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"w_{j}^{*}=-\\frac{\\sum_{i\\in I{j}}g_{i}}{\\sum_{i\\in I{j}}h_{i}}\" alt=\"w_{j}^{*}=-\\frac{\\sum_{i\\in I{j}}g_{i}}{\\sum_{i\\in I{j}}h_{i}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5da\/5da0c48d25eff3da994d3c0ab163a26a.svg\" width=\"128\" height=\"48\" data-width=\"16.462\" data-height=\"6.288\" data-vertical-align=\"-2.578\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5da\/5da0c48d25eff3da994d3c0ab163a26a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5da\/5da0c48d25eff3da994d3c0ab163a26a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0440\u044e\u043a \u043b\u0435\u0433 \u0432 \u043e\u0441\u043d\u043e\u0432\u0443 &#171;\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0440\u043e\u0439\u043a\u0438&#187; \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: <strong>XGBoost, LightGBM \u0438 CatBoost<\/strong>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0432 \u0447\u0435\u043c \u0432\u044b\u0433\u043e\u0434\u0430:<\/p>\n<ol>\n<li>\n<p><strong>\u0411\u043e\u043b\u044c\u0448\u0435 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e argmin:<\/strong> \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0438\u0441\u043a\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043b\u043e\u0441\u0441-\u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0435 \u0438 \u0432\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435, \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0438\u0445 \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430. \u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u043b\u0438\u0441\u0442\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0437\u0430 \u043e\u0434\u043d\u0443 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0434\u0435\u043b\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u043c\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u0441\u043f\u043b\u0438\u0442\u043e\u0432:<\/strong> \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"w_{j}^{*}\" alt=\"w_{j}^{*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/05\/059\/05953bcb996876bc6dd81337eb935aa0.svg\" width=\"16\" height=\"16\" data-width=\"2.608\" data-height=\"2.563\" data-vertical-align=\"-0.885\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/05\/059\/05953bcb996876bc6dd81337eb935aa0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/05\/059\/05953bcb996876bc6dd81337eb935aa0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043b\u043e\u0441\u0441\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e <strong>\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 <\/strong>(<strong>Gain<\/strong>). \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0440\u043e\u0438\u0442 \u0434\u0435\u0440\u0435\u0432\u043e, \u0432\u044b\u0431\u0438\u0440\u0430\u044f \u0442\u0430\u043a\u0438\u0435 \u0441\u043f\u043b\u0438\u0442\u044b \u043f\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u044d\u0442\u043e\u0442 Gain, \u0437\u0430\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"g_{i}\" alt=\"g_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a0\/8a063395ded15845176d0b1e07824cbf.svg\" width=\"12\" height=\"12\" data-width=\"1.819\" data-height=\"1.464\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a0\/8a063395ded15845176d0b1e07824cbf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a0\/8a063395ded15845176d0b1e07824cbf.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"h_{i}\" alt=\"h_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/914\/914767ffc65896751e16a5b9fbf3fc4a.svg\" width=\"16\" height=\"12\" data-width=\"2.043\" data-height=\"1.927\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/914\/914767ffc65896751e16a5b9fbf3fc4a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/91\/914\/914767ffc65896751e16a5b9fbf3fc4a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f:<\/strong> \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445 \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432\u0435\u0441\u0430 \u043b\u0438\u0441\u0442\u0430 \u0441\u0440\u0430\u0437\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u0430 (L2-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f (<img decoding=\"async\" class=\"formula inline\" source=\"\\lambda \" alt=\"\\lambda \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e05\/e05a30d96800384dd38b22851322a6b5.svg\" width=\"12\" height=\"16\" data-width=\"1.319\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e05\/e05a30d96800384dd38b22851322a6b5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e05\/e05a30d96800384dd38b22851322a6b5.svg 781w\" loading=\"lazy\" decode=\"async\"\/>): <\/p>\n<\/li>\n<\/ol>\n<p><img decoding=\"async\" class=\"formula\" source=\"w_j = -\\frac{\\sum g_i}{\\sum h_i + \\lambda}\\ \" alt=\"w_j = -\\frac{\\sum g_i}{\\sum h_i + \\lambda}\\ \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce1\/ce19863bd35ac8dfe0bfe3fb35e6f55b.svg\" width=\"136\" height=\"40\" data-width=\"17.699\" data-height=\"5.475\" data-vertical-align=\"-2.172\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce1\/ce19863bd35ac8dfe0bfe3fb35e6f55b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce1\/ce19863bd35ac8dfe0bfe3fb35e6f55b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435 \u043c\u0430\u043b\u043e (\u0441\u0443\u043c\u043c\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"h_{i} \" alt=\"h_{i} \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72c\/72c871da1a3734bc73b0f2d16f8262c3.svg\" width=\"16\" height=\"12\" data-width=\"2.043\" data-height=\"1.927\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72c\/72c871da1a3734bc73b0f2d16f8262c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72c\/72c871da1a3734bc73b0f2d16f8262c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u0430\u043b\u0430), \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\lambda \" alt=\"\\lambda \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e05\/e05a30d96800384dd38b22851322a6b5.svg\" width=\"12\" height=\"16\" data-width=\"1.319\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e05\/e05a30d96800384dd38b22851322a6b5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e05\/e05a30d96800384dd38b22851322a6b5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u043e\u043b\u044c\u0448\u0430\u044f, \u0432\u0435\u0441 \u043b\u0438\u0441\u0442\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043a \u043d\u0443\u043b\u044e, \u0437\u0430\u0449\u0438\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<h2>XGBoost, LightGBM \u0438 CatBoost<\/h2>\n<p>\u0420\u0430\u0437 \u0443\u0436 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u0433\u0440\u0435\u0445 \u043d\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c \u0442\u0440\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u044b\u0448\u0430\u043b\u0438, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0432\u0441\u0435.<\/p>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u044f\u0434\u0440\u043e \u0443 \u043d\u0438\u0445 \u043e\u0431\u0449\u0435\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u0438\u0437 \u044d\u0442\u0438\u0445 \u0442\u0440\u0435\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0437\u0430\u0432\u043e\u0435\u0432\u0430\u043b\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u0438\u0435 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0445\u0430\u043a\u043e\u0432 \u0432\u043e\u043a\u0440\u0443\u0433 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438 \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dc3\/0cc\/a39\/dc30cca3952986d014c82c7562ad4214.png\" alt=\"Level-wise \/ Leaf-wise \/ Oblivous\" title=\"Level-wise \/ Leaf-wise \/ Oblivous\" width=\"3570\" height=\"2092\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/dc3\/0cc\/a39\/dc30cca3952986d014c82c7562ad4214.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dc3\/0cc\/a39\/dc30cca3952986d014c82c7562ad4214.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Level-wise \/ Leaf-wise \/ Oblivous<\/figcaption><\/div>\n<\/figure>\n<h3>XGBoost<\/h3>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u043c \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430<strong> <\/strong>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <strong>Level-wise<\/strong> \u2014 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c (\u0441\u043b\u043e\u044f\u043c\u0438) \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e. \u0412\u0441\u0435 \u0443\u0437\u043b\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0444\u0438\u0448\u043a\u0430 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <strong>Sparsity-aware Split Finding<\/strong>. XGBoost \u043d\u0430 \u043b\u0435\u0442\u0443 \u0443\u0447\u0438\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (<code>NaN<\/code>) \u0432 \u0442\u0435 \u0432\u0435\u0442\u043a\u0438 \u0434\u0435\u0440\u0435\u0432\u0430, \u0433\u0434\u0435 \u043e\u043d\u0438 \u0434\u0430\u044e\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443. \u0417\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u0435\u0433\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0447\u0438\u0449\u0430\u0442\u044c \u043e\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043e\u0432.<\/p>\n<h3>LightGBM<\/h3>\n<p>\u0421\u043e\u0437\u0434\u0430\u043d \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c\u0438, \u0433\u0434\u0435 XGBoost \u043d\u0430\u0447\u0438\u043d\u0430\u043b \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c.<\/p>\n<p>\u0414\u0435\u0440\u0435\u0432\u044c\u044f \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <strong>Leaf-wise<\/strong> \u2014 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0449\u0435\u0442 \u043e\u0434\u0438\u043d-\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043b\u0438\u0441\u0442 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 (Gain) \u043f\u043e \u0432\u0441\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e, \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044f \u0443\u0440\u043e\u0432\u043d\u0438. \u0414\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u043c\u0438, \u043d\u043e \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0440\u0430\u0437\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<p>\u0424\u0438\u0448\u043a\u0430 \u0432<em> <\/em><strong>GOSS (Gradient-based One-Side Sampling)<\/strong>. \u0418\u0434\u0435\u044f \u043a\u0440\u0430\u0439\u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u0430: \u043d\u0435\u0437\u0430\u0447\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0435\u0441\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u043e. LightGBM \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438 (\u0441 \u0431\u043e\u043b\u044c\u0449\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439), \u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0431\u0435\u0440\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439. \u042d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0432 \u0440\u0430\u0437\u044b \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<h3>CatBoost<\/h3>\n<p>\u041f\u043e\u0436\u0430\u043b\u0443\u0439 \u043b\u0443\u0447\u0448\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 &#171;\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438&#187;, \u0435\u0441\u043b\u0438 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0431\u0435\u0437 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e One-Hot \u0438\u043b\u0438 Target encoding.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <strong>Oblivious Trees (\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f)<\/strong>. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0441\u043f\u043b\u0438\u0442 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0443\u0437\u043b\u043e\u0432. \u0422\u0430\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043c\u0435\u043d\u0435\u0435 \u0441\u043a\u043b\u043e\u043d\u043d\u043e \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0438 \u0443\u043c\u0435\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f (\u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435).<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0444\u0438\u0448\u043a\u0430 \u2014 <strong>Ordered Boosting<\/strong>. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044d\u0442\u043e\u0442 \u0436\u0435 \u043e\u0431\u044a\u0435\u043a\u0442 \u0432\u0438\u0434\u0435\u043b\u0430 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 (\u0447\u0442\u043e \u0432\u0435\u0434\u0435\u0442 \u043a \u0443\u0442\u0435\u0447\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e). CatBoost \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u043a \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u044f, \u0447\u0442\u043e \u0442\u0430\u0440\u0433\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0430\u0441\u0447\u0435\u0442 \u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0434\u0432\u0438\u0433\u0430.<\/p>\n<h4>\u041a\u0430\u043a\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0432\u044b\u0431\u0440\u0430\u0442\u044c?<\/h4>\n<p>\u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u044d\u0442\u0438\u0445 \u0442\u0440\u0435\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u043e\u0435:<\/p>\n<ul>\n<li>\n<p>\u041d\u0443\u0436\u0435\u043d <strong>\u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 baseline<\/strong> \u043d\u0430 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 <strong>LightGBM<\/strong>;<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <strong>\u043c\u043d\u043e\u0433\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0438\u0447<\/strong> \u2014 <strong>CatBoost<\/strong>;<\/p>\n<\/li>\n<li>\n<p>\u041d\u0443\u0436\u043d\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0441 GPU \u2014 <strong>XGBoost<\/strong>.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<ul>\n<li>\n<p><strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/strong> \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0433\u0434\u0435 \u043b\u043e\u0441\u0441-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0437\u0430\u0434\u0430\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0430 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0438\u0448\u044c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0442 \u0435\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0424\u0440\u0438\u0434\u043c\u0430\u043d\u0430<\/strong> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e (\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442) \u0438 \u0434\u043e\u043b\u0433\u0438\u0439 \u043f\u043e\u0438\u0441\u043a \u0448\u0430\u0433\u0430, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 <strong>\u041d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433<\/strong> \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u0442\u043e\u0440\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e (\u0433\u0435\u0441\u0441\u0438\u0430\u043d), \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0432\u0435\u0441\u0430 \u043b\u0438\u0441\u0442\u044c\u0435\u0432 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>XGBoost, LightGBM \u0438 CatBoost<\/strong> \u2014 \u044d\u0442\u043e \u043d\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u043c\u044b \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u0431\u043b\u043e\u043a, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0439 <strong>\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e<\/strong> \u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u043c. \u041c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u0441 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438, \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c\u0438, \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u043e\u043c \u0438 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u043e\u043c.<\/p>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0436\u043d\u044b\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 (\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c <strong>\u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438<\/strong>), \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0441 \u0436\u0434\u0435\u0442 \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u2014 \u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0432 \u043c\u0438\u0440 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (<strong>Deep Learning<\/strong>).<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1047130\/\">https:\/\/habr.com\/ru\/articles\/1047130\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412 \u0434\u0435\u0441\u044f\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043b\u0435\u0441\u0430 \u043c\u044b \u043d\u0430\u0442\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443: \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043a \u043b\u0435\u0441\u0443 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u043b \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u043d\u043e \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0432\u043e\u0434\u0438\u0442\u044c \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043a \u043d\u0443\u043b\u044e, \u0438 \u0437\u0430\u043e\u0434\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, \u043a\u0430\u043a \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430\u0445 \u0441\u0432\u043e\u0438\u0445 &#171;\u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432&#187;.\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043c\u044b \u0433\u043e\u0442\u043e\u0432\u0438\u043c \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u043a \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u0443 \u043f\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u043d\u043e \u0443 \u043d\u0430\u0441 \u0436\u0435\u0441\u0442\u043a\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u2014 \u043c\u044b \u0432\u044b\u0434\u0430\u0435\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u0440\u0446\u0438\u044f\u043c\u0438 \u0440\u043e\u0432\u043d\u043e \u043f\u043e 1 \u0447\u0430\u0441\u0443.\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0447\u0430\u0441\u0435 \u043c\u044b \u0431\u0435\u0433\u043b\u043e \u0447\u0438\u0442\u0430\u0435\u043c \u043b\u0435\u043a\u0446\u0438\u044e \u043e\u0431\u043e \u0432\u0441\u0435\u043c \u043f\u043e\u043d\u0435\u043c\u043d\u043e\u0433\u0443. \u041f\u0440\u043e\u0432\u043e\u0434\u0438\u043c \u043f\u0440\u043e\u0431\u043d\u044b\u0439 \u0442\u0435\u0441\u0442: \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 \u043f\u0440\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u043b\u0438 SVM \u0438 KNN.\u041c\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u0433\u0434\u0435 \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c, \u0438 \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u0447\u0430\u0441\u0435 \u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0430 \u0442\u0440\u0430\u0442\u0438\u043c \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u043d\u0430 SVM. \u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0442\u0435\u0441\u0442\u0435 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u044b \u0437\u043d\u0430\u044e\u0442 \u0443\u0436\u0435 \u0434\u0432\u0435 \u0442\u0435\u043c\u044b, \u043d\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 &#171;\u043f\u043b\u0430\u0432\u0430\u044e\u0442&#187; \u0432 KNN. \u0422\u043e\u0433\u0434\u0430 \u043d\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0447\u0430\u0441\u0435 \u043c\u044b \u043f\u0440\u0438\u0446\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c KNN.\u0412 \u0438\u0442\u043e\u0433\u0435 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u0432 \u2014 \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u0432\u0441\u0435\u0445 \u0447\u0430\u0441\u043e\u0432\u044b\u0445 \u043b\u0435\u043a\u0446\u0438\u0439, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0447\u0430\u0441 \u0442\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435 \u043f\u0440\u043e\u0431\u0435\u043b\u043e\u0432 (\u043e\u0448\u0438\u0431\u043e\u043a) \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445.\u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430: \u043c\u044b \u0441\u0442\u0440\u043e\u0438\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0433\u0434\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u0417\u0430\u0442\u0435\u043c \u043d\u043e\u0432\u044b\u0439 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0435\u0433\u043e \u0432\u043a\u043b\u0430\u0434 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044e.  \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439.  \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e\u0427\u0435\u0440\u0435\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u0430\u0433\u0434\u0435\u2014 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e,\u2014 \u0435\u0433\u043e \u0432\u0435\u0441,\u2014 \u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.\u041a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442: \u0428\u0430\u0433 1\u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0435\u0442. \u0414\u043b\u044f  \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0442\u0430\u0440\u0433\u0435\u0442\u0443. \u041c\u044b \u0445\u043e\u0442\u0438\u043c  \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443. \u0418 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430: \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445\u0417\u0434\u0435\u0441\u044c \u0432\u0441\u0451 \u043a\u0440\u0430\u0439\u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e. \u041c\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c , \u0442\u043e \u0435\u0441\u0442\u044c , \u0441\u0442\u0440\u043e\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445  \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0435\u0433\u043e .\u041c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445 \u0445\u043e\u0440\u043e\u0448, \u043d\u043e \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u2014 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0424\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a   \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a:\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0435\u0441\u0442\u044c \u043b\u0438\u0448\u044c \u0441\u0430\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f .  \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442  \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:  \u0418 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 .\u041a \u0441\u043b\u043e\u0432\u0443 \u0434\u043b\u044f MSE\u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 , \u0442\u043e \u0435\u0441\u0442\u044c, \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043e\u0441\u0442\u0430\u0442\u043a\u0430\u0445. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0443\u043c\u0430\u044e\u0442, \u0447\u0442\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430\u0445. \u041d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. \u041e\u043d \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u0445\u0414\u0430\u043b\u0435\u0435 \u0441\u0442\u0440\u043e\u0438\u043c \u0434\u0435\u0440\u0435\u0432\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0441\u0430\u043c \u0442\u0430\u0440\u0433\u0435\u0442, \u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c, \u043a\u0443\u0434\u0430 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c.  \u0428\u0430\u0433 2\u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u0434\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043d\u0430\u0448\u0438\u0445 100500 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443\u0414\u043b\u044f MSE \u044d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u041f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0435\u0451 \u0434\u043b\u044f MSE \u0438 \u0432\u044b\u0432\u0435\u0434\u0435\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0427\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043f\u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0438 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0435\u043c \u0435\u0451 \u043a \u043d\u0443\u043b\u044e:\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0432 \u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0432, \u043f\u043e\u043b\u0443\u0447\u0438\u043c:\u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u2014 \u044d\u0442\u043e \u043d\u0435 \u0447\u0442\u043e \u0438\u043d\u043e\u0435, \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043e\u0441\u0442\u0430\u0442\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u043d\u0435\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043b\u0438 \u043a\u0430\u043a. \u041f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435:\u041e\u0442\u0441\u044e\u0434\u0430 \u043b\u0435\u0433\u043a\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c :\u041a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u0430\u043b\u044c\u0446\u0430\u0445\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e 3 \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u0430\u0440\u0433\u0435\u0442\u0430 :   \u0428\u0430\u0433 1. \u0411\u0430\u0437\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u041c\u044b \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u043c \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b \u2014 \u0431\u0435\u0440\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0442\u0430\u0440\u0433\u0435\u0442\u0443: \u041d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0440\u0430\u0432\u043d\u044b: .  \u0428\u0430\u0433 2. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0418\u0442\u0430\u043a,:  , , . \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u0442\u043a\u0438: . \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u044d\u0442\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u043c\u044b \u0441\u0442\u0440\u043e\u0438\u043c \u043d\u043e\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0439. \u041d\u043e\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b . \u0414\u0435\u0440\u0435\u0432\u043e \u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u0442\u043a\u0438. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u0435 \u043d\u0430\u0448\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0434\u0430\u043b\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0434\u043b\u044f\u00a0\u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432:,,. \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0434\u0435\u0440\u0435\u0432\u0430: . \u0428\u0430\u0433 3. \u0421\u0447\u0438\u0442\u0430\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u0434\u0435\u0440\u0435\u0432\u0430 \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0448\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0443: \u0421\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c (\u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043d\u0430\u00a0\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0434\u0435\u0440\u0435\u0432\u0430 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c):\u0421\u0447\u0438\u0442\u0430\u0435\u043c \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c (\u0432\u043e\u0437\u0432\u043e\u0434\u0438\u043c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0434\u0435\u0440\u0435\u0432\u0430 \u0432\u00a0\u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c): 3. \u0414\u0435\u043b\u0438\u043c \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u043d\u0430\u00a0\u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c: . \u0418\u0442\u043e\u0433: \u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0440\u0430\u0432\u0435\u043d 2. \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0433\u043e \u0438 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043d\u0430\u0448 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c:\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a\u0438\u043c\u0438 \u0441\u0442\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432:\u0414\u043b\u044f 1-\u0433\u043e:  \u0414\u043b\u044f 2-\u0433\u043e:  \u0414\u043b\u044f 3-\u0433\u043e: \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c MSE \u0432\u00a0\u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0443\u043f\u0430\u043b\u0430 \u0434\u043e\u00a0\u043d\u0443\u043b\u044f. \u041d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043b\u043e\u0441\u0441-\u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a.  \u0428\u0430\u0433 3\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c:\u0433\u0434\u0435  \u2014 learning rate. \u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u043d\u043e\u0432\u043e.\u041f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438  \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u0448\u0443\u043c. \u041f\u043e\u0442\u043e\u043c\u0443 \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0431\u0435\u0440\u0443\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 learning rate \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432. \u0421\u0430\u043c\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0434\u0435\u043b\u0430\u044e\u0442 \u043d\u0435\u0433\u043b\u0443\u0431\u043e\u043a\u0438\u043c\u0438 (max_depth = 3-10): \u0446\u0435\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438, \u0430 \u043d\u0435 \u0440\u0435\u0448\u0430\u0442\u044c \u0432\u0441\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0422\u0430\u043a\u0438\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0430\u0431\u044b\u043c\u0438 \u0443\u0447\u0435\u043d\u0438\u043a\u0430\u043c\u0438\u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u0432\u0435\u0440\u0445\u0443 \u0432\u043d\u0438\u0437, \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0442\u044c \u0435\u043c\u0443 \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e:\u041c\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 , \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c , \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432 \u043d\u0435\u0433\u043e (\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439). \u0410\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043f\u0440\u0438 \u043a\u0430\u043a\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0435  \u043b\u043e\u0441\u0441 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e. \u041d\u043e \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0432 , \u043c\u044b \u0438\u0449\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u0434\u0435\u0440\u0435\u0432\u043e), \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442.\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0437\u0434\u0435\u0441\u044c \u0442\u043e, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u0433\u0434\u0435 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0431\u0430\u0437\u0438\u0441\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.  \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b:  MSE \u0434\u0430\u0451\u0442 \u043d\u0430\u043c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433;LogLoss \u0434\u0430\u0451\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e;\u0414\u0440\u0443\u0433\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u0430\u0441\u0442 \u0434\u0440\u0443\u0433\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c.\u0414\u0435\u0440\u0435\u0432\u044c\u044f \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f, \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0447\u044c\u044f \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u043d\u0438 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0430\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c.\u0418 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043d\u0435\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0445\u0438\u0442\u0440\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0434\u043b\u044f . \u0422\u043e \u0435\u0441\u0442\u044c \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043c\u043e\u0436\u043d\u043e \u043a\u0430\u0441\u0442\u043e\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434 \u043b\u044e\u0431\u043e\u0439 \u0432\u043a\u0443\u0441.\u041d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0422\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u0432\u044b\u0448\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0440\u044f\u0434 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0447\u043b\u0435\u043d\u0430 (\u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439). \u041f\u043e \u0441\u0443\u0442\u0438, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u044b \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0443\u0441\u043a\u0430, \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0448\u0430\u0433  \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 (argmin).\u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0441\u043f\u0443\u0441\u043a\u0430, \u043d\u043e \u0438 \u043e \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0434\u043e \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0447\u043b\u0435\u043d\u0430 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e.\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438  \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u0432 \u0432\u0438\u0434\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 , \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043b\u043e\u0441\u0441. \u0420\u0430\u0437\u043b\u043e\u0436\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430  \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f :\u0413\u0434\u0435:\u043f\u0435\u0440\u0432\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f (\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u043a\u0443\u0434\u0430 \u043f\u0430\u0434\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044f.\u0432\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f (\u0433\u0435\u0441\u0441\u0438\u0430\u043d), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 (\u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0443 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438).\u0412\u0430\u0436\u043d\u043e\u0435 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c: \u043d\u0435 \u043f\u0443\u0442\u0430\u0439\u0442\u0435 \u0433\u0435\u0441\u0441\u0438\u0430\u043d \u043e\u0431\u044a\u0435\u043a\u0442\u0430  \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 .\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u043e\u0442 \u043b\u043e\u0441\u0441 \u043f\u043e \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u041d\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e , \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u0443 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e. \u041a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435  \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043a\u0438\u043d\u0443\u0442\u044c \u0438\u0437 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:\u0415\u0441\u043b\u0438 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f  \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0432\u043e\u0435\u0433\u043e \u043b\u0438\u0441\u0442\u0430 , \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0442\u0443 \u0441\u0443\u043c\u043c\u0443 \u043f\u043e \u043b\u0438\u0441\u0442\u044c\u044f\u043c. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0437\u0430  \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043f\u043e\u043f\u0430\u0432\u0448\u0438\u0445 \u0432 \u043b\u0438\u0441\u0442 . \u0422\u043e\u0433\u0434\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0441\u0430 \u043b\u0438\u0441\u0442\u0430 :\u041a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u044b  \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0435\u0451 \u0432\u0435\u0440\u0448\u0438\u043d\u0435 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a .\u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u043f\u043e , \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a \u043d\u0443\u043b\u044e \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u0432 \u043b\u0438\u0441\u0442\u0435:\u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0440\u044e\u043a \u043b\u0435\u0433 \u0432 \u043e\u0441\u043d\u043e\u0432\u0443 &#171;\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0440\u043e\u0439\u043a\u0438&#187; \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: XGBoost, LightGBM \u0438 CatBoost. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0432 \u0447\u0435\u043c \u0432\u044b\u0433\u043e\u0434\u0430:\u0411\u043e\u043b\u044c\u0448\u0435 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e argmin: \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0438\u0441\u043a\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043b\u043e\u0441\u0441-\u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0435 \u0438 \u0432\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435, \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0438\u0445 \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430. \u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u043b\u0438\u0441\u0442\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0437\u0430 \u043e\u0434\u043d\u0443 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0434\u0435\u043b\u0435\u043d\u0438\u044f;\u0423\u043c\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u0441\u043f\u043b\u0438\u0442\u043e\u0432: \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043b\u043e\u0441\u0441\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0435\u0440\u0435\u0432\u0430 (Gain). \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0440\u043e\u0438\u0442 \u0434\u0435\u0440\u0435\u0432\u043e, \u0432\u044b\u0431\u0438\u0440\u0430\u044f \u0442\u0430\u043a\u0438\u0435 \u0441\u043f\u043b\u0438\u0442\u044b \u043f\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u044d\u0442\u043e\u0442 Gain, \u0437\u0430\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u043d\u0430  \u0438 ;\u0412\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f: \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445 \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432\u0435\u0441\u0430 \u043b\u0438\u0441\u0442\u0430 \u0441\u0440\u0430\u0437\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u0430 (L2-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f (): \u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043b\u0438\u0441\u0442\u0435 \u043c\u0430\u043b\u043e (\u0441\u0443\u043c\u043c\u0430  \u043c\u0430\u043b\u0430), \u0430  \u0431\u043e\u043b\u044c\u0448\u0430\u044f, \u0432\u0435\u0441 \u043b\u0438\u0441\u0442\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043a \u043d\u0443\u043b\u044e, \u0437\u0430\u0449\u0438\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.XGBoost, LightGBM \u0438 CatBoost\u0420\u0430\u0437 \u0443\u0436 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433, \u0433\u0440\u0435\u0445 \u043d\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c \u0442\u0440\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u044b\u0448\u0430\u043b\u0438, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0432\u0441\u0435.\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u044f\u0434\u0440\u043e \u0443 \u043d\u0438\u0445 \u043e\u0431\u0449\u0435\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u0438\u0437 \u044d\u0442\u0438\u0445 \u0442\u0440\u0435\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0437\u0430\u0432\u043e\u0435\u0432\u0430\u043b\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u0438\u0435 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0445\u0430\u043a\u043e\u0432 \u0432\u043e\u043a\u0440\u0443\u0433 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0438 \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.Level-wise \/ Leaf-wise \/ OblivousXGBoost\u041f\u0435\u0440\u0432\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u043c \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c.\u0414\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0435\u0440\u0435\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Level-wise \u2014 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c (\u0441\u043b\u043e\u044f\u043c\u0438) \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e. \u0412\u0441\u0435 \u0443\u0437\u043b\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e.\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0444\u0438\u0448\u043a\u0430 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Sparsity-aware Split Finding. XGBoost \u043d\u0430 \u043b\u0435\u0442\u0443 \u0443\u0447\u0438\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (NaN) \u0432 \u0442\u0435 \u0432\u0435\u0442\u043a\u0438 \u0434\u0435\u0440\u0435\u0432\u0430, \u0433\u0434\u0435 \u043e\u043d\u0438 \u0434\u0430\u044e\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443. \u0417\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u0435\u0433\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0447\u0438\u0449\u0430\u0442\u044c \u043e\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043e\u0432.LightGBM\u0421\u043e\u0437\u0434\u0430\u043d \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c\u0438, \u0433\u0434\u0435 XGBoost \u043d\u0430\u0447\u0438\u043d\u0430\u043b \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c.\u0414\u0435\u0440\u0435\u0432\u044c\u044f \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Leaf-wise \u2014 \u0434\u0435\u0440\u0435\u0432\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0449\u0435\u0442 \u043e\u0434\u0438\u043d-\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043b\u0438\u0441\u0442 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 (Gain) \u043f\u043e \u0432\u0441\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e, \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044f \u0443\u0440\u043e\u0432\u043d\u0438. \u0414\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u043c\u0438, \u043d\u043e \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0440\u0430\u0437\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435.\u0424\u0438\u0448\u043a\u0430 \u0432 GOSS (Gradient-based One-Side Sampling). \u0418\u0434\u0435\u044f \u043a\u0440\u0430\u0439\u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u0430: \u043d\u0435\u0437\u0430\u0447\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0435\u0441\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u043e. LightGBM \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438 (\u0441 \u0431\u043e\u043b\u044c\u0449\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439), \u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0431\u0435\u0440\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-483510","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/483510","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=483510"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/483510\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=483510"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=483510"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=483510"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}