{"id":481683,"date":"2026-05-30T11:15:59","date_gmt":"2026-05-30T11:15:59","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=481683"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=481683","title":{"rendered":"\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432\u00a0ML \u0431\u0435\u0437\u00a0\u0432\u043e\u0434\u044b: \u043e\u0442\u00a0\u0431\u0430\u0437\u044b \u0434\u043e\u00a0Attention. \u0427\u0430\u0441\u0442\u044c 7: SVM \u0438 SGD"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p> \u0412 <a href=\"https:\/\/habr.com\/ru\/articles\/1040682\/\" rel=\"noopener noreferrer nofollow\">\u0448\u0435\u0441\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/a> \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0438 \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430. <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e SVM \u2014 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0449\u0435\u0442 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0443\u044e \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c, \u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0437\u043e\u0440\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438.  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043e\u0442\u0432\u0435\u0447\u0430\u043b\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &#171;\u0441 \u043a\u0430\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u044a\u0435\u043a\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043a\u043b\u0430\u0441\u0441\u0443?&#187;, \u0442\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f SVM \u0437\u0432\u0443\u0447\u0438\u0442 \u0438\u043d\u0430\u0447\u0435 &#171;\u0433\u0434\u0435 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438?&#187;.<\/p>\n<h2>Support vector machine<\/h2>\n<p><strong>Support vector machine<\/strong> (<strong>SVM<\/strong>), \u0438\u043b\u0438 \u0436\u0435 <strong>\u043c\u0435\u0442\u043e\u0434 \u043e\u043f\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Hyperplane\" rel=\"noopener noreferrer nofollow\">\u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438<\/a> (\u043f\u0440\u044f\u043c\u043e\u0439) \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0437\u043e\u0440\u043e\u043c.  <\/p>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0438\u0434\u0435\u044e\u2024<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8bb\/001\/8fa\/8bb0018fab0f7ecfba4cd7acdbe73ce5.png\" alt=\"\u043a\u0430\u043a\u0430\u044f \u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u044f\u043c\u044b\u0445 \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435?\" title=\"\u043a\u0430\u043a\u0430\u044f \u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u044f\u043c\u044b\u0445 \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435?\" width=\"484\" height=\"482\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/8bb\/001\/8fa\/8bb0018fab0f7ecfba4cd7acdbe73ce5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8bb\/001\/8fa\/8bb0018fab0f7ecfba4cd7acdbe73ce5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u043a\u0430\u043a\u0430\u044f \u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u044f\u043c\u044b\u0445 \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435?<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c\u044b\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 (\u043a\u0430\u043a \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435). \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432 \u0442\u0430\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u044b \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043b\u0438\u043d\u0438\u044f\u043c\u0438. \u0418 \u043d\u0430\u043c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0430\u0439\u0442\u0438 &#171;\u043b\u0443\u0447\u0448\u0443\u044e&#187; \u0438\u0437 \u043d\u0438\u0445. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u0436\u0435\u043b\u0442\u0430\u044f \u043f\u0440\u044f\u043c\u0430\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u0448\u043b\u0430 \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 &#171;\u0414\u043e\u043d \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u0435, \u043c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435&#187;. \u041d\u043e \u043e\u043d \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0431\u0435\u0437 \u0443\u0432\u0430\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0436\u0435\u0441\u0442\u043a\u043e \u043e\u0442\u0440\u0435\u0437\u0430\u043b \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0438. \u0410 \u0432\u0434\u0440\u0443\u0433 \u043d\u0430\u0448 \u043d\u043e\u0432\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0447\u0443\u0442\u044c \u0432\u044b\u0448\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0432\u0435\u0440\u0445\u043d\u0435\u0433\u043e \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430? \u0418\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e, \u0442\u0430\u043a\u043e\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u043c, \u043d\u043e \u0436\u0435\u043b\u0442\u0430\u044f \u043f\u0440\u044f\u043c\u0430\u044f \u043d\u0430\u0437\u043e\u0432\u0435\u0442 \u0435\u0433\u043e \u043a\u0440\u0443\u0433\u043e\u043c. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0441 \u0437\u0435\u043b\u0435\u043d\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439.<\/p>\n<p>\u041f\u043e\u0442\u043e\u043c\u0443, \u0434\u0430\u0436\u0435 \u043d\u0430 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435, \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u044b\u0433\u043e\u0434\u043d\u044b\u043c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0442\u0430\u043a\u0443\u044e \u043f\u0440\u044f\u043c\u0443\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0432\u043d\u043e\u0443\u0434\u0430\u043b\u0435\u043d\u0430 \u043e\u0442 \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u0438\u0434\u0435\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438.<\/p>\n<p>\u0413\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0434\u0438\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435\u043c<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\omega_1x_1 + \\omega_2x_2+\\dots+\\omega_nx_n +b = 0\" alt=\"\\omega_1x_1 + \\omega_2x_2+\\dots+\\omega_nx_n +b = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c7c\/c7c17be7ec693fba599d5061c900665e.svg\" width=\"264\" height=\"16\" data-width=\"33.183\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c7c\/c7c17be7ec693fba599d5061c900665e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c7c\/c7c17be7ec693fba599d5061c900665e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041a\u0430\u043a \u0438 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0432\u0435\u0434\u0435\u043c \u0444\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"x_0 = 1\" alt=\"x_0 = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/970\/970fbc6c3c2ed45aa21ceb3b1161e93b.svg\" width=\"48\" height=\"12\" data-width=\"6.43\" data-height=\"1.881\" data-vertical-align=\"-0.375\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/970\/970fbc6c3c2ed45aa21ceb3b1161e93b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/970\/970fbc6c3c2ed45aa21ceb3b1161e93b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u0443\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"b \" alt=\"b \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbf\/fbf88552979521b79358be7637d97d88.svg\" width=\"12\" height=\"12\" data-width=\"0.971\" data-height=\"1.595\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbf\/fbf88552979521b79358be7637d97d88.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbf\/fbf88552979521b79358be7637d97d88.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\omega_0\" alt=\"\\omega_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b0e\/b0e7a386c3bc9554d58b4d928100ba01.svg\" width=\"16\" height=\"16\" data-width=\"2.395\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b0e\/b0e7a386c3bc9554d58b4d928100ba01.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b0e\/b0e7a386c3bc9554d58b4d928100ba01.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0448\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0442\u0430\u043a:<img decoding=\"async\" class=\"formula inline\" source=\" x = [x_0,x_1,\\dots,x_n],\\ \\  \\omega = [\\omega_0,\\omega_1,\\dots,\\omega_n]\" alt=\" x = [x_0,x_1,\\dots,x_n],\\ \\  \\omega = [\\omega_0,\\omega_1,\\dots,\\omega_n]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e49\/e49a98ef741999d6cf981ca9b2d17e03.svg\" width=\"312\" height=\"16\" data-width=\"39.832\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e49\/e49a98ef741999d6cf981ca9b2d17e03.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e49\/e49a98ef741999d6cf981ca9b2d17e03.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430, \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0432\u0438\u0434: <img decoding=\"async\" class=\"formula inline\" source=\"\\langle\\omega,x\\rangle = 0\" alt=\"\\langle\\omega,x\\rangle = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d17\/d1745ebc4027014a8418bae27a7d1b05.svg\" width=\"72\" height=\"16\" data-width=\"9.616\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d17\/d1745ebc4027014a8418bae27a7d1b05.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d17\/d1745ebc4027014a8418bae27a7d1b05.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0434\u0435\u043b\u043e \u0448\u043b\u043e \u043b\u0435\u0433\u0447\u0435, \u0432 SVM \u043a\u043b\u0430\u0441\u0441\u044b \u0431\u0443\u0434\u0435\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\{0,1\\}\" alt=\"\\{0,1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b38\/b38d90f7e51a6ad43644de01f3e85423.svg\" width=\"40\" height=\"16\" data-width=\"5.531\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b38\/b38d90f7e51a6ad43644de01f3e85423.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b38\/b38d90f7e51a6ad43644de01f3e85423.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u043a\u0430\u043a \u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438) \u0430 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\{-1,1\\}\" alt=\"\\{-1,1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b6\/1b6abd5326f153329f6b166d81ff4c86.svg\" width=\"56\" height=\"16\" data-width=\"7.291\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b6\/1b6abd5326f153329f6b166d81ff4c86.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b6\/1b6abd5326f153329f6b166d81ff4c86.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u0434\u0430\u0441\u0442 \u043d\u0430\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u0438\u0433\u043d\u0443\u043c (<img decoding=\"async\" class=\"formula inline\" source=\"\\text{sign}\" alt=\"\\text{sign}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/02\/02a\/02a79b4b8c5ed500fdcadf668918eb20.svg\" width=\"24\" height=\"16\" data-width=\"3.91\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/02\/02a\/02a79b4b8c5ed500fdcadf668918eb20.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/02\/02a\/02a79b4b8c5ed500fdcadf668918eb20.svg 781w\" loading=\"lazy\" decode=\"async\"\/>).<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\hat{y} = \\text{sign}(\\langle\\omega,x\\rangle)\" alt=\"\\hat{y} = \\text{sign}(\\langle\\omega,x\\rangle)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c4\/c41\/c41be367655336722ae3e8e4d85eab02.svg\" width=\"120\" height=\"16\" data-width=\"15.263\" data-height=\"2.398\" data-vertical-align=\"-0.633\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c4\/c41\/c41be367655336722ae3e8e4d85eab02.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c4\/c41\/c41be367655336722ae3e8e4d85eab02.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u043e \u0440\u0430\u0437 \u0443\u0436 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u0443, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u0443\u044e \u043e\u0442 \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u044d\u0442\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0437\u0430\u0436\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u043b\u0438\u043d\u0438\u044e (\u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c) \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043b\u0438\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432 \u0441\u0430\u043c\u044b\u0435 \u043a\u0440\u0430\u0439\u043d\u0438\u0435 \u0442\u043e\u0447\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u044d\u0442\u0438 \u043b\u0438\u043d\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c\u0438  <img decoding=\"async\" class=\"formula inline\" source=\"\\langle\\omega,x\\rangle = -1\" alt=\"\\langle\\omega,x\\rangle = -1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e5\/e55\/e551066894149aa41c5ac480a22408e9.svg\" width=\"88\" height=\"16\" data-width=\"11.376\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e5\/e55\/e551066894149aa41c5ac480a22408e9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e5\/e55\/e551066894149aa41c5ac480a22408e9.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\langle\\omega,x\\rangle = 1\" alt=\"\\langle\\omega,x\\rangle = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3c\/3ca\/3cad3e2012c3197d23dcc75dd0c0c096.svg\" width=\"72\" height=\"16\" data-width=\"9.616\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3c\/3ca\/3cad3e2012c3197d23dcc75dd0c0c096.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3c\/3ca\/3cad3e2012c3197d23dcc75dd0c0c096.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0422\u043e\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u0440\u043e\u0432\u043d\u043e \u043d\u0430 \u044d\u0442\u0438 \u043b\u0438\u043d\u0438\u0438, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f\u00a0<strong>\u043e\u043f\u043e\u0440\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438<\/strong>\u00a0(<strong>Support Vectors<\/strong>). \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c \u0438\u0437 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043b\u044e\u0431\u044b\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u043e\u0447\u043a\u0438, \u043b\u0435\u0436\u0430\u0449\u0438\u0435 \u0433\u043b\u0443\u0431\u0436\u0435 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u0445, \u043d\u0430\u0448\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u044f\u043c\u0430\u044f \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f.<\/p>\n<p>\u0420\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0434\u0432\u0443\u043c\u044f \u043b\u0438\u043d\u0438\u044f\u043c\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f\u00a0\u0437\u0430\u0437\u043e\u0440\u043e\u043c <strong>(margin)<\/strong>. \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0435\u043c\u0443 \u043e\u043d \u0440\u0430\u0432\u0435\u043d.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0440\u0430\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"\\langle\\omega,x\\rangle= 0\" alt=\"\\langle\\omega,x\\rangle= 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/39f\/39f2ff3eb3c3b21d8dcc6517b74c306f.svg\" width=\"72\" height=\"16\" data-width=\"9.616\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/39f\/39f2ff3eb3c3b21d8dcc6517b74c306f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/39f\/39f2ff3eb3c3b21d8dcc6517b74c306f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"\\omega\" alt=\"\\omega\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/260\/260b57b4fdee8c5a001c09b555ccd28d.svg\" width=\"12\" height=\"16\" data-width=\"1.407\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/260\/260b57b4fdee8c5a001c09b555ccd28d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/260\/260b57b4fdee8c5a001c09b555ccd28d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0435\u0440\u043f\u0435\u043d\u0434\u0438\u043a\u0443\u043b\u044f\u0440\u0435\u043d \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438. <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u0442\u043e\u0447\u043a\u0443<img decoding=\"async\" class=\"formula inline\" source=\"x_+\" alt=\"x_+\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71a\/71a118971e4fb4a530da7c2d03ad9e93.svg\" width=\"16\" height=\"12\" data-width=\"2.727\" data-height=\"1.471\" data-vertical-align=\"-0.471\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71a\/71a118971e4fb4a530da7c2d03ad9e93.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71a\/71a118971e4fb4a530da7c2d03ad9e93.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u0438 \u0442\u043e\u0447\u043a\u0443<img decoding=\"async\" class=\"formula inline\" source=\"x_-\" alt=\"x_-\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/523\/5238abc1b5e47b793740408e9dde6578.svg\" width=\"16\" height=\"12\" data-width=\"2.727\" data-height=\"1.471\" data-vertical-align=\"-0.471\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/523\/5238abc1b5e47b793740408e9dde6578.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/523\/5238abc1b5e47b793740408e9dde6578.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u043d\u0438\u0436\u043d\u0435\u0439. \u041e\u043d\u0438 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u044e\u0442 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c:  <img decoding=\"async\" class=\"formula inline\" source=\"\\langle\\omega,x_+\\rangle = 1\" alt=\"\\langle\\omega,x_+\\rangle = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef97c1c22e06c6ce442e00a68b7d10c5.svg\" width=\"88\" height=\"16\" data-width=\"11.048\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef97c1c22e06c6ce442e00a68b7d10c5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef97c1c22e06c6ce442e00a68b7d10c5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\langle\\omega,x_-\\rangle = 1\" alt=\"\\langle\\omega,x_-\\rangle = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57a\/57a56085b8ac98acaf7c707d6222b616.svg\" width=\"88\" height=\"16\" data-width=\"11.048\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57a\/57a56085b8ac98acaf7c707d6222b616.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57a\/57a56085b8ac98acaf7c707d6222b616.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0428\u0438\u0440\u0438\u043d\u0430 \u0437\u0430\u0437\u043e\u0440\u0430 \u2014 \u044d\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430<img decoding=\"async\" class=\"formula inline\" source=\"(x_+ - x_-)\" alt=\"(x_+ - x_-)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3b\/3b5\/3b5b84864de6b3ecdddf07c0a489feb9.svg\" width=\"72\" height=\"16\" data-width=\"9.979\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3b\/3b5\/3b5b84864de6b3ecdddf07c0a489feb9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3b\/3b5\/3b5b84864de6b3ecdddf07c0a489feb9.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{\\omega}{||\\omega||}\" alt=\"\\frac{\\omega}{||\\omega||}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/784\/784af1793a6172d7c21bc06c00bd4352.svg\" width=\"32\" height=\"32\" data-width=\"4.919\" data-height=\"4.701\" data-vertical-align=\"-1.785\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/784\/784af1793a6172d7c21bc06c00bd4352.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/784\/784af1793a6172d7c21bc06c00bd4352.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"     \\text{Margin} = \\frac{\\langle\\omega,x_+-x_-\\rangle}{\\|\\omega\\|} = \\frac{\\langle\\omega,x_+\\rangle  - \\langle\\omega,x_-\\rangle }{\\|\\omega\\|}  = \\frac{2}{\\|\\omega\\|}\" alt=\"     \\text{Margin} = \\frac{\\langle\\omega,x_+-x_-\\rangle}{\\|\\omega\\|} = \\frac{\\langle\\omega,x_+\\rangle  - \\langle\\omega,x_-\\rangle }{\\|\\omega\\|}  = \\frac{2}{\\|\\omega\\|}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/342\/34277c64887f2e770cafaeeaef10bdc2.svg\" width=\"408\" height=\"40\" data-width=\"51.776\" data-height=\"5.475\" data-vertical-align=\"-2.172\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/342\/34277c64887f2e770cafaeeaef10bdc2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/342\/34277c64887f2e770cafaeeaef10bdc2.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c \u2014 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0437\u0430\u0437\u043e\u0440 <strong>\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c<\/strong>. \u0410 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{2}{||\\omega||}\" alt=\"\\frac{2}{||\\omega||}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/169\/169b9709598de351b6a2f9bfc2283db5.svg\" width=\"32\" height=\"40\" data-width=\"4.919\" data-height=\"5.206\" data-vertical-align=\"-2.037\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/169\/169b9709598de351b6a2f9bfc2283db5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/169\/169b9709598de351b6a2f9bfc2283db5.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e <\/p>\n<p>\u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{1}{2}||\\omega||^2\" alt=\"\\frac{1}{2}||\\omega||^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/854\/85454f8f889be4d7736947a4927d3e68.svg\" width=\"56\" height=\"32\" data-width=\"7.037\" data-height=\"4.588\" data-vertical-align=\"-1.729\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/854\/85454f8f889be4d7736947a4927d3e68.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/85\/854\/85454f8f889be4d7736947a4927d3e68.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (<img decoding=\"async\" class=\"formula inline\" source=\"\\frac{1}{2}\" alt=\"\\frac{1}{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg\" width=\"16\" height=\"32\" data-width=\"2.127\" data-height=\"4.588\" data-vertical-align=\"-1.729\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/93b\/93b05c90d14a117ba52da1d743a43ab1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u0432\u0435\u0434\u0435\u043d\u0430 \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u0437\u044f\u0442\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439)<\/p>\n<p>\u041e\u043a\u0435\u0439. \u0417\u0430\u0434\u0430\u0447\u0430 \u0432 \u0442\u0430\u043a\u043e\u043c \u0432\u0438\u0434\u0435 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e: \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\omega\" alt=\"\\omega\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/260\/260b57b4fdee8c5a001c09b555ccd28d.svg\" width=\"12\" height=\"16\" data-width=\"1.407\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/260\/260b57b4fdee8c5a001c09b555ccd28d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/260\/260b57b4fdee8c5a001c09b555ccd28d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043a \u043d\u0443\u043b\u044e, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435. \u041d\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0436\u0435\u0441\u0442\u043a\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435: \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0431\u0435\u0437 \u043e\u0448\u0438\u0431\u043e\u043a \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043e\u0442 \u043f\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u043d\u044b\u0445 \u043b\u0438\u043d\u0438\u0439. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"y_i\\langle\\omega,x_i\\rangle  \\ge 1\" alt=\"y_i\\langle\\omega,x_i\\rangle  \\ge 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d31\/d3198bd4af75aedc7f4e7d346246d171.svg\" width=\"96\" height=\"16\" data-width=\"12.204\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d31\/d3198bd4af75aedc7f4e7d346246d171.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d31\/d3198bd4af75aedc7f4e7d346246d171.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e\u00a0<strong>Hard-Margin SVM<\/strong>: <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\omega_* = \\arg\\min_{\\omega} \\frac{1}{2} \\|\\omega\\|^2: \\ y_i\\langle\\omega,x_i\\rangle  \\geq 1\" alt=\"\\omega_* = \\arg\\min_{\\omega} \\frac{1}{2} \\|\\omega\\|^2: \\ y_i\\langle\\omega,x_i\\rangle  \\geq 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6d\/d6db2c8398d09ad667ad12680eaa3f52.svg\" width=\"272\" height=\"32\" data-width=\"34.526\" data-height=\"4.638\" data-vertical-align=\"-1.753\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6d\/d6db2c8398d09ad667ad12680eaa3f52.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d6\/d6d\/d6db2c8398d09ad667ad12680eaa3f52.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h2>Soft-margin SVM<\/h2>\n<p>\u041d\u0430 \u0431\u0443\u043c\u0430\u0433\u0435 \u0432\u0441\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e. \u041d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0430\u0440\u0442\u0438\u0437\u0430\u043d\u0441\u043a\u043e\u043c\u0443 \u043a\u0440\u0443\u0433\u0443 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e<em> <\/em>\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u0432 <em>\u2014 <\/em>\u0438 \u0432\u0441\u0451. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c\u043e\u0441\u0442\u044c, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0430\u043d\u044b \u0442\u0430\u043a, \u0447\u0442\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u044f\u043c\u0443\u044e \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.  <\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0438\u0434\u0435\u044f \u0431\u043e\u043b\u0435\u0435 \u043c\u044f\u0433\u043a\u043e\u0433\u043e <strong>Soft-Margin SVM.<\/strong><\/p>\n<p>\u0421\u0443\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043c\u044f\u0433\u0447\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u043c\u0441\u044f \u043a \u0433\u0440\u0430\u043d\u0438\u0446\u0435, \u0432\u043c\u0435\u0441\u0442\u043e \u0436\u0435\u0441\u0442\u043a\u043e\u0439 &#171;\u0411\u0435\u0440\u043b\u0438\u043d\u0441\u043a\u043e\u0439 \u0441\u0442\u0435\u043d\u044b&#187; \u0434\u0430\u0451\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0443\u0433\u0430\u043c \u0438 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430\u043c \u043f\u043e\u0439\u0442\u0438 \u0447\u0443\u0442\u043e\u0447\u043a\u0443 \u0442\u0443\u0434\u0430-\u0441\u044e\u0434\u0430. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0432\u0432\u043e\u0434\u043e\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 <strong>slack variables <\/strong>(<strong>\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435<\/strong>\/<strong>\u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435<\/strong> <strong>\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435<\/strong>)<strong> <\/strong><img decoding=\"async\" class=\"formula inline\" source=\"\\xi_i \\ge 0\" alt=\"\\xi_i \\ge 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/18e\/18ef3a74c815ba50290ede98bfc948dd.svg\" width=\"40\" height=\"16\" data-width=\"5.879\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/18e\/18ef3a74c815ba50290ede98bfc948dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/18e\/18ef3a74c815ba50290ede98bfc948dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"y_i\\langle\\omega,x_i\\rangle  \\geq 1 - \\xi_i\" alt=\"y_i\\langle\\omega,x_i\\rangle  \\geq 1 - \\xi_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9c\/b9c22970f368de6c16c0dce63aa3a24e.svg\" width=\"128\" height=\"16\" data-width=\"16.7\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9c\/b9c22970f368de6c16c0dce63aa3a24e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9c\/b9c22970f368de6c16c0dce63aa3a24e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u043e \u043c\u044b \u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0445\u0438\u0442\u0440\u044b\u0435 \u0438 \u043b\u0435\u043d\u0438\u0432\u044b\u0435 \u0438 \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u0441\u0451 \u043a\u0430\u043a \u0435\u0441\u0442\u044c, \u043e\u043d\u0438 \u043d\u0430\u0439\u0434\u0443\u0442 \u043e\u0431\u0445\u043e\u0434\u043d\u044b\u0435 \u043f\u0443\u0442\u0438. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u0430\u0436\u0435\u0442: &#171;\u0448\u0435\u0444, \u0431\u0435\u0440\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\xi_i = 100500^{100500}\" alt=\"\\xi_i = 100500^{100500}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c30\/c30b2ad368f8ba284a99cfcd672c3266.svg\" width=\"128\" height=\"16\" data-width=\"16.522\" data-height=\"2.565\" data-vertical-align=\"-0.717\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c30\/c30b2ad368f8ba284a99cfcd672c3266.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c30\/c30b2ad368f8ba284a99cfcd672c3266.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u0442\u0432\u043e\u0451 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f&#187;\u2024 \u041f\u043e\u0442\u043e\u043c\u0443, \u0432\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u0434\u0443\u0442\u044b\u0445<img decoding=\"async\" class=\"formula inline\" source=\"\\xi\" alt=\"\\xi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/195\/195246810f9bfc228bca491859062b14.svg\" width=\"12\" height=\"16\" data-width=\"0.991\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/195\/195246810f9bfc228bca491859062b14.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/195\/195246810f9bfc228bca491859062b14.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432\u0432\u0435\u0441\u0442\u0438 \u0448\u0442\u0440\u0430\u0444.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\omega_*, \\xi_* = \\arg\\min_{\\omega, \\xi} \\left(\\frac{1}{2} ||\\omega||^2 + C\\frac{1}{n}\\sum_{i=1}^{n}\\xi_i\\right)\" alt=\"\\omega_*, \\xi_* = \\arg\\min_{\\omega, \\xi} \\left(\\frac{1}{2} ||\\omega||^2 + C\\frac{1}{n}\\sum_{i=1}^{n}\\xi_i\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/08\/089\/089fc43d22840df9acf0bed36a6dafac.svg\" width=\"312\" height=\"48\" data-width=\"39.283\" data-height=\"6.785\" data-vertical-align=\"-2.827\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/08\/089\/089fc43d22840df9acf0bed36a6dafac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/08\/089\/089fc43d22840df9acf0bed36a6dafac.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0439\u043c\u0435\u043c, \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442: \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u043e\u0439 \u2014 \u043c\u044b \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0440\u043c\u0443 \u0432\u0435\u0441\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0437\u043e\u0440. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440  C, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0448\u0442\u0440\u0430\u0444\u0430 (penalty parameter) <\/strong><span class=\"habrahidden\">\u0438\u043d\u043e\u0433\u0434\u0430 \u0435\u0449\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <strong>\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438<\/strong>, \u043d\u043e \u044f \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0442\u0430\u043a\u043e\u0433\u043e<\/span>, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435 \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg\" width=\"12\" height=\"16\" data-width=\"1.319\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u044f\u043c\u043e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u0435\u043d \u0441\u0442\u0440\u0430\u0445\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0448\u0438\u0431\u0438\u0442\u044c\u0441\u044f. \u0415\u0441\u043b\u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u043e\u043b\u044c\u0448\u0430\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg\" width=\"12\" height=\"16\" data-width=\"1.319\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c6a\/c6a6eb61fd9c6c913da73b3642ca147d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0432\u0435\u0441\u0430, \u0442\u043e \u0432 SVM \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg\" width=\"12\" height=\"12\" data-width=\"1.719\" data-height=\"1.645\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\xi_i\" alt=\"\\xi_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9ea\/9ea888f58114108ed02fea555f01fe8c.svg\" width=\"12\" height=\"16\" data-width=\"1.731\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9ea\/9ea888f58114108ed02fea555f01fe8c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9ea\/9ea888f58114108ed02fea555f01fe8c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u0430.<br \/>\u041a\u0430\u043a \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435, \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg\" width=\"12\" height=\"12\" data-width=\"1.719\" data-height=\"1.645\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 &#8212; \u043a \u043d\u0435\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435\u00a0<em>Scikit-Learn<\/em>  \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\u00a0<code><strong>C = 1.0<\/strong><\/code>.  <br \/>\u041f\u043e\u0441\u043b\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 C \u0438\u0434\u0451\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0442\u0440\u044e\u043a, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0443\u0436\u0435 \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0438 \u2014 \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445.<br \/>\u041d\u0443 \u0438 \u043d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a \u0441\u0443\u043c\u043c\u0430 \u0432\u0441\u0435\u0445 slack variables. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0435\u0431\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u044d\u0442\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b.<\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0438\u0434\u0435\u044f \u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u0438\u0437 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 &#171;\u0431\u0435\u0437\u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e&#187;. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\xi\" alt=\"\\xi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/195\/195246810f9bfc228bca491859062b14.svg\" width=\"12\" height=\"16\" data-width=\"0.991\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/195\/195246810f9bfc228bca491859062b14.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/195\/195246810f9bfc228bca491859062b14.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\xi_i  \\geq 1 -  y_i\\langle\\omega,x_i\\rangle\u2024\" alt=\"\\xi_i  \\geq 1 -  y_i\\langle\\omega,x_i\\rangle\u2024\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/48\/48b\/48ba1e1a03c9ffe9bfd68d3a381bf4a1.svg\" width=\"144\" height=\"16\" data-width=\"18.058\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/48\/48b\/48ba1e1a03c9ffe9bfd68d3a381bf4a1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/48\/48b\/48ba1e1a03c9ffe9bfd68d3a381bf4a1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0436\u0435, \u043d\u0435 \u0437\u0430\u0431\u0443\u0434\u0435\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\xi_i \\ge 0\" alt=\"\\xi_i \\ge 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/18e\/18ef3a74c815ba50290ede98bfc948dd.svg\" width=\"40\" height=\"16\" data-width=\"5.879\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/18e\/18ef3a74c815ba50290ede98bfc948dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/18e\/18ef3a74c815ba50290ede98bfc948dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0432 \u044d\u0442\u0438 \u0434\u0432\u0430 \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043c\u044b \u0432\u0441\u0435\u043c\u0438 \u0441\u0438\u043b\u0430\u043c\u0438 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u043e\u0448\u0438\u0431\u043e\u043a, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u044f\u0432\u0438\u0442\u044c, \u0447\u0442\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\xi_i = \\max(0, 1 -  y_i\\langle\\omega,x_i\\rangle)\" alt=\"\\xi_i = \\max(0, 1 -  y_i\\langle\\omega,x_i\\rangle)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71b\/71b6429a74b5ca4be2ff88ad1629b326.svg\" width=\"192\" height=\"16\" data-width=\"24.808\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71b\/71b6429a74b5ca4be2ff88ad1629b326.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71b\/71b6429a74b5ca4be2ff88ad1629b326.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p> \u0424\u0443\u043d\u043a\u0446\u0438\u044f<img decoding=\"async\" class=\"formula inline\" source=\" \\max(0, 1 -  y_i\\langle\\omega,x_i\\rangle)\" alt=\" \\max(0, 1 -  y_i\\langle\\omega,x_i\\rangle)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5aa\/5aaff1fcfbe6a085f1eefd3d4c84f4ac.svg\" width=\"160\" height=\"16\" data-width=\"20.06\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5aa\/5aaff1fcfbe6a085f1eefd3d4c84f4ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5aa\/5aaff1fcfbe6a085f1eefd3d4c84f4ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>Hinge Loss<\/strong>\u00a0(\u0448\u0430\u0440\u043d\u0438\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c). \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u043d\u0430 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"y_i\\langle\\omega,x_i\\rangle \\ge 1\" alt=\"y_i\\langle\\omega,x_i\\rangle \\ge 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/714\/7148b40edcb5011e024b70120523a839.svg\" width=\"96\" height=\"16\" data-width=\"12.204\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/714\/7148b40edcb5011e024b70120523a839.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/714\/7148b40edcb5011e024b70120523a839.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d \u0432\u0435\u0440\u043d\u043e \u0438 \u043b\u0435\u0436\u0438\u0442 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043f\u043e\u043b\u043e\u0441\u044b. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0448\u0442\u0440\u0430\u0444\u0430 \u043d\u0435\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"0 \\le y_i\\langle\\omega,x_i\\rangle &lt; 1\" alt=\"0 \\le y_i\\langle\\omega,x_i\\rangle &lt; 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3b\/b3b1005712ac5017b70751185e54ce56.svg\" width=\"128\" height=\"16\" data-width=\"16.352\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3b\/b3b1005712ac5017b70751185e54ce56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3b\/b3b1005712ac5017b70751185e54ce56.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d \u0432\u0435\u0440\u043d\u043e, \u043d\u043e \u043f\u043e\u043f\u0430\u043b \u0432\u043d\u0443\u0442\u0440\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043f\u043e\u043b\u043e\u0441\u044b. \u0417\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c SVM: \u043e\u043d \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0437\u0430 \u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0435\u0441\u043b\u0438 \u0442\u043e\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c (\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043b\u0438\u0437\u043a\u0438\u043c \u043a \u0433\u0440\u0430\u043d\u0438\u0446\u0435); <\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0436\u0435  <img decoding=\"async\" class=\"formula inline\" source=\"y_i\\langle\\omega,x_i\\rangle &lt; 0\" alt=\"y_i\\langle\\omega,x_i\\rangle &lt; 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f0\/f0a\/f0adeca584b650c56f0fcdcd6902aecb.svg\" width=\"96\" height=\"16\" data-width=\"12.204\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f0\/f0a\/f0adeca584b650c56f0fcdcd6902aecb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f0\/f0a\/f0adeca584b650c56f0fcdcd6902aecb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0448\u0438\u0431\u043b\u0430\u0441\u044c \u043a\u043b\u0430\u0441\u0441\u043e\u043c. \u0428\u0442\u0440\u0430\u0444, \u0441\u0430\u043d\u043a\u0446\u0438\u0438, \u0431\u044c\u0435\u043c \u043f\u043e \u0440\u0443\u043a\u0430\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0438\u0434 \u0437\u0430\u0434\u0430\u0447\u0438 SVM.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\omega_* = \\arg\\min_{\\omega} \\left(\\frac{1}{2} ||\\omega||^2 + \\frac{C}{n}\\sum_{i=1}^{n}\\max(0, 1 - y_i\\langle\\omega,x_i\\rangle)\\right)\" alt=\"\\omega_* = \\arg\\min_{\\omega} \\left(\\frac{1}{2} ||\\omega||^2 + \\frac{C}{n}\\sum_{i=1}^{n}\\max(0, 1 - y_i\\langle\\omega,x_i\\rangle)\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca0\/ca028609a80adbb5dbb69a845782d335.svg\" width=\"424\" height=\"48\" data-width=\"53.27\" data-height=\"6.785\" data-vertical-align=\"-2.827\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca0\/ca028609a80adbb5dbb69a845782d335.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca0\/ca028609a80adbb5dbb69a845782d335.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u043b\u0438 \u0436\u0435\u0589<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{1}{2} ||\\omega||^2 + \\frac{C}{n}\\sum_{i=1}^{n}\\max(0, 1 - y_i\\langle\\omega,x_i\\rangle) \\to \\min_\\omega.\" alt=\"\\frac{1}{2} ||\\omega||^2 + \\frac{C}{n}\\sum_{i=1}^{n}\\max(0, 1 - y_i\\langle\\omega,x_i\\rangle) \\to \\min_\\omega.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e9a\/e9aacd76c6e4e8be6e227dbf87bce9c7.svg\" width=\"352\" height=\"48\" data-width=\"44.519\" data-height=\"6.354\" data-vertical-align=\"-2.611\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e9a\/e9aacd76c6e4e8be6e227dbf87bce9c7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e9a\/e9aacd76c6e4e8be6e227dbf87bce9c7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h2>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 SVM<\/h2>\n<p>\u0418\u0442\u0430\u043a, \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u0435\u0441\u0442\u044c. \u041c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e.<\/p>\n<p>\u0414\u0430\u0431\u044b \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u044d\u043a\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0441\u0440\u0430\u0437\u0443 \u0441\u043e\u043e\u0431\u0449\u0443, \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c, \u0442\u043e\u0447\u044c-\u0432-\u0442\u043e\u0447\u044c \u043a\u0430\u043a \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043f\u043e\u0438\u0441\u043a \u0437\u0430\u043c\u043a\u043d\u0443\u0442\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u0435\u0434\u0435\u0442 \u0432 \u0442\u0443\u043f\u0438\u043a.<\/p>\n<p>\u0420\u0430\u0437 \u0433\u043e\u0442\u043e\u0432\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043d\u0435\u0442, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e, \u0434\u0432\u0438\u0433\u0430\u044f\u0441\u044c \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0448\u0430\u0433\u0430\u043c\u0438. \u041d\u043e \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0437\u0434\u0435\u0441\u044c \u0441\u043f\u043e\u0442\u043a\u043d\u0435\u0442\u0441\u044f \u043e\u0431 \u0438\u0437\u043b\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 Hinge Loss, \u0433\u0434\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442.<\/p>\n<p>\u041d\u0430\u0441 \u0441\u043f\u0430\u0441\u0435\u0442 \u0435\u0433\u043e \u0434\u0432\u043e\u044e\u0440\u043e\u0434\u043d\u044b\u0439 \u0431\u0440\u0430\u0442 \u2014\u00a0<strong>\u0441\u0443\u0431\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434<\/strong>. \u0413\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 2 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0448 \u043e\u0442\u0441\u0442\u0443\u043f \u0431\u043e\u043b\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b, \u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043e\u0442\u0441\u0442\u0443\u043f \u0431\u043e\u043b\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b, \u0432\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0430\u0432\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0443\u043b\u044e.<\/p>\n<p>\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043d\u0430\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438:  <img decoding=\"async\" class=\"formula inline\" source=\"\\frac{1}{2} ||\\omega||^2\" alt=\"\\frac{1}{2} ||\\omega||^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fc\/5fc5b74142bcaff87ba6e8870df7a262.svg\" width=\"56\" height=\"32\" data-width=\"7.037\" data-height=\"4.588\" data-vertical-align=\"-1.729\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fc\/5fc5b74142bcaff87ba6e8870df7a262.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fc\/5fc5b74142bcaff87ba6e8870df7a262.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0417\u0430\u043e\u0434\u043d\u043e, \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0435\u0451 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg\" width=\"12\" height=\"12\" data-width=\"1.357\" data-height=\"1.025\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u043a\u043b\u0430\u0434 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0443. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c:  <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\nabla_w\\text{Loss}_i =\\frac{1}{n}\\omega\" alt=\"\\nabla_w\\text{Loss}_i =\\frac{1}{n}\\omega\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d2\/1d25b0d8ea482038b2d463b7595917db.svg\" width=\"120\" height=\"32\" data-width=\"15.063\" data-height=\"4.613\" data-vertical-align=\"-1.741\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d2\/1d25b0d8ea482038b2d463b7595917db.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d2\/1d25b0d8ea482038b2d463b7595917db.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u043b\u0435\u0436\u0438\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0438 \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b, \u0442\u043e loss \u0437\u0430 \u043d\u0435\u0433\u043e \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e, \u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u0438\u0435\u043c \u0432\u0435\u0441\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435\u043c margin.<\/p>\n<p>\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\omega^{(t+1)} = (1-\\frac{\\eta}{n})\\omega^{(t)}\" alt=\"\\omega^{(t+1)} = (1-\\frac{\\eta}{n})\\omega^{(t)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/396\/3963fbe2b60faef41dd2db4f1590d2da.svg\" width=\"152\" height=\"32\" data-width=\"19.906\" data-height=\"4.106\" data-vertical-align=\"-1.488\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/396\/3963fbe2b60faef41dd2db4f1590d2da.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/396\/3963fbe2b60faef41dd2db4f1590d2da.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043e\u0442\u0441\u0442\u0443\u043f \u043c\u0435\u043d\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b, <img decoding=\"async\" class=\"formula inline\" source=\"\\max(0, 1 - y_i\\langle\\omega,x_i\\rangle) = 1\" alt=\"\\max(0, 1 - y_i\\langle\\omega,x_i\\rangle) = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d15\/d15fe2e679b820bb9979908a31a9d248.svg\" width=\"192\" height=\"16\" data-width=\"24.209\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d15\/d15fe2e679b820bb9979908a31a9d248.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d15\/d15fe2e679b820bb9979908a31a9d248.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; <img decoding=\"async\" class=\"formula inline\" source=\"y_i\\langle\\omega,x_i\\rangle\" alt=\"y_i\\langle\\omega,x_i\\rangle\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9a\/a9a48d48a68ededbd9e7a95b6f51548c.svg\" width=\"64\" height=\"16\" data-width=\"8.056\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9a\/a9a48d48a68ededbd9e7a95b6f51548c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9a\/a9a48d48a68ededbd9e7a95b6f51548c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043e\u0442 \u043e\u0431\u0435\u0438\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f:  <\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\nabla_w\\text{Loss}_i =\\frac{1}{n}\\omega - \\frac{C}{n}y_ix_i\" alt=\"\\nabla_w\\text{Loss}_i =\\frac{1}{n}\\omega - \\frac{C}{n}y_ix_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61b\/61b738d88eddbaa9375f42872bb5afdd.svg\" width=\"192\" height=\"32\" data-width=\"24.426\" data-height=\"4.701\" data-vertical-align=\"-1.785\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61b\/61b738d88eddbaa9375f42872bb5afdd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61b\/61b738d88eddbaa9375f42872bb5afdd.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u043d\u0430\u0447\u0438\u0442, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\omega^{(t+1)} = (1-\\frac{\\eta}{n})\\omega^{(t)} + \\frac{\\eta C}{n}y_ix_i\" alt=\"\\omega^{(t+1)} = (1-\\frac{\\eta}{n})\\omega^{(t)} + \\frac{\\eta C}{n}y_ix_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae3\/ae3bfff8c4807a65de1acedf446182c0.svg\" width=\"240\" height=\"32\" data-width=\"30.393\" data-height=\"4.701\" data-vertical-align=\"-1.785\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae3\/ae3bfff8c4807a65de1acedf446182c0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae3\/ae3bfff8c4807a65de1acedf446182c0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0443\u044e \u043f\u043e\u043b\u043e\u0441\u0443 (margin), \u043d\u043e \u0438 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0431\u0435\u0440\u0435\u0442 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 &#171;\u0437\u0430 \u0448\u0438\u0432\u043e\u0440\u043e\u0442&#187;, \u043f\u0440\u0438\u0442\u044f\u0433\u0438\u0432\u0430\u044f \u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430.<\/p>\n<h2>\u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a <\/h2>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0438\u043d\u0434\u0435\u043a\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg\" width=\"12\" height=\"12\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u043e\u0433\u043e, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u0437\u044f\u0442\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg\" width=\"16\" height=\"12\" data-width=\"2.034\" data-height=\"1.357\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0412\u0435\u0440\u0441\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u0440\u0430\u0437\u0443 \u043a\u043e \u0432\u0441\u0435\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443, \u0430 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0443 \u0438\u043b\u0438 \u043a \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 (<strong>batch<\/strong>), \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c (SGD)<\/strong>.<\/p>\n<p>\u0412 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043f\u0443\u0441\u043a\u0435 \u043d\u0430\u043c \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u043e\u0441\u0441 \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0432\u0441\u0435\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0441\u0442\u0440\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u043d\u044f\u043b \u0431\u044b \u0432\u0435\u0447\u043d\u043e\u0441\u0442\u044c. SGD \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044c\u043d\u043e: \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u0438: &#171;\u0432\u043e\u0442 \u0432\u043e\u0437\u044c\u043c\u0438 \u0442\u0430\u043a\u043e\u0439 \u043d\u0430\u0431\u043e\u0440, \u0441\u0447\u0438\u0442\u0430\u0439 \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043f\u043b\u044e\u0441-\u043c\u0438\u043d\u0443\u0441 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435&#187;. \u0414\u0430, \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439, \u043d\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u043f\u0440\u0438\u0445\u043e\u0434\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0443 \u0432 \u0440\u0430\u0437\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435. <\/p>\n<p>\u041f\u043e \u0441\u0443\u0442\u0438, \u0437\u0434\u0435\u0441\u044c \u043c\u044b \u0438\u0434\u0435\u043c \u043d\u0430 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0438 \u043e\u0431\u0449\u0435\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0418 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e SVM \u0438 SGD \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u044b \u0434\u0440\u0443\u0433 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0430\u2024 C SVM \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043f\u0443\u0441\u043a \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u2014 <strong>\u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043b\u0435\u043d\u044c<\/strong>.<\/p>\n<p>\u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f Hinge Loss:<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0439 \u0437\u043e\u043d\u0435 , \u0442\u043e \u043b\u043e\u0441\u0441 \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437 \u043b\u043e\u0441\u0441 \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e, \u0442\u043e \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u0437\u0430\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0440\u0435\u0436\u0438\u043c \u044d\u043d\u0435\u0440\u0433\u043e\u0441\u0431\u0435\u0440\u0435\u0436\u0435\u043d\u0438\u044f. \u041d\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 SGD \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 &#171;\u0445\u043e\u0440\u043e\u0448\u0438\u0439&#187; \u0438 \u043b\u0435\u0436\u0438\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u043e \u0432 \u0441\u0432\u043e\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0435, \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0442\u0440\u0430\u0442\u0438\u0442 \u0441\u0438\u043b\u044b \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043e\u0448\u0438\u0431\u043a\u0438 \u2014 \u043e\u043d\u0430 \u043b\u0438\u0448\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0443 \u0432\u0435\u0441\u043e\u0432.<\/p>\n<p>\u0411\u043e\u0435\u0432\u043e\u0439 \u0440\u0435\u0436\u0438\u043c \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 SGD \u043d\u0430\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0441\u0442\u0443\u043f\u0438\u043b \u0432\u043d\u0443\u0442\u0440\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043f\u043e\u043b\u043e\u0441\u044b \u0438\u043b\u0438 \u0443\u043b\u0435\u0442\u0435\u043b \u043d\u0430 \u0447\u0443\u0436\u0443\u044e \u0442\u0435\u0440\u0440\u0438\u0442\u043e\u0440\u0438\u044e. \u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0437\u0431\u0438\u0440\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 SVM \u043d\u0430 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e.<\/p>\n<h2>\u0410 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435? Kernel trick<\/h2>\n<p>\u0412\u0441\u0435, \u0447\u0442\u043e \u043c\u044b \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a <strong>\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u043c\u0443 SVM<\/strong>. \u041d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0438\u0449\u0435\u0442 \u043b\u0438\u043d\u0438\u044e (\u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c). \u041d\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b. <\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0435\u0431\u0435 \u043c\u0438\u0448\u0435\u043d\u044c: \u043a\u0440\u0430\u0441\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u2014 \u044d\u0442\u043e &#171;\u044f\u0431\u043b\u043e\u0447\u043a\u043e&#187; \u0432 \u0441\u0430\u043c\u043e\u043c \u0446\u0435\u043d\u0442\u0440\u0435, \u0430 \u0441\u0438\u043d\u0438\u0435 \u0442\u043e\u0447\u043a\u0438 \u2014 \u0432\u043d\u0435\u0448\u043d\u0435\u0435 \u043a\u043e\u043b\u044c\u0446\u043e \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u0433\u043e. \u041a\u0430\u043a \u043d\u0438 \u043a\u0440\u0443\u0442\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0445 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<p>\u0423 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435: \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u043d\u0443\u0436\u043d\u043e <strong>\u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0438\u0445 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438<\/strong>. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043c\u044b \u043d\u0430\u0434\u0430\u0432\u0438\u043b\u0438 \u043d\u0430 \u043d\u0430\u0448\u0443 \u043c\u0438\u0448\u0435\u043d\u044c \u0441\u0432\u0435\u0440\u0445\u0443, \u0438 \u043a\u0440\u0430\u0441\u043d\u044b\u0435 \u0432\u044b\u0434\u0430\u0432\u0438\u043b\u0438\u0441\u044c \u0432\u043d\u0438\u0437, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0432 \u043f\u043b\u043e\u0441\u043a\u0438\u0439 \u0440\u0438\u0441\u0443\u043d\u043e\u043a \u0432 \u043e\u0431\u044a\u0435\u043c\u043d\u0443\u044e \u0447\u0430\u0448\u0443. \u0422\u0435\u043f\u0435\u0440\u044c \u0441\u0438\u043d\u0438\u0435 \u0438 \u043a\u0440\u0430\u0441\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u0439 \u0432\u044b\u0441\u043e\u0442\u0435, \u0438 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043b\u0435\u0433\u043a\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0445 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c\u044e.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ac6\/445\/61d\/ac644561dfdba79fc2898d0112c52979.png\" alt=\"Kernel Trick\" title=\"Kernel Trick\" width=\"850\" height=\"368\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ac6\/445\/61d\/ac644561dfdba79fc2898d0112c52979.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ac6\/445\/61d\/ac644561dfdba79fc2898d0112c52979.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Kernel Trick<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441: \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0442\u043e\u0447\u0435\u043a \u0432 \u043d\u043e\u0432\u044b\u0435, \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u2014 \u044d\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0448\u043c\u0430\u0440. \u0418 \u0437\u0434\u0435\u0441\u044c \u043d\u0430 \u0441\u0446\u0435\u043d\u0443 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 <strong>Kernel trick (\u044f\u0434\u0435\u0440\u043d\u044b\u0439 \u0442\u0440\u044e\u043a)<\/strong>.<\/p>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 SVM \u0445\u043e\u0440\u043e\u0448\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0432\u0438\u0434\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f. \u042f\u0434\u0435\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u0445\u0438\u0442\u0440\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0435 <strong>RBF-\u044f\u0434\u0440\u043e<\/strong>), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043d\u043e\u0432\u043e\u043c, \u0432\u044b\u0441\u043e\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, <strong>\u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u0441\u0430\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u0432 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e<\/strong>. <\/p>\n<p>\u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0437\u0430 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 \u0438\u0434\u0435\u0435\u0439 \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043a\u0440\u0430\u0441\u0438\u0432\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u043c\u0441\u044f, \u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0439, \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437.    <\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043c\u044b \u043f\u043e\u043a\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f. \u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u0434\u0432\u043e\u0439\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0447\u0435\u0440\u0435\u0437 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0438 \u041b\u0430\u0433\u0440\u0430\u043d\u0436\u0430, \u0413\u0438\u043b\u044c\u0431\u0435\u0440\u0442\u043e\u0432\u044b \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u044f\u0434\u0440\u0430 \u0438 \u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u041c\u0435\u0440\u0441\u0435\u0440\u0430 \u2014 \u0431\u0435\u0437\u0443\u043c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u043e\u0440\u0430.<\/p>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u044f\u0434\u0435\u0440\u043d\u044b\u0439 \u0442\u0440\u044e\u043a &#171;\u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c&#187; \u0438 <strong>\u043d\u0430\u043f\u0438\u0448\u0435\u043c \u043a\u043e\u0434<\/strong>, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 SVM \u0441 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439. <\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1041488\/\">https:\/\/habr.com\/ru\/articles\/1041488\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p> \u0412 \u0448\u0435\u0441\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0438 \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u043a\u0430\u043a \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e SVM \u2014 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0449\u0435\u0442 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0443\u044e \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c, \u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0437\u043e\u0440\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438.  \u0415\u0441\u043b\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043e\u0442\u0432\u0435\u0447\u0430\u043b\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &#171;\u0441 \u043a\u0430\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u044a\u0435\u043a\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043a\u043b\u0430\u0441\u0441\u0443?&#187;, \u0442\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f SVM \u0437\u0432\u0443\u0447\u0438\u0442 \u0438\u043d\u0430\u0447\u0435 &#171;\u0433\u0434\u0435 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438?&#187;.Support vector machineSupport vector machine (SVM), \u0438\u043b\u0438 \u0436\u0435 \u043c\u0435\u0442\u043e\u0434 \u043e\u043f\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438 (\u043f\u0440\u044f\u043c\u043e\u0439) \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u0437\u043e\u0440\u043e\u043c.  \u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0438\u0434\u0435\u044e\u2024\u043a\u0430\u043a\u0430\u044f \u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u043f\u0440\u044f\u043c\u044b\u0445 \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435?\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c\u044b\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 (\u043a\u0430\u043a \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435). \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432 \u0442\u0430\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u044b \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043b\u0438\u043d\u0438\u044f\u043c\u0438. \u0418 \u043d\u0430\u043c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0430\u0439\u0442\u0438 &#171;\u043b\u0443\u0447\u0448\u0443\u044e&#187; \u0438\u0437 \u043d\u0438\u0445. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u0436\u0435\u043b\u0442\u0430\u044f \u043f\u0440\u044f\u043c\u0430\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u0448\u043b\u0430 \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 &#171;\u0414\u043e\u043d \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u0435, \u043c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435&#187;. \u041d\u043e \u043e\u043d \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0431\u0435\u0437 \u0443\u0432\u0430\u0436\u0435\u043d\u0438\u044f.\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0436\u0435\u0441\u0442\u043a\u043e \u043e\u0442\u0440\u0435\u0437\u0430\u043b \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0438. \u0410 \u0432\u0434\u0440\u0443\u0433 \u043d\u0430\u0448 \u043d\u043e\u0432\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0447\u0443\u0442\u044c \u0432\u044b\u0448\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0432\u0435\u0440\u0445\u043d\u0435\u0433\u043e \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430? \u0418\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e, \u0442\u0430\u043a\u043e\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u043c, \u043d\u043e \u0436\u0435\u043b\u0442\u0430\u044f \u043f\u0440\u044f\u043c\u0430\u044f \u043d\u0430\u0437\u043e\u0432\u0435\u0442 \u0435\u0433\u043e \u043a\u0440\u0443\u0433\u043e\u043c. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0441 \u0437\u0435\u043b\u0435\u043d\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439.\u041f\u043e\u0442\u043e\u043c\u0443, \u0434\u0430\u0436\u0435 \u043d\u0430 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435, \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u044b\u0433\u043e\u0434\u043d\u044b\u043c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0442\u0430\u043a\u0443\u044e \u043f\u0440\u044f\u043c\u0443\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0432\u043d\u043e\u0443\u0434\u0430\u043b\u0435\u043d\u0430 \u043e\u0442 \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432.\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u0438\u0434\u0435\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438.\u0413\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0434\u0438\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435\u043c\u041a\u0430\u043a \u0438 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0432\u0435\u0434\u0435\u043c \u0444\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u0439 , \u0438 \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u0443\u0435\u043c  \u0432 .\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0448\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0442\u0430\u043a:.\u0422\u043e\u0433\u0434\u0430, \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0432\u0438\u0434: \u0427\u0442\u043e\u0431\u044b \u0434\u0435\u043b\u043e \u0448\u043b\u043e \u043b\u0435\u0433\u0447\u0435, \u0432 SVM \u043a\u043b\u0430\u0441\u0441\u044b \u0431\u0443\u0434\u0435\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043a\u0430\u043a  (\u043a\u0430\u043a \u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438) \u0430 \u043a\u0430\u043a . \u042d\u0442\u043e \u0434\u0430\u0441\u0442 \u043d\u0430\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u0438\u0433\u043d\u0443\u043c ().\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e:\u041d\u043e \u0440\u0430\u0437 \u0443\u0436 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u0443, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u0443\u044e \u043e\u0442 \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u044d\u0442\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0437\u0430\u0436\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u043b\u0438\u043d\u0438\u044e (\u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c) \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043b\u0438\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432 \u0441\u0430\u043c\u044b\u0435 \u043a\u0440\u0430\u0439\u043d\u0438\u0435 \u0442\u043e\u0447\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u044d\u0442\u0438 \u043b\u0438\u043d\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c\u0438   \u0438 .\u0422\u043e\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u0440\u043e\u0432\u043d\u043e \u043d\u0430 \u044d\u0442\u0438 \u043b\u0438\u043d\u0438\u0438, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f\u00a0\u043e\u043f\u043e\u0440\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438\u00a0(Support Vectors). \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u043d\u0438\u0445 \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c \u0438\u0437 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043b\u044e\u0431\u044b\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u043e\u0447\u043a\u0438, \u043b\u0435\u0436\u0430\u0449\u0438\u0435 \u0433\u043b\u0443\u0431\u0436\u0435 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u0445, \u043d\u0430\u0448\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u044f\u043c\u0430\u044f \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f.\u0420\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0434\u0432\u0443\u043c\u044f \u043b\u0438\u043d\u0438\u044f\u043c\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f\u00a0\u0437\u0430\u0437\u043e\u0440\u043e\u043c (margin). \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0435\u043c\u0443 \u043e\u043d \u0440\u0430\u0432\u0435\u043d.\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0440\u0430\u0437 , \u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440  \u043f\u0435\u0440\u043f\u0435\u043d\u0434\u0438\u043a\u0443\u043b\u044f\u0440\u0435\u043d \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u0442\u043e\u0447\u043a\u0443 \u043d\u0430 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u0438 \u0442\u043e\u0447\u043a\u0443 \u043d\u0430 \u043d\u0438\u0436\u043d\u0435\u0439. \u041e\u043d\u0438 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u044e\u0442 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c:   \u0438 .\u0428\u0438\u0440\u0438\u043d\u0430 \u0437\u0430\u0437\u043e\u0440\u0430 \u2014 \u044d\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 :\u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c \u2014 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0437\u0430\u0437\u043e\u0440 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c. \u0410 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438  ( \u0432\u0432\u0435\u0434\u0435\u043d\u0430 \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u0437\u044f\u0442\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439)\u041e\u043a\u0435\u0439. \u0417\u0430\u0434\u0430\u0447\u0430 \u0432 \u0442\u0430\u043a\u043e\u043c \u0432\u0438\u0434\u0435 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e: \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435  \u043a \u043d\u0443\u043b\u044e, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435. \u041d\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0436\u0435\u0441\u0442\u043a\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435: \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0431\u0435\u0437 \u043e\u0448\u0438\u0431\u043e\u043a \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043e\u0442 \u043f\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u043d\u044b\u0445 \u043b\u0438\u043d\u0438\u0439. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c\u0412 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e\u00a0Hard-Margin SVM: Soft-margin SVM\u041d\u0430 \u0431\u0443\u043c\u0430\u0433\u0435 \u0432\u0441\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e. \u041d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0430\u0440\u0442\u0438\u0437\u0430\u043d\u0441\u043a\u043e\u043c\u0443 \u043a\u0440\u0443\u0433\u0443 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u043e\u0432 \u2014 \u0438 \u0432\u0441\u0451. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c\u043e\u0441\u0442\u044c, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0430\u043d\u044b \u0442\u0430\u043a, \u0447\u0442\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u044f\u043c\u0443\u044e \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.  \u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0438\u0434\u0435\u044f \u0431\u043e\u043b\u0435\u0435 \u043c\u044f\u0433\u043a\u043e\u0433\u043e Soft-Margin SVM.\u0421\u0443\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043c\u044f\u0433\u0447\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u043c\u0441\u044f \u043a \u0433\u0440\u0430\u043d\u0438\u0446\u0435, \u0432\u043c\u0435\u0441\u0442\u043e \u0436\u0435\u0441\u0442\u043a\u043e\u0439 &#171;\u0411\u0435\u0440\u043b\u0438\u043d\u0441\u043a\u043e\u0439 \u0441\u0442\u0435\u043d\u044b&#187; \u0434\u0430\u0451\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0443\u0433\u0430\u043c \u0438 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430\u043c \u043f\u043e\u0439\u0442\u0438 \u0447\u0443\u0442\u043e\u0447\u043a\u0443 \u0442\u0443\u0434\u0430-\u0441\u044e\u0434\u0430. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0432\u0432\u043e\u0434\u043e\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 slack variables (\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435\/\u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435)  \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:\u041d\u043e \u043c\u044b \u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0445\u0438\u0442\u0440\u044b\u0435 \u0438 \u043b\u0435\u043d\u0438\u0432\u044b\u0435 \u0438 \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u0441\u0451 \u043a\u0430\u043a \u0435\u0441\u0442\u044c, \u043e\u043d\u0438 \u043d\u0430\u0439\u0434\u0443\u0442 \u043e\u0431\u0445\u043e\u0434\u043d\u044b\u0435 \u043f\u0443\u0442\u0438. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u0430\u0436\u0435\u0442: &#171;\u0448\u0435\u0444, \u0431\u0435\u0440\u0443 , \u0438 \u0442\u0432\u043e\u0451 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f&#187;\u2024 \u041f\u043e\u0442\u043e\u043c\u0443, \u0432\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u0434\u0443\u0442\u044b\u0445 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432\u0432\u0435\u0441\u0442\u0438 \u0448\u0442\u0440\u0430\u0444.\u041f\u043e\u0439\u043c\u0435\u043c, \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442: \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u043e\u0439 \u2014 \u043c\u044b \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0440\u043c\u0443 \u0432\u0435\u0441\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0437\u043e\u0440. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440  C, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0448\u0442\u0440\u0430\u0444\u0430 (penalty parameter) \u0438\u043d\u043e\u0433\u0434\u0430 \u0435\u0449\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u044f \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0442\u0430\u043a\u043e\u0433\u043e, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435 \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438  \u0434\u043b\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u044f\u043c\u043e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u0435\u043d \u0441\u0442\u0440\u0430\u0445\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0448\u0438\u0431\u0438\u0442\u044c\u0441\u044f. \u0415\u0441\u043b\u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u043e\u043b\u044c\u0448\u0430\u044f  \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0432\u0435\u0441\u0430, \u0442\u043e \u0432 SVM \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c , \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u0430.\u041a\u0430\u043a \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435, \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f  \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 &#8212; \u043a \u043d\u0435\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435\u00a0Scikit-Learn  \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\u00a0C = 1.0.  \u041f\u043e\u0441\u043b\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 C \u0438\u0434\u0451\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0442\u0440\u044e\u043a, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0443\u0436\u0435 \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0438 \u2014 \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445.\u041d\u0443 \u0438 \u043d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a \u0441\u0443\u043c\u043c\u0430 \u0432\u0441\u0435\u0445 slack variables. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0435\u0431\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u044d\u0442\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b.\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0438\u0434\u0435\u044f \u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u0438\u0437 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 &#171;\u0431\u0435\u0437\u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e&#187;. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e :\u0422\u0430\u043a\u0436\u0435, \u043d\u0435 \u0437\u0430\u0431\u0443\u0434\u0435\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 .\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0432 \u044d\u0442\u0438 \u0434\u0432\u0430 \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u0432 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043c\u044b \u0432\u0441\u0435\u043c\u0438 \u0441\u0438\u043b\u0430\u043c\u0438 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u043e\u0448\u0438\u0431\u043e\u043a, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u044f\u0432\u0438\u0442\u044c, \u0447\u0442\u043e: \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Hinge Loss\u00a0(\u0448\u0430\u0440\u043d\u0438\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c). \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u043d\u0430 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c\u0415\u0441\u043b\u0438 , \u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d \u0432\u0435\u0440\u043d\u043e \u0438 \u043b\u0435\u0436\u0438\u0442 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043f\u043e\u043b\u043e\u0441\u044b. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0448\u0442\u0440\u0430\u0444\u0430 \u043d\u0435\u0442;\u0415\u0441\u043b\u0438 , \u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d \u0432\u0435\u0440\u043d\u043e, \u043d\u043e \u043f\u043e\u043f\u0430\u043b \u0432\u043d\u0443\u0442\u0440\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043f\u043e\u043b\u043e\u0441\u044b. \u0417\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c SVM: \u043e\u043d \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0437\u0430 \u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0435\u0441\u043b\u0438 \u0442\u043e\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c (\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043b\u0438\u0437\u043a\u0438\u043c \u043a \u0433\u0440\u0430\u043d\u0438\u0446\u0435); \u0415\u0441\u043b\u0438 \u0436\u0435  , \u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0448\u0438\u0431\u043b\u0430\u0441\u044c \u043a\u043b\u0430\u0441\u0441\u043e\u043c. \u0428\u0442\u0440\u0430\u0444, \u0441\u0430\u043d\u043a\u0446\u0438\u0438, \u0431\u044c\u0435\u043c \u043f\u043e \u0440\u0443\u043a\u0430\u043c.\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0438\u0434 \u0437\u0430\u0434\u0430\u0447\u0438 SVM.\u0418\u043b\u0438 \u0436\u0435\u0589\u0420\u0435\u0448\u0435\u043d\u0438\u0435 SVM\u0418\u0442\u0430\u043a, \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u0435\u0441\u0442\u044c. \u041c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e.\u0414\u0430\u0431\u044b \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u044d\u043a\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0441\u0440\u0430\u0437\u0443 \u0441\u043e\u043e\u0431\u0449\u0443, \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c, \u0442\u043e\u0447\u044c-\u0432-\u0442\u043e\u0447\u044c \u043a\u0430\u043a \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043f\u043e\u0438\u0441\u043a \u0437\u0430\u043c\u043a\u043d\u0443\u0442\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u0435\u0434\u0435\u0442 \u0432 \u0442\u0443\u043f\u0438\u043a.\u0420\u0430\u0437 \u0433\u043e\u0442\u043e\u0432\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043d\u0435\u0442, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e, \u0434\u0432\u0438\u0433\u0430\u044f\u0441\u044c \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0448\u0430\u0433\u0430\u043c\u0438. \u041d\u043e \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0437\u0434\u0435\u0441\u044c \u0441\u043f\u043e\u0442\u043a\u043d\u0435\u0442\u0441\u044f \u043e\u0431 \u0438\u0437\u043b\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 Hinge Loss, \u0433\u0434\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442.\u041d\u0430\u0441 \u0441\u043f\u0430\u0441\u0435\u0442 \u0435\u0433\u043e \u0434\u0432\u043e\u044e\u0440\u043e\u0434\u043d\u044b\u0439 \u0431\u0440\u0430\u0442 \u2014\u00a0\u0441\u0443\u0431\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434. \u0413\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 2 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0448 \u043e\u0442\u0441\u0442\u0443\u043f \u0431\u043e\u043b\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b, \u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u043c\u0435\u043d\u044c\u0448\u0435.\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043e\u0442\u0441\u0442\u0443\u043f \u0431\u043e\u043b\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b, \u0432\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0430\u0432\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0443\u043b\u044e.\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043d\u0430\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438:  . \u0417\u0430\u043e\u0434\u043d\u043e, \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0435\u0451 \u043d\u0430  \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u043a\u043b\u0430\u0434 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0443. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c:  \u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u043b\u0435\u0436\u0438\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0438 \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b, \u0442\u043e loss \u0437\u0430 \u043d\u0435\u0433\u043e \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e, \u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u0438\u0435\u043c \u0432\u0435\u0441\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435\u043c margin.\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:\u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043e\u0442\u0441\u0442\u0443\u043f \u043c\u0435\u043d\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b,  &#8212; . \u041f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043e\u0442 \u043e\u0431\u0435\u0438\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f:  \u0417\u043d\u0430\u0447\u0438\u0442, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0442\u0430\u043a:\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0443\u044e \u043f\u043e\u043b\u043e\u0441\u0443 (margin), \u043d\u043e \u0438 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0431\u0435\u0440\u0435\u0442 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 &#171;\u0437\u0430 \u0448\u0438\u0432\u043e\u0440\u043e\u0442&#187;, \u043f\u0440\u0438\u0442\u044f\u0433\u0438\u0432\u0430\u044f \u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430.\u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u041e\u0431\u0440\u0430\u0442\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0438\u043d\u0434\u0435\u043a\u0441 . \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u043e\u0433\u043e, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u0437\u044f\u0442\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 .\u0412\u0435\u0440\u0441\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u0440\u0430\u0437\u0443 \u043a\u043e \u0432\u0441\u0435\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443, \u0430 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0443 \u0438\u043b\u0438 \u043a \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 (batch), \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c (SGD).\u0412 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043f\u0443\u0441\u043a\u0435 \u043d\u0430\u043c \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u043e\u0441\u0441 \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0432\u0441\u0435\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0441\u0442\u0440\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u043d\u044f\u043b \u0431\u044b \u0432\u0435\u0447\u043d\u043e\u0441\u0442\u044c. SGD \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044c\u043d\u043e: \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u0438: &#171;\u0432\u043e\u0442 \u0432\u043e\u0437\u044c\u043c\u0438 \u0442\u0430\u043a\u043e\u0439 \u043d\u0430\u0431\u043e\u0440, \u0441\u0447\u0438\u0442\u0430\u0439 \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043f\u043b\u044e\u0441-\u043c\u0438\u043d\u0443\u0441 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435&#187;. \u0414\u0430, \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439, \u043d\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u043f\u0440\u0438\u0445\u043e\u0434\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0443 \u0432 \u0440\u0430\u0437\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041f\u043e \u0441\u0443\u0442\u0438, \u0437\u0434\u0435\u0441\u044c \u043c\u044b \u0438\u0434\u0435\u043c \u043d\u0430 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0438 \u043e\u0431\u0449\u0435\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u0418 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e SVM \u0438 SGD \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u044b \u0434\u0440\u0443\u0433 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0430\u2024 C SVM \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043f\u0443\u0441\u043a \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u2014 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043b\u0435\u043d\u044c.\u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f Hinge Loss:\u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0439 \u0437\u043e\u043d\u0435 , \u0442\u043e \u043b\u043e\u0441\u0441 \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e.\u0420\u0430\u0437 \u043b\u043e\u0441\u0441 \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e, \u0442\u043e \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u0437\u0430\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f.\u0414\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0440\u0435\u0436\u0438\u043c \u044d\u043d\u0435\u0440\u0433\u043e\u0441\u0431\u0435\u0440\u0435\u0436\u0435\u043d\u0438\u044f. \u041d\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 SGD \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 &#171;\u0445\u043e\u0440\u043e\u0448\u0438\u0439&#187; \u0438 \u043b\u0435\u0436\u0438\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u043e \u0432 \u0441\u0432\u043e\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0435, \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0442\u0440\u0430\u0442\u0438\u0442 \u0441\u0438\u043b\u044b \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043e\u0448\u0438\u0431\u043a\u0438 \u2014 \u043e\u043d\u0430 \u043b\u0438\u0448\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0443 \u0432\u0435\u0441\u043e\u0432.\u0411\u043e\u0435\u0432\u043e\u0439 \u0440\u0435\u0436\u0438\u043c \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 SGD \u043d\u0430\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0441\u0442\u0443\u043f\u0438\u043b \u0432\u043d\u0443\u0442\u0440\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043f\u043e\u043b\u043e\u0441\u044b \u0438\u043b\u0438 \u0443\u043b\u0435\u0442\u0435\u043b \u043d\u0430 \u0447\u0443\u0436\u0443\u044e \u0442\u0435\u0440\u0440\u0438\u0442\u043e\u0440\u0438\u044e. \u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0437\u0431\u0438\u0440\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 SVM \u043d\u0430 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e.\u0410 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435? Kernel trick\u0412\u0441\u0435, \u0447\u0442\u043e \u043c\u044b \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u043c\u0443 SVM. \u041d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0438\u0449\u0435\u0442 \u043b\u0438\u043d\u0438\u044e (\u0433\u0438\u043f\u0435\u0440\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c). \u041d\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0435\u0431\u0435 \u043c\u0438\u0448\u0435\u043d\u044c: \u043a\u0440\u0430\u0441\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u2014 \u044d\u0442\u043e &#171;\u044f\u0431\u043b\u043e\u0447\u043a\u043e&#187; \u0432 \u0441\u0430\u043c\u043e\u043c \u0446\u0435\u043d\u0442\u0440\u0435, \u0430 \u0441\u0438\u043d\u0438\u0435 \u0442\u043e\u0447\u043a\u0438 \u2014 \u0432\u043d\u0435\u0448\u043d\u0435\u0435 \u043a\u043e\u043b\u044c\u0446\u043e \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u0433\u043e. \u041a\u0430\u043a \u043d\u0438 \u043a\u0440\u0443\u0442\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0445 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.\u0423 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435: \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0438\u0445 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435,&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-481683","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/481683","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=481683"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/481683\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=481683"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=481683"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=481683"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}