{"id":344774,"date":"2023-01-31T15:03:24","date_gmt":"2023-01-31T15:03:24","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=344774"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=344774","title":{"rendered":"<span>\u0422\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u0427\u0430\u0441\u0442\u044c 1: \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 <strong>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong>, <strong>\u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong>, <strong>i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430<\/strong> \u0438 <strong>\u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/strong>, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 <strong>\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430<\/strong> \u0438 <strong>\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/strong>, \u0438 \u043a\u0430\u043a \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 (\u0441\u0442\u0430\u0442\u044c\u044f \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u0441\u044f) \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438: \u0432 \u0447\u0435\u043c \u0440\u043e\u043b\u044c <strong>\u043a\u0440\u043e\u0441\u0441\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438<\/strong>, <strong>\u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 softmax<\/strong> \u0438 \u043a\u0430\u043a \u043a\u0440\u043e\u0441\u0441\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 &#171;\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c&#187; \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0442\u043e\u0436\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u043a\u0440\u043e\u0441\u0441\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.<\/p>\n<p>\u0412 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 (\u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f) \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043e\u0442 \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043a <strong>\u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u043c\u0443 \u0432\u044b\u0432\u043e\u0434\u0443<\/strong> \u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f\u043c, \u0442\u0430\u043a\u0438\u043c \u043a\u0430\u043a <strong>\u043c\u0435\u0442\u043e\u0434 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430<\/strong>, <strong>\u043c\u0435\u0442\u043e\u0434\u044b \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e<\/strong> \u0438 <strong>\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434<\/strong>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043d\u044f\u0442\u0438\u044f, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0434\u0431\u043e\u0440 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0440\u043e\u043b\u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<p>\u0411\u044b\u0432\u0430\u043b\u043e \u043b\u0438 \u0443 \u0432\u0430\u0441 \u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044f\u0441\u044c \u0432 \u043d\u0435\u043a\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u0430\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435 \u0432\u0441\u044e \u0438\u043c\u0435\u044e\u0449\u0443\u044e\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b \u0447\u0442\u043e-\u0442\u043e \u0443\u0437\u043d\u0430\u0435\u0442\u0435 \u0438\u043b\u0438 \u0434\u043e\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0435\u0441\u044c, \u0438 \u043f\u0430\u0437\u043b \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0442\u0440\u043e\u0439\u043d\u0443\u044e \u0438 \u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u0443? \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0443\u044e \u0440\u043e\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0441\u044b\u0433\u0440\u0430\u0442\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041a\u0430\u043a \u043f\u0438\u0441\u0430\u043b \u041f\u044c\u0435\u0440-\u0421\u0438\u043c\u043e\u043d \u041b\u0430\u043f\u043b\u0430\u0441 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 XIX \u0432\u0435\u043a\u0430, &#171;\u0442\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 &#8212; \u044d\u0442\u043e \u0437\u0434\u0440\u0430\u0432\u044b\u0439 \u0441\u043c\u044b\u0441\u043b, \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445&#187;. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0438 \u043d\u0435 \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0442\u0435\u043e\u0440\u0438\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434. \u041d\u043e \u0441 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u044d\u0442\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u0442\u043e, \u0447\u0442\u043e \u0440\u0430\u043d\u044c\u0448\u0435 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0434\u0440\u0430\u0432\u044b\u043c \u0441\u043c\u044b\u0441\u043b\u043e\u043c, \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0442\u0440\u043e\u0433\u043e\u0441\u0442\u044c \u0438 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043b\u044e\u0431\u044b\u0435 \u0442\u0435\u043e\u0440\u0438\u0438 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0437\u044b\u0431\u043a\u043e\u0439 \u043f\u043e\u0447\u0432\u0435, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u043d\u0435 \u0447\u0438\u0441\u0442\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u0430 \u043d\u0430\u0443\u043a\u0430 \u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u0438\u0440\u0443. \u041b\u044e\u0431\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0430\u043a\u0441\u0438\u043e\u043c\u0430\u0445 \u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0442\u0430\u043a\u0438\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c \u0447\u0430\u0441\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f  &#171;\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432&#187;). \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f, \u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435 \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u0447\u0435\u0442\u043a\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430. \u041e\u0431 \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u0435 \u043c\u044b \u0442\u043e\u0436\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435.<\/p>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0438\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u043c \u0438 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044b\u043c, \u043d\u043e \u044d\u0442\u0438 \u0432\u0435\u0449\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445. \u0411\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0442\u0430\u043b\u0435\u0439 \u0438 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0434\u0435\u044f\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0433\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0443\u043f\u0443\u0449\u0435\u043d\u043e, \u0438 \u0432 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u0435\u043b\u043e\u0432.<\/p>\n<h3>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438<\/h3>\n<ul>\n<li>\n<p><strong>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u043c\u043e\u0434\u0435\u043b\u044f\u0445: \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 \u0435\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0434\u0430\u043d\u043d\u044b\u0445: \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0438 i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u0441\u043d\u043e\u0432\u0430 \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043c\u0435\u0442\u043e\u0434\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0438\u0437 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430, \u0438 \u0432\u0432\u0435\u0434\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u043f\u044f\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u0432\u0438\u0434\u0435 \u0444\u043e\u0440\u043c\u0443\u043b \u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u043e\u0439* \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430.<\/p>\n<p>1.\u00a0<a href=\"#1\">\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434<\/a><br \/>2.\u00a0<a href=\"#2\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.1.\u00a0<a href=\"#2.1\">\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.2.\u00a0<a href=\"#2.2\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.3.\u00a0<a href=\"#2.3\">\u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.4.\u00a0<a href=\"#2.4\">\u041e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.5.\u00a0<a href=\"#2.5\">\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0425\u044c\u044e\u0431\u0435\u0440\u0430<\/a>*<br \/>3.\u00a0<a href=\"#3\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.1.\u00a0<a href=\"#3.1\">\u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.2.\u00a0<a href=\"#3.2\">\u0414\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.3.\u00a0<a href=\"#3.3\">\u0413\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a>*<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.4.\u00a0<a href=\"#3.4\">i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.5.\u00a0<a href=\"#3.5\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b<\/a>*<br \/>4.\u00a0<a href=\"#4\">\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a04.1.\u00a0<a href=\"#4.1\">\u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a04.2.\u00a0<a href=\"#4.2\">\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438<\/a><br \/>5.\u00a0<a href=\"#5\">\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/a>*<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a05.1.\u00a0<a href=\"#5.1\">\u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a>*<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a05.2.\u00a0<a href=\"#5.2\">\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438<\/a>*<\/p>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<h2>1. \u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434<\/h2>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 (\u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437) \u0447\u0430\u0441\u0442\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0443\u0440\u0441\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u043e \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u043e\u043d \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043a\u0430\u043a \u0434\u043e\u0441\u0430\u0434\u043d\u0430\u044f \u0437\u0430\u043d\u043e\u0437\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0438 \u0434\u0430\u043b\u0435\u0435 \u043d\u0438\u0433\u0434\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0442\u0435\u0441\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<ul>\n<li>\n<p><strong>\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/strong> \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0432\u043e\u0434\u044f \u043e\u0431\u0449\u0438\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0438\u0437 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434<\/strong> \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0446\u0435\u043d\u043a\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438 \u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0438 \u043e\u0431\u0449\u0438\u0445 \u0432\u044b\u0432\u043e\u0434\u043e\u0432 \u0438\u0437 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0431\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b \u0438\u0437 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c (<em>generalization<\/em>), \u0438\u043b\u0438 <a href=\"https:\/\/plato.stanford.edu\/entries\/logic-inductive\/\">\u0438\u043d\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c<\/a> (<em>inductive inference<\/em>). \u0427\u0435\u043c \u0436\u0435 \u0442\u043e\u0433\u0434\u0430 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u044d\u0442\u0438 \u0434\u0432\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043d\u0430\u0443\u043a\u0438? \u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043f\u043b\u044b\u0432\u0447\u0430\u0442\u0430. \u0412\u043e\u043e\u0431\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c.<\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0446\u0435\u043b\u044c\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0432\u043e\u0434 (<strong>inference<\/strong>) \u043e \u0442\u043e\u043c, \u0432\u0435\u0440\u043d\u0430 \u043b\u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0438\u043b\u0438 \u043a\u0430\u043a \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u0430 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 (<strong>prediction<\/strong>) \u0438\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0447\u0435\u0433\u043e-\u043b\u0438\u0431\u043e (<a href=\"https:\/\/www.nature.com\/articles\/nmeth.4642\">Bzdok et al., 2018<\/a>), \u0445\u043e\u0442\u044f \u044d\u0442\u0438 \u0434\u0432\u0435 \u0446\u0435\u043b\u0438 \u0447\u0430\u0441\u0442\u043e \u0431\u043b\u0438\u0437\u043a\u0438. \u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0432 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u0449\u0435, \u043d\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u0438 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b \u0438  \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0432\u043e\u0434\u0430\u0445 (<a href=\"https:\/\/projecteuclid.org\/journals\/statistical-science\/volume-16\/issue-3\/Statistical-Modeling--The-Two-Cultures-with-comments-and-a\/10.1214\/ss\/1009213726.full\">Breiman, 2001<\/a>).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c7a\/3cc\/9ed\/c7a3cc9ed962493b555e815663adaf69.png\" width=\"835\" height=\"577\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7a\/3cc\/9ed\/c7a3cc9ed962493b555e815663adaf69.png\"\/><figcaption><\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"2\" id=\"2\"><\/a><\/p>\n<h2>2. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/h2>\n<p><a class=\"anchor\" name=\"2.1\" id=\"2.1\"><\/a><\/p>\n<h3>2.1. \u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b<\/h3>\n<p>\u0417\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0442\u0438\u043f\u043e\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430: \u0432 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 (\u0438\u043d\u043e\u0433\u0434\u0430 \u0435\u0433\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 &#171;\u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0439&#187;), \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 &#8212; \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439. \u041e\u0442\u043b\u0438\u0447\u0438\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0432 \u0435\u0433\u043e \u0442\u0438\u043f\u0435 (<em>int<\/em> \u0438\u043b\u0438 <em>float<\/em>), \u0430 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439:<\/p>\n<ul>\n<li>\n<p>\u0412 <em>\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435<\/em> \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0443\u043b\u044c \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438, \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043e\u043d\u0438 \u043d\u0435\u043f\u043e\u0445\u043e\u0436\u0438 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 2 \u0432\u043c\u0435\u0441\u0442\u043e 1 \u0431\u0443\u0434\u0435\u0442 \u0432 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 10 \u0432\u043c\u0435\u0441\u0442\u043e 1.<\/p>\n<\/li>\n<li>\n<p>\u0412 <em>\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435<\/em> \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u043d\u0435\u043f\u043e\u0445\u043e\u0436\u0438 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 2-\u0439 \u043a\u043b\u0430\u0441\u0441 \u0432\u043c\u0435\u0441\u0442\u043e 1-\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0432 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u0447\u0442\u043e \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 10-\u0439 \u043a\u043b\u0430\u0441\u0441 \u0432\u043c\u0435\u0441\u0442\u043e 1-\u0433\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e \u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u044f \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 (\u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430) \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u044b \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0442\u0438\u043f\u0430\u043c\u0438. \u0412\u043e\u043e\u0431\u0449\u0435, \u043f\u0440\u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043a\u0430\u043a \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u043e\u043c\u0435\u0440 \u043a\u043b\u0430\u0441\u0441\u0430 \u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0442\u044c \u0435\u0433\u043e \u0434\u043e \u0446\u0435\u043b\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430. \u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043c\u043e\u0436\u043d\u043e \u0441\u0432\u0435\u0441\u0442\u0438 \u043a \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u0422\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u0435-\u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0442\u0441\u044f, \u043d\u043e \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0438\u0436\u0435, \u0432\u043f\u0440\u043e\u0447\u0435\u043c \u0431\u044b\u0432\u0430\u044e\u0442 \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f (<a href=\"https:\/\/arxiv.org\/abs\/2112.10510\">M\u00fcller et al., 2021)<\/a>.<\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 (<a href=\"https:\/\/www.cs.kent.ac.uk\/people\/staff\/aaf\/pub_papers.dir\/DMKD-J-2010-Silla.pdf\">Silla and Freitas, 2011<\/a>) \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u043d\u0430 \u0434\u0435\u043b\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0438 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044e \u0432 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0438 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443, \u0447\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0432\u0447\u0430\u0440\u043a\u0443 \u0432\u043c\u0435\u0441\u0442\u043e \u043b\u0430\u0431\u0440\u0430\u0434\u043e\u0440\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0431\u0435\u0433\u0435\u043c\u043e\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u043b\u0430\u0431\u0440\u0430\u0434\u043e\u0440\u0430. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430, \u0438 \u0435\u0435 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0447\u0435\u0441\u0442\u044c \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0411\u0443\u0434\u0435\u0442 \u043b\u0438 \u044d\u0442\u043e \u043f\u043e \u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438? \u0421\u043b\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c. \u0411\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f &#171;\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438&#187; \u0438 &#171;\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438&#187; \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0432\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 (\u0442\u0430\u043a \u0436\u0435 \u043a\u0430\u043a \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u043b\u043e\u0442\u043a\u043e\u043c, \u0442\u043e\u043f\u043e\u0440\u043e\u043c \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438) (<a href=\"https:\/\/arxiv.org\/abs\/1905.06220\">Bernholdt et al., 2019<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1905.13658\">Twomey et al., 2019<\/a>). \u0412\u0430\u0436\u043d\u043e \u043b\u0438\u0448\u044c \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u042d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0432\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0439 (\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0439 \u0437\u0430\u0440\u0430\u043d\u0435\u0435) \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043a \u0447\u0435\u043c\u0443 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0435\u0449\u0435 \u043d\u0435 \u0440\u0430\u0437 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p><a class=\"anchor\" name=\"2.2\" id=\"2.2\"><\/a><\/p>\n<h3>2.2. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h3>\n<p>\u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 (\u0438 \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445) \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e05\/a47\/2a4\/e05a472a4e6226d13179e369a5b1967c.svg\" width=\"16\" height=\"17\"\/> \u0438 \u0446\u0435\u043b\u0435\u0432\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y\" alt=\"Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/452\/81f\/526\/45281f526b76db2cfbea71447d4d0958.svg\" width=\"15\" height=\"16\"\/> \u0432 \u0432\u0438\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f: X \\to Y\" alt=\"f: X \\to Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/45b\/cfe\/8bb\/45bcfe8bbf6a3b2d843165ef088aa96d.svg\" width=\"88\" height=\"20\"\/>. \u041e\u0431\u044b\u0447\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432 \u0445\u043e\u0434\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/683\/30b\/321\/68330b321a7e0e3eae117a1c31594b31.svg\" width=\"11\" height=\"12\"\/> \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/826\/efa\/c2b\/826efac2b4a8d24ba8b72a2c503acb3f.svg\" width=\"9\" height=\"17\"\/>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5e\/ac7\/1c9\/f5eac71c969a26e10b32f118edac6427.svg\" width=\"9\" height=\"17\"\/> &#8212; \u044d\u0442\u043e \u043d\u0435\u043a\u0438\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 \u0447\u0438\u0441\u0435\u043b. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1e\/807\/123\/b1e807123272dce985996a11858a0a0e.svg\" width=\"10\" height=\"15\"\/> (\u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f) \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0440\u044b\u0448\u0435\u0447\u043a\u043e\u0439 (\u0446\u0438\u0440\u043a\u0443\u043c\u0444\u043b\u0435\u043a\u0441\u043e\u043c): <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{y} = f(x, \\theta)\" alt=\"\\hat{y} = f(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f3\/9ec\/a95\/7f39eca950f538afd18cf3bac2a0adac.svg\" width=\"91\" height=\"22\"\/>.<\/p>\n<p>\u041e\u0431\u0449\u0430\u044f \u0438\u0434\u0435\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c <em>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435<\/em> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y\" alt=\"Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e5\/e8b\/aed\/1e5e8baed17e5e3cf3079d0b7de28a59.svg\" width=\"15\" height=\"16\"\/> <em>\u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438<\/em> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x \\in X\" alt=\"x \\in X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/57b\/23f\/e9e\/57b23fe9edbd4ab132560e4872ada02d.svg\" width=\"51\" height=\"17\"\/>. \u0412 \u0442\u0435\u043e\u0440\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|X=x)\" alt=\"p(y|X=x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c70\/e9f\/e53\/c70e9fe53edb313c98828f4cca8c8c37.svg\" width=\"94\" height=\"22\"\/> \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a15\/f97\/b6d\/a15f97b6da2841ffebc6f2520dac005f.svg\" width=\"51\" height=\"22\"\/>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/daa\/d74\/713\/daad74713862cece98b4e21cfe125dff.svg\" width=\"69\" height=\"22\"\/> &#8212; \u044d\u0442\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a &#171;\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd2\/862\/d25\/cd2862d25652f831ba2d8ea4310e9423.svg\" width=\"10\" height=\"15\"\/> \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c51\/e88\/5f6\/c51e885f65ff55e7d220b95ca8b34117.svg\" width=\"11\" height=\"12\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bb6\/cc2\/1fb\/bb6cc21fb3fbd556138c5db5e1c16ca3.svg\" width=\"9\" height=\"17\"\/>&#187; (\u043f\u043e\u0437\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b).<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u0438 &#171;\u0441\u043e\u043c\u043d\u0435\u0432\u0430\u0442\u044c\u0441\u044f&#187; \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438. \u0412\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434, \u043c\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0442\u0435\u0440\u044f\u0435\u043c: \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/54b\/d74\/9b6\/54bd749b6345f921727ebb031269a75b.svg\" width=\"69\" height=\"22\"\/> \u043d\u0435\u0441\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0447\u0435\u043c \u0442\u043e\u0447\u0435\u0447\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x, \\theta)\" alt=\"f(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01b\/cec\/efa\/01bcecefa7d512037cfadbc0e982608f.svg\" width=\"54\" height=\"22\"\/>. \u0417\u0430\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0430\u0436\u043d\u043e\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e. \u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c66\/c33\/218\/c66c33218497d96b095a3f1e88114a36.svg\" width=\"69\" height=\"22\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y \\in Y\" alt=\"y \\in Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/741\/4fa\/4c9\/7414fa4c96f2961f0b3c1d2915ff1c2b.svg\" width=\"48\" height=\"20\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u0438: \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u0435\u0440\u043d\u043e\u043c\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0e2\/d70\/288\/0e2d702882a4175cd85d92a951918fac.svg\" width=\"10\" height=\"15\"\/>, \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043e\u0448\u0438\u0431\u043a\u0430. \u0422\u0430\u043a \u043c\u044b \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0434\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p><a class=\"anchor\" name=\"2.3\" id=\"2.3\"><\/a><\/p>\n<h3>2.3. \u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/h3>\n<p>\u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0441 \u043e\u0434\u043d\u0438\u043c \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043b\u043e\u0435\u043c \u0448\u0438\u0440\u0438\u043d\u043e\u0439 \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N=1000\" alt=\"N=1000\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62e\/c5c\/90e\/62ec5c90efa2e0eca5b465290300c477.svg\" width=\"81\" height=\"17\"\/> \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0438 \u0445\u043e\u0442\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0435 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/051\/e8a\/d8b\/051e8ad8be2c75db34d239eb1bf8d5b3.svg\" width=\"20\" height=\"17\"\/>= 10 \u0432\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u0422\u0430\u043a\u0430\u044f \u0441\u0435\u0442\u044c \u0438\u043c\u0435\u0435\u0442 2 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u0435\u0441\u043e\u0432 \u0438 2 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 bias&#8217;\u043e\u0432: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta = (W_1, b_1, W_2, b_2)\" alt=\"\\theta = (W_1, b_1, W_2, b_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a6\/020\/78a\/1a602078a6c55c20049c9335282512c8.svg\" width=\"163\" height=\"22\"\/>. \u041d\u0435\u0442\u0440\u0443\u0434\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0430\u0442\u0440\u0438\u0446\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W_1\" alt=\"W_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9bd\/cd9\/cf3\/9bdcd9cf3eb9c5530ffa627f6c17867e.svg\" width=\"27\" height=\"19\"\/> \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"MN\" alt=\"MN\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72c\/3f0\/c0b\/72c3f0c0b8ceaaace3d71952a17969d4.svg\" width=\"37\" height=\"17\"\/>= 10000 \u0432\u0435\u0441\u043e\u0432, \u0430 \u0432\u0441\u0435\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0435\u0441\u043e\u0432 \u0440\u0430\u0432\u043d\u043e 12001. \u041f\u0443\u0441\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\text{ReLU}(x) = \\max (0, x)\" alt=\"\\text{ReLU}(x) = \\max (0, x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7be\/155\/4cd\/7be1554cd2ec63de8af5fba956ffb22a.svg\" width=\"181\" height=\"22\"\/>. \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (\u0432\u0441\u044e \u0441\u0435\u0442\u044c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/429\/488\/5a7\/4294885a7f862ef7f067549900ff440e.svg\" width=\"11\" height=\"20\"\/>):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{y} = f(x, \\theta) = W_2 \\text{ReLU}(W_1x + b) + b_2 \\tag{1}\" alt=\"\\hat{y} = f(x, \\theta) = W_2 \\text{ReLU}(W_1x + b) + b_2 \\tag{1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/27e\/103\/796\/27e1037963614171332908ebb573c4d2.svg\" width=\"693\" height=\"23\"\/><\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435.<\/em> \u0423\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a46\/14a\/3fb\/a4614a3fbdad95d0601194fb7a4675b3.svg\" width=\"11\" height=\"12\"\/>\u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e8f\/0bf\/e11\/e8f0bfe11bc0814fe9817027df05456f.svg\" width=\"20\" height=\"17\"\/>\u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0441\u043b\u0435\u0432\u0430 (<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Wx\" alt=\"Wx\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44b\/3d9\/0a1\/44b3d90a1abb69c56d1f73552f6d295b.svg\" width=\"31\" height=\"17\"\/>) \u0438\u043b\u0438 \u0441\u043f\u0440\u0430\u0432\u0430 (<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"xW\" alt=\"xW\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a0b\/fa0\/6d5\/a0bfa06d546e95f3d2d172f10568fff7.svg\" width=\"31\" height=\"17\"\/>), \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u043c\u044b \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438-\u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 \u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438-\u0441\u0442\u043e\u043b\u0431\u0446\u0430\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 TensorFlow \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0441\u043f\u0440\u0430\u0432\u0430, \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0435\u0441\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 (in, out), \u0432 PyTorch &#8212; \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0432\u0430, \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0435\u0441\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 (out, in).<\/p>\n<p>\u041c\u0435\u043d\u044f\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a8\/e84\/c55\/5a8e84c55a5516c6f726de1121fdefb4.svg\" width=\"9\" height=\"17\"\/>, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(\\cdot, \\theta)\" alt=\"f(\\cdot, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0ff\/806\/e0c\/0ff806e0c39dcdc18ff1389445d66e84.svg\" width=\"49\" height=\"22\"\/>. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u0435\u0442\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0430\u043a\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d34\/e14\/eab\/d34e14eab11754be0ba6bcb9a183f4b0.svg\" width=\"9\" height=\"17\"\/>, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u041d\u043e \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443:<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434.<\/strong> \u041c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0437\u0434\u0440\u0430\u0432\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430, \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0443\u044f\u0441\u044c \u043b\u044e\u0431\u044b\u043c\u0438 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u043c \u0432\u0437\u044f\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\text{MSE}(y, \\hat{y}) = (y-\\hat{y})^2\" alt=\"\\text{MSE}(y, \\hat{y}) = (y-\\hat{y})^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/93b\/22a\/7b0\/93b22a7b078a6cccb7256494c2aa08a3.svg\" width=\"179\" height=\"25\"\/> \u0438\u043b\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\text{MAE}(y, \\hat{y}) = |y-\\hat{y}|\" alt=\"\\text{MAE}(y, \\hat{y}) = |y-\\hat{y}|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/970\/3f2\/20d\/9703f220d75006220683638af4e51941.svg\" width=\"170\" height=\"22\"\/>. \u041d\u0435\u0442\u0440\u0443\u0434\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\text{MSE}(y, \\hat{y}) = \\text{MAE}(y, \\hat{y})^2\" alt=\"\\text{MSE}(y, \\hat{y}) = \\text{MAE}(y, \\hat{y})^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d54\/218\/0c2\/d542180c2260ee900939c0cec7caf4ba.svg\" width=\"209\" height=\"25\"\/>. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 MSE, \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 MAE, \u043d\u0435 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043d\u0435\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, MAE \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432 \u043a \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c., \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/stats.stackexchange.com\/a\/582261\/376579\">\u0437\u0434\u0435\u0441\u044c<\/a>).<\/p>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0432\u0448\u0438\u0441\u044c \u0441 \u0442\u0435\u043c, \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0448\u0442\u0440\u0430\u0444\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u0414\u0430\u043b\u0435\u0435, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0441\u043b\u043e\u0436\u0438\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438 \u0431\u0443\u0434\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443.<\/p>\n<p><strong>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434.<\/strong> \u0411\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x, \\theta)\" alt=\"f(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/559\/651\/0a0\/5596510a009864a72ca775d42a63b3e2.svg\" width=\"54\" height=\"22\"\/> \u043a\u0430\u043a \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441 \u043d\u0435\u043a\u043e\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/597\/660\/573\/597660573f597f34a5d581cb845e238a.svg\" width=\"20\" height=\"21\"\/>. \u0422\u0430\u043a \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/82b\/362\/130\/82b36213023122b93113c777211459ed.svg\" width=\"10\" height=\"15\"\/> \u043f\u0440\u0438 \u0434\u0430\u043d\u043d\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1f\/5e1\/7aa\/b1f5e17aae9476521907eaaebb08cbce.svg\" width=\"11\" height=\"12\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{cases}\\mu = f(x, \\theta)\\\\p(y|x, \\theta)=\\mathcal{N}(y|\\mu, \\sigma^2)\\end{cases} \\tag{2}\" alt=\"\\begin{cases}\\mu = f(x, \\theta)\\\\p(y|x, \\theta)=\\mathcal{N}(y|\\mu, \\sigma^2)\\end{cases} \\tag{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/958\/c65\/48a\/958c6548a45c9b69b75d198ba1f631ca.svg\" width=\"697\" height=\"49\"\/><\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0434\u0440\u0443\u0433\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y = f(x, \\theta) + \\textit{noise},\\ \\ \\ \\ \\textit{noise} \\sim \\mathcal{N}(0, \\sigma^2) \\tag{3}\" alt=\"y = f(x, \\theta) + \\textit{noise},\\ \\ \\ \\ \\textit{noise} \\sim \\mathcal{N}(0, \\sigma^2) \\tag{3}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/350\/e3c\/29e\/350e3c29e8172fa2627b56e6c073eab9.svg\" width=\"693\" height=\"25\"\/><\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(y|\\mu, \\sigma^2) = \\cfrac{1}{\\sigma \\sqrt{2 \\pi}} \\exp {-\\cfrac{(y-\\mu)^2}{2 \\sigma^2}} \\tag{4}\" alt=\"\\mathcal{N}(y|\\mu, \\sigma^2) = \\cfrac{1}{\\sigma \\sqrt{2 \\pi}} \\exp {-\\cfrac{(y-\\mu)^2}{2 \\sigma^2}} \\tag{4}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/555\/592\/a90\/555592a90aea1569b988f3b236bfd777.svg\" width=\"693\" height=\"57\"\/><\/p>\n<p>\u042d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u0440\u043e\u043c\u043e\u0437\u0434\u043a\u043e\u0439, \u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043d\u0430 \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u0430\u044f. \u0415\u0441\u043b\u0438 \u043c\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta = y - \\mu\" alt=\"\\Delta = y - \\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/683\/304\/7a8\/6833047a89a8a3b57c331c092b9480d3.svg\" width=\"87\" height=\"21\"\/>, \u0442\u043e \u043e\u0441\u043d\u043e\u0432\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u044b (4) \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\exp (-\\Delta^2)\" alt=\"\\exp (-\\Delta^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bfa\/bee\/cbd\/bfabeecbd1f67b5222ec3475862c1d00.svg\" width=\"84\" height=\"25\"\/>. \u0413\u0440\u0430\u0444\u0438\u043a \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Normal_distribution\">\u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442<\/a> \u043a\u0430\u043a \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u044b\u0439 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0439 &#171;\u043a\u043e\u043b\u043e\u043a\u043e\u043b&#187; \u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u043c \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Delta=0\" alt=\"\\Delta=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/890\/46a\/34b\/89046a34b75610a97038d88393d776a7.svg\" width=\"51\" height=\"17\"\/>. \u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1\/(2 \\sigma^2)\" alt=\"1\/(2 \\sigma^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/48e\/cd3\/c05\/48ecd3c059d1addc534ce8a9c34bc528.svg\" width=\"64\" height=\"25\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 &#171;\u0441\u0436\u0430\u0442\u0438\u0435&#187; \u043a\u043e\u043b\u043e\u043a\u043e\u043b\u0430 \u043f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0441\u0438, \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1\/(\\sigma \\sqrt{2 \\pi})\" alt=\"1\/(\\sigma \\sqrt{2 \\pi})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/974\/d42\/b8b\/974d42b8b21901f7a6f7a45e45c3f920.svg\" width=\"82\" height=\"24\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 &#171;\u0441\u0436\u0430\u0442\u0438\u0435&#187; \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0441\u0438. \u042d\u0442\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0432\u044b\u0431\u0440\u0430\u043d\u044b \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-\\infty\" alt=\"-\\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/978\/118\/7f0\/9781187f0671fdc430a0a3726dfed3e2.svg\" width=\"34\" height=\"16\"\/> \u0434\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"+\\infty\" alt=\"+\\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/68a\/79b\/e49\/68a79be4954b9f67a6f7936d0a482e5c.svg\" width=\"34\" height=\"16\"\/> \u0431\u044b\u043b \u0440\u0430\u0432\u0435\u043d \u0435\u0434\u0438\u043d\u0438\u0446\u0435 (\u0447\u0442\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439), \u0438 \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u043b\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7f\/7a4\/b75\/d7f7a4b751fb117b031520d6921bcece.svg\" width=\"20\" height=\"21\"\/>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fc2\/858\/4b9\/fc28584b9fc72adaf19fd195dc488f86.png\" width=\"1024\" height=\"654\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc2\/858\/4b9\/fc28584b9fc72adaf19fd195dc488f86.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0442\u0430\u043a, \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1a\/409\/4a6\/f1a4094a647156d218c0d16c813c8eb2.svg\" width=\"11\" height=\"12\"\/> \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/827\/012\/b4b\/827012b4b1a05ce705253f3fd2b07081.svg\" width=\"10\" height=\"15\"\/> \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0438 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec6\/b2b\/f9b\/ec6b2bf9b601ca7f13efa64fcc7ef7a7.svg\" width=\"11\" height=\"12\"\/>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430, \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c4\/5d9\/90b\/5c45d990b82f750bd621fe532b86a405.svg\" width=\"10\" height=\"15\"\/> \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/622\/7f1\/4cc\/6227f14cc52a1554b5c0a258f71e1784.svg\" width=\"11\" height=\"12\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd3\/976\/137\/bd397613717a5f074f8caab25c0391b0.svg\" width=\"9\" height=\"17\"\/>.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430: \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/905\/6ee\/182\/9056ee182e15c5edab7f5415aee087b5.svg\" width=\"10\" height=\"15\"\/> \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fcf\/f2a\/ae5\/fcff2aae5a11f79fb7f8ae2615c96528.svg\" width=\"11\" height=\"12\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d8\/29e\/4d7\/0d829e4d7f9f1d69be470a4fa8dd5e31.svg\" width=\"9\" height=\"17\"\/>, \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u041e\u0442\u0441\u044e\u0434\u0430 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u044b\u0442\u0435\u043a\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c: \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a43\/8e8\/b26\/a438e8b26e6b222921209e3faf60fa18.svg\" width=\"69\" height=\"22\"\/>. \u0424\u043e\u0440\u043c\u0443\u043b\u0430 (2) \u0437\u0430\u0434\u0430\u0435\u0442 \u0432\u0438\u0434 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 (4) \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d9\/b56\/e1b\/0d9b56e1b455297062e430f698f2d893.svg\" width=\"69\" height=\"22\"\/> \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430.<\/p>\n<p>\u041f\u043e\u0438\u0441\u043a \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7da\/fad\/efb\/7dafadefbfc4913f21a8000cf8be141c.svg\" width=\"9\" height=\"17\"\/>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c (\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435) \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42f\/11c\/d69\/42f11cd69e5e1e1107f4779a489d7167.svg\" width=\"69\" height=\"22\"\/> \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/strong> (maximum likelihood estimation, MLE). \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u0447\u0430\u0441\u0442\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta^{ML}\" alt=\"\\theta^{ML}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/126\/177\/29f\/12617729f059f64e9eb6cbcaff8af97e.svg\" width=\"35\" height=\"21\"\/>, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_{best}\" alt=\"\\theta_{best}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61b\/b54\/6b8\/61bb546b8e22af12d3e2ecf7b406b0df.svg\" width=\"35\" height=\"20\"\/>.<\/p>\n<p>\u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u043e \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0411\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8bc\/d50\/b47\/8bcd50b475cd166c8f93ead92838bb50.svg\" width=\"9\" height=\"17\"\/>, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (\u043f\u043e\u0437\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u0430 \u043d\u0435 \u0441\u0443\u043c\u043c\u0443). \u041c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435\u043a\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0435\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430, \u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0432\u0435\u043d \u0441\u0443\u043c\u043c\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u0432 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_{best} = \\underset{\\theta}{\\text{arg max}} \\prod\\limits_{i=1}^N p(y_i|x_i, \\theta) = \\underset{\\theta}{\\text{arg min}} \\sum\\limits_{i=1}^N -\\log p(y_i|x_i, \\theta) \\tag{5}\" alt=\"\\theta_{best} = \\underset{\\theta}{\\text{arg max}} \\prod\\limits_{i=1}^N p(y_i|x_i, \\theta) = \\underset{\\theta}{\\text{arg min}} \\sum\\limits_{i=1}^N -\\log p(y_i|x_i, \\theta) \\tag{5}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d0c\/02d\/d08\/d0c02dd082aa88902b0657232b55fddc.svg\" width=\"693\" height=\"60\"\/><\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 (5) \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c, \u0440\u0430\u0432\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-\\log p(y_i|x_i, \\theta)\" alt=\"-\\log p(y_i|x_i, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c22\/0f7\/c3b\/c220f7c3bf71615b5941448cb14c9257.svg\" width=\"128\" height=\"22\"\/> \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x_i, y_i)\" alt=\"(x_i, y_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/804\/774\/01e\/80477401e08f6ad79b86dad84ed88fef.svg\" width=\"57\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y_i|x_i, \\theta)\" alt=\"p(y_i|x_i, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/422\/d49\/3c3\/422d493c30ccc3fd601a40b17e8b5c70.svg\" width=\"82\" height=\"22\"\/> \u043c\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c (2). \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f (4) \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-\\log p(y|x, \\theta)=  \\log\\sigma +\\log \\sqrt{2 \\pi} + \\cfrac{(y-f(x, \\theta))^2}{2 \\sigma^2} \\tag{6}\" alt=\"-\\log p(y|x, \\theta)=  \\log\\sigma +\\log \\sqrt{2 \\pi} + \\cfrac{(y-f(x, \\theta))^2}{2 \\sigma^2} \\tag{6}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/011\/358\/71b\/01135871b0acb0181f56a41f9bbda5b4.svg\" width=\"693\" height=\"56\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0430 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445 \u0432 (6) \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430\u043c\u0438 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ff\/672\/5ae\/2ff6725ae275b7bbbf3966de0a430413.svg\" width=\"9\" height=\"17\"\/>, \u0437\u043d\u0430\u0447\u0438\u0442 \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c. \u0412 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u0442\u043e\u0436\u0435 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4de\/f8e\/60f\/4def8e60f6beaedeeb0f058610ae3e12.svg\" width=\"9\" height=\"17\"\/>, \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 \u0435\u0434\u0438\u043d\u0438\u0446\u0443. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u0438\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c (6) \u0432 (5) \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_{best} = \\underset{\\theta}{\\text{arg min}} \\sum\\limits_{i=1}^N (y_i-f(x_i, \\theta))^2 \\tag{7}\" alt=\"\\theta_{best} = \\underset{\\theta}{\\text{arg min}} \\sum\\limits_{i=1}^N (y_i-f(x_i, \\theta))^2 \\tag{7}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c57\/06e\/7e5\/c5706e7e59a94e9b27fc21ce8811764b.svg\" width=\"693\" height=\"60\"\/><\/p>\n<p>\u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043b\u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{y_i} = f(x_i, \\theta)\" alt=\"\\hat{y_i} = f(x_i, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/43f\/3bf\/3b6\/43f3bf3b63160b7c4eb5389f608c4c1a.svg\" width=\"103\" height=\"22\"\/>. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (7) \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u044b\u0445 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(y_i-\\hat{y_i})^2\" alt=\"(y_i-\\hat{y_i})^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd8\/56d\/00e\/fd856d00e516c55a8cbca3a93adec379.svg\" width=\"80\" height=\"25\"\/> \u043f\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2da\/834\/42b\/2da83442b7d2def8bbe988e1da866a77.svg\" width=\"20\" height=\"21\"\/> \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b\u0431\u0440\u0430\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad4\/8a3\/a4e\/ad48a3a4e3ef57fb310afe8660cf78a9.svg\" width=\"20\" height=\"21\"\/> \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_{best}\" alt=\"\\theta_{best}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/145\/ac3\/d22\/145ac3d223ccc6888c3ab42325dfd152.svg\" width=\"35\" height=\"20\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435 \u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u0438.<\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435.<\/em> \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30a\/ddd\/06a\/30addd06a868e53a931d9235013559d8.svg\" width=\"20\" height=\"21\"\/>\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u043c \u0432\u044b\u0432\u043e\u0434\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0447\u0430\u0441\u0442\u044f\u0445.<\/p>\n<p><strong>\u0420\u0435\u0437\u044e\u043c\u0435.<\/strong> \u0412 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f &#8212; \u044d\u0442\u043e \u043d\u0435\u043a\u0430\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(\\cdot, \\theta): X \\to Y\" alt=\"f(\\cdot, \\theta): X \\to Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f00\/1a3\/963\/f001a396357b1ece6673dbd39f7fe622.svg\" width=\"126\" height=\"22\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f, \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0438\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u0430 \u043e\u043f\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (\u0445\u043e\u0442\u044f \u0434\u0432\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043c\u0435\u044e\u0442 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e). \u0422\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/874\/fe0\/90f\/874fe090fdc4630f925b915d6c291d80.svg\" width=\"10\" height=\"15\"\/>. \u0412 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x, \\theta)\" alt=\"f(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9dd\/86a\/4b2\/9dd86a4b2fec4c3c544780ca6a990eae.svg\" width=\"54\" height=\"22\"\/>, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/57e\/670\/575\/57e670575936d0d35d79679ab98ce9d4.svg\" width=\"10\" height=\"15\"\/>, \u0430 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441 \u043d\u0435\u043a\u043e\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c28\/f01\/16b\/c28f0116b6cee0e72f8709b5498a3208.svg\" width=\"20\" height=\"21\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u043c \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32b\/7c5\/c42\/32b7c5c42ed72242c937e99f4b41b1bf.svg\" width=\"51\" height=\"22\"\/>.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0434\u0432\u0443\u043c\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 \u043d\u0435\u0442 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u044b. \u0415\u0441\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e &#171;<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de0\/686\/eda\/de0686eda518c651f2c8d022fdab2c76.svg\" width=\"10\" height=\"15\"\/> \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0433\u0434\u0435-\u0442\u043e \u0432\u043e\u043a\u0440\u0443\u0433 \u0442\u043e\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x, \\theta)\" alt=\"f(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7a\/f76\/6e1\/e7af766e1a1311177a0bebf78e6ba0a0.svg\" width=\"54\" height=\"22\"\/> \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u044b\u043c \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a98\/dbe\/61e\/a98dbe61e209fa9fd4a0e8644ab6d782.svg\" width=\"11\" height=\"12\"\/>&#171;, \u0442\u043e \u043f\u0440\u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e &#171;<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/22b\/4c5\/2cb\/22b4c52cb8b7b513bb6693c1ff74ce85.svg\" width=\"10\" height=\"15\"\/> \u0440\u0430\u0432\u043d\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x, \\theta)\" alt=\"f(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f37\/52d\/cd6\/f3752dcd663a830b5608c7834ed23c78.svg\" width=\"54\" height=\"22\"\/>&#171;, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0432\u044b\u0434\u0430\u0435\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0442\u043e\u0447\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439, \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c \u0435\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043a\u0430\u043a &#171;<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2e4\/8f2\/e51\/2e48f2e512646b7a56e03f5390b76460.svg\" width=\"10\" height=\"15\"\/> \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0433\u0434\u0435-\u0442\u043e \u0432\u043e\u043a\u0440\u0443\u0433 \u0442\u043e\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x, \\theta)\" alt=\"f(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/011\/788\/715\/01178871528298db0a878ea8b4fcacd0.svg\" width=\"54\" height=\"22\"\/>&#171;.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/aba\/05b\/fa1\/aba05bfa17b47c407625688518df9eb0.png\" width=\"1080\" height=\"607\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aba\/05b\/fa1\/aba05bfa17b47c407625688518df9eb0.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u043b\u0438 \u043d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u0446\u0438\u0442\u0430\u0442\u0443 \u041b\u0430\u043f\u043b\u0430\u0441\u0430 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0442\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 &#8212; \u043b\u0438\u0448\u044c \u0437\u0434\u0440\u0430\u0432\u044b\u0439 \u0441\u043c\u044b\u0441\u043b, \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445.<\/p>\n<p><a class=\"anchor\" name=\"2.4\" id=\"2.4\"><\/a><\/p>\n<h3>2.4. \u041e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043c\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 (2) \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e. \u0412\u043c\u0435\u0441\u0442\u043e \u043d\u0435\u0433\u043e \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0432\u0437\u044f\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430  \u0438\u043b\u0438 \u041b\u0430\u043f\u043b\u0430\u0441\u0430. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u041b\u0430\u043f\u043b\u0430\u0441\u0430 \u043c\u044b \u043f\u0440\u0438\u0448\u043b\u0438 \u0431\u044b \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043d\u0430\u0434\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"|y-\\hat{y}|\" alt=\"|y-\\hat{y}|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e45\/3a2\/bfa\/e453a2bfa3ea302db2f494b93667744c.svg\" width=\"55\" height=\"22\"\/>. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u044b\u0431\u043e\u0440 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/292\/275\/8b9\/2922758b9ac787f32514a535239ae8c8.svg\" width=\"69\" height=\"22\"\/> \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u0435\u043d \u0432\u044b\u0431\u043e\u0440\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L(y, \\hat{y})\" alt=\"L(y, \\hat{y})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ee\/1d7\/65d\/5ee1d765d4439707924b82baa816fcc5.svg\" width=\"57\" height=\"22\"\/> \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435.<\/p>\n<p>\u041a\u0430\u043a\u043e\u0439 \u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 &#8212; \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u0438\u043b\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439? \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0443\u0434\u043e\u0431\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0432 \u0442\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad0\/ba5\/44d\/ad0ba544d992560d7cf9d202af60bca6.svg\" width=\"51\" height=\"22\"\/> \u0438\u043c\u0435\u0435\u0442 \u0442\u043e\u0442 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0432\u0438\u0434:<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 1.<\/strong> \u0418\u043d\u043e\u0433\u0434\u0430 \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a6\/9f2\/a23\/3a69f2a2342cec704f0ba6e59b63e979.svg\" width=\"10\" height=\"15\"\/> &#8212; \u044d\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u043a\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0438 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/33d\/49a\/91a\/33d49a91a731a2b5f92783d2dbba7d2b.svg\" width=\"11\" height=\"12\"\/> &#8212; \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u0435\u043b\u0435\u0439 \u0442\u0440\u0435\u043d\u0430\u0436\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0430\u043b\u0430 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043f\u043e\u0433\u043e\u0434\u044b. \u0422\u043e\u0433\u0434\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f9\/8b9\/2e8\/6f98b92e81edb6ca81fd16ad24a04399.svg\" width=\"51\" height=\"22\"\/> \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0\">\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430<\/a>, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d5d\/524\/6bd\/d5d5246bd4d8cdc896b94f846ebe0c48.svg\" width=\"11\" height=\"12\"\/>. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433 \u0444\u043e\u0440\u043c\u0443\u043b\u044b (2) \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430 \u0438 \u0438\u0437 \u043d\u0435\u0433\u043e \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Poisson_regression\">\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430<\/a>. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0435 \u0442\u043e\u0447\u0435\u0447\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443, \u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d04\/13f\/baa\/d0413fbaa50cbf54098cfddaa3df002c.svg\" width=\"10\" height=\"15\"\/>.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 2.<\/strong> \u0418\u043d\u043e\u0433\u0434\u0430 \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/324\/96e\/89e\/32496e89e387664197bfec43cc3b7355.svg\" width=\"51\" height=\"22\"\/> <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%93%D0%B5%D1%82%D0%B5%D1%80%D0%BE%D1%81%D0%BA%D0%B5%D0%B4%D0%B0%D1%81%D1%82%D0%B8%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">\u0433\u0435\u0442\u0435\u0440\u043e\u0441\u043a\u0435\u0434\u0430\u0441\u0442\u0438\u0447\u043d\u043e<\/a>, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b5b\/980\/63d\/b5b98063dffc00aa4d478454b6537a44.svg\" width=\"51\" height=\"22\"\/> \u043d\u0435\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u0430 \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67b\/a40\/92a\/67ba4092a8538b019dbdecfb7c5633b6.svg\" width=\"11\" height=\"12\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c08\/953\/da0\/c08953da04d6b843b2164aab38c39e00.svg\" width=\"11\" height=\"12\"\/> &#8212; \u0434\u043e\u0445\u043e\u0434\u044b, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cb0\/b1a\/f30\/cb0b1af30fa556382070d5b169e3ddcc.svg\" width=\"10\" height=\"15\"\/> &#8212; \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043d\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u0435. \u041f\u043e\u043d\u044f\u0442\u043d\u043e \u0447\u0442\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72c\/a29\/377\/72ca293775fff9bc2b97558cc291fc61.svg\" width=\"10\" height=\"15\"\/> \u0440\u0430\u0441\u0442\u0435\u0442 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fed\/bfd\/25a\/fedbfd25a276b5f0faa6aa2e5e96f927.svg\" width=\"11\" height=\"12\"\/>, \u043d\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/36e\/1b1\/346\/36e1b13461a03a2bce0ffae909b39358.svg\" width=\"10\" height=\"15\"\/> \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0442\u0435\u0442: \u0431\u043e\u043b\u0435\u0435 \u0431\u043e\u0433\u0430\u0442\u044b\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043c\u043e\u0436\u0435\u0442 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0430 \u0435\u0434\u0443 \u043c\u043d\u043e\u0433\u043e, \u0430 \u043c\u043e\u0436\u0435\u0442 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043c\u0430\u043b\u043e, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0439, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0431\u043e\u043b\u0435\u0435 \u0431\u0435\u0434\u043d\u044b\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0442\u0440\u0430\u0442\u0438\u0442 \u043c\u0430\u043b\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (2) \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0442\u043e\u0436\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/91b\/e66\/d1d\/91be66d1d8e011fcc7a8b85ae288fb35.svg\" width=\"11\" height=\"12\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c, \u0442\u043e \u043f\u0443\u0441\u0442\u044c \u043e\u043d\u0430 \u0438\u043c\u0435\u0435\u0442 2 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u0430: \u043e\u0434\u0438\u043d \u043d\u0435\u0439\u0440\u043e\u043d \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bde\/306\/992\/bde30699299766cf859a0abb9ebae9cd.svg\" width=\"10\" height=\"15\"\/>, \u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e. \u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439 \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 (\u043d\u0435)\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0435\u0433\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. \u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0438 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b.<\/p>\n<p><a class=\"anchor\" name=\"2.5\" id=\"2.5\"><\/a><\/p>\n<h3>2.5. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0425\u044c\u044e\u0431\u0435\u0440\u0430*<\/h3>\n<p>\u0427\u0430\u0441\u0442\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/687\/dcc\/2ac\/687dcc2acd51f10ffb16df4f1710665a.svg\" width=\"51\" height=\"22\"\/>. \u041e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043b\u0438 \u044d\u0442\u043e\u0442 \u0432\u044b\u0431\u043e\u0440? \u0418\u043d\u043e\u0433\u0434\u0430 \u0434\u0430. \u041f\u043e <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A6%D0%B5%D0%BD%D1%82%D1%80%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0\">\u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u043e\u0440\u0435\u043c\u0435<\/a>, \u0435\u0441\u043b\u0438 \u043d\u0435\u043a\u0430\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e6\/87b\/9af\/1e687b9af211219c4df09e6a5a57ef65.svg\" width=\"10\" height=\"15\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0443\u043c\u043c\u043e\u0439 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u043a\u0442\u043e\u0440 \u0432\u043d\u043e\u0441\u0438\u0442 \u0438\u0441\u0447\u0435\u0437\u0430\u044e\u0449\u0435 \u043c\u0430\u043b\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u0441\u0443\u043c\u043c\u0443, \u0442\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e38\/598\/8e7\/e385988e7d826bbfe888024430f10b14.svg\" width=\"10\" height=\"15\"\/> \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435, \u0447\u0430\u0441\u0442\u043e \u0438\u043c\u0435\u044e\u0442 \u0431\u043e\u043b\u0435\u0435 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Heavy-tailed_distribution\">\u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0445\u0432\u043e\u0441\u0442\u044b<\/a>, \u0442\u043e \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u043a\u0440\u0430\u0439\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0421\u043a\u0430\u0436\u0435\u043c, \u0440\u043e\u0441\u0442 \u0438\u043b\u0438 \u0432\u0435\u0441 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0446\u0438\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u043d\u043e \u0440\u0435\u043a\u043e\u0440\u0434\u0441\u043c\u0435\u043d\u044b \u043f\u043e \u0440\u043e\u0441\u0442\u0443 \u0438\u043b\u0438 \u0432\u0435\u0441\u0443 (\u0432 \u0442\u0443 \u0438\u043b\u0438 \u0438\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443) \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0431\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0441\u0442\u0440\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0443\u043c\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc5\/347\/b4c\/cc5347b4c72b6c39ea76b1926b822c84.svg\" width=\"69\" height=\"22\"\/> \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c, \u043f\u043e\u0445\u043e\u0436\u0438\u043c \u043d\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435, \u043d\u043e \u0441 \u0431\u043e\u043b\u0435\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u043c\u0438 \u0445\u0432\u043e\u0441\u0442\u0430\u043c\u0438. \u042d\u0442\u043e \u0441\u043d\u0438\u0437\u0438\u043b\u043e \u0431\u044b \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u041b\u0430\u043f\u043b\u0430\u0441\u0430 \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0445\u0432\u043e\u0441\u0442\u044b, \u0447\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u041c\u044b \u043c\u043e\u0436\u0435\u043c &#171;\u0441\u043a\u043b\u0435\u0438\u0442\u044c&#187; \u044d\u0442\u0438 \u0434\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0432\u0437\u044f\u0432 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043e\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0445\u0432\u043e\u0441\u0442\u044b \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u041b\u0430\u043f\u043b\u0430\u0441\u0430. \u0415\u0441\u043b\u0438 \u0434\u0430\u043b\u0435\u0435 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (6) \u043a\u0430\u043a \u043c\u0438\u043d\u0443\u0441 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0425\u044c\u044e\u0431\u0435\u0440\u0430. \u042d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0438\u043c\u0435\u0435\u0442 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta\" alt=\"\\delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/86c\/d16\/4bb\/86cd164bb009cfec7fea0a3e3f085e36.svg\" width=\"9\" height=\"17\"\/>. \u041e\u043d\u0430 \u043d\u0435 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e &#171;\u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442&#187; \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u044b, \u043a\u0430\u043a \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\text{Huber}(y, \\hat{y}) = \\begin{cases}\\frac{1}{2} (y - \\hat{y})^2,&amp; \\text{if } |y - \\hat{y}| \\leq \\delta\\\\\\delta (|y - \\hat{y}| - \\frac{1}{2} \\delta),&amp; \\text{otherwise}\\end{cases} \\tag{8}\" alt=\"\\text{Huber}(y, \\hat{y}) = \\begin{cases}\\frac{1}{2} (y - \\hat{y})^2,&amp; \\text{if } |y - \\hat{y}| \\leq \\delta\\\\\\delta (|y - \\hat{y}| - \\frac{1}{2} \\delta),&amp; \\text{otherwise}\\end{cases} \\tag{8}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fd\/305\/3c7\/5fd3053c7695cdbad282140db650b3c6.svg\" width=\"697\" height=\"61\"\/><\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c, \u0438\u0437 \u0444\u043e\u0440\u043c\u0443\u043b\u044b (5) \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0440\u0430\u0432\u043d\u0430 \u043c\u0438\u043d\u0443\u0441 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0443 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0441\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u0430 \u0441 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u043d\u0438\u0437 \u0432\u0435\u0442\u0432\u044f\u043c\u0438, \u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u041b\u0430\u043f\u043b\u0430\u0441\u0430 \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-|x|\" alt=\"-|x|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d65\/950\/e6b\/d65950e6b828f8e2181912ec4c0361fd.svg\" width=\"37\" height=\"22\"\/>. \u0417\u0435\u0440\u043a\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0430\u0437\u0438\u0432 \u044d\u0442\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043f\u043e \u043e\u0441\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a2f\/367\/5d5\/a2f3675d58ca149dda86d77a9e734a23.svg\" width=\"11\" height=\"12\"\/>, \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0433\u0440\u0430\u0444\u0438\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0421\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0432 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441 \u0445\u0432\u043e\u0441\u0442\u0430\u043c\u0438 \u043e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u041b\u0430\u043f\u043b\u0430\u0441\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0425\u044c\u044e\u0431\u0435\u0440\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/55c\/9b9\/52e\/55c9b952ed1aa8af2a37d225dbd1d19a.png\" width=\"708\" height=\"513\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/55c\/9b9\/52e\/55c9b952ed1aa8af2a37d225dbd1d19a.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0425\u044c\u044e\u0431\u0435\u0440\u0430 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 + gradient clipping, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0439 \u043a \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}\" alt=\"\\hat{y}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c04\/0c2\/4dc\/c040c24dceb515eda58de9278c023598.svg\" width=\"11\" height=\"20\"\/>. Gradient clipping \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043f\u0440\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\partial loss \/ \\partial \\hat{y}\" alt=\"\\partial loss \/ \\partial \\hat{y}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6d\/1fc\/b4f\/d6d1fcb4f0093983f8104a6f64f6e3d0.svg\" width=\"76\" height=\"22\"\/> \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta\" alt=\"\\delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e2f\/1ee\/4d6\/e2f1ee4d67cb2f1369ddd83161cf0390.svg\" width=\"9\" height=\"17\"\/>, \u0442\u043e \u043e\u043d \u043e\u0431\u0440\u0435\u0437\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\cfrac{\\partial loss(y, \\hat{y})}{\\partial \\hat{y}} := clip \\Big( \\cfrac{\\partial loss(y, \\hat{y})}{\\partial \\hat{y}}, -\\delta, \\delta \\Big)\" alt=\"\\cfrac{\\partial loss(y, \\hat{y})}{\\partial \\hat{y}} := clip \\Big( \\cfrac{\\partial loss(y, \\hat{y})}{\\partial \\hat{y}}, -\\delta, \\delta \\Big)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/805\/6c2\/f27\/8056c2f2743e600f21d54feceae6ce2c.svg\" width=\"324\" height=\"56\"\/><\/p>\n<p>Gradient clipping \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u043d\u043e \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435 \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}\" alt=\"\\hat{y}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/52e\/377\/30c\/52e37730c9068222b738d55cbc105ca7.svg\" width=\"11\" height=\"20\"\/>, \u0430 \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u0432\u0435\u0441\u0430\u043c.<\/p>\n<p><a class=\"anchor\" name=\"3\" id=\"3\"><\/a><\/p>\n<h2>3. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p><a class=\"anchor\" name=\"3.1\" id=\"3.1\"><\/a><\/p>\n<h3>3.1. \u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b9\/a93\/eb4\/6b9a93eb4613ed0eb6a82e980ce3f0a7.svg\" width=\"55\" height=\"22\"\/>, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e <em>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445<\/em> \u0438\u043b\u0438 <em>\u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c\u044e<\/em>. \u0413\u043e\u0432\u043e\u0440\u044f \u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x)\" alt=\"p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dd6\/7af\/7f5\/dd67af7f5e6d753939ae02c08923dfd6.svg\" width=\"36\" height=\"22\"\/> \u0438\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a2a\/b47\/a15\/a2ab47a151253831d96409b0e3a016b3.svg\" width=\"55\" height=\"22\"\/>, \u043c\u044b \u0443\u0441\u043b\u043e\u0432\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043d\u0435\u043a\u043e\u0435\u0433\u043e &#171;\u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u043f\u0430\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x, y)\" alt=\"(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/136\/973\/b51\/136973b514e897470a100953650d3d70.svg\" width=\"44\" height=\"22\"\/>&#171;, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0437\u044f\u0442\u044b \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430.<\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; \u044d\u0442\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0441\u0442\u044c, \u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u0435\u0435 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043a \u0438\u0441\u0442\u0438\u043d\u0435 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0439. \u041e\u0431\u044b\u0447\u043d\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043b\u0438\u0448\u044c \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0434\u043e\u0431\u044b\u0442\u0443\u044e \u0442\u0435\u043c \u0438\u043b\u0438 \u0438\u043d\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u043d\u043e \u043d\u0435 \u0438\u043c\u0435\u0435\u043c \u0441\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b59\/0eb\/ef0\/b590ebef015c64aca8928b459579225c.svg\" width=\"55\" height=\"22\"\/>. \u041d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e52\/1b0\/9bc\/e521b09bcf248a2ad7160870dcae4f0b.svg\" width=\"55\" height=\"22\"\/> \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u043b\u0438\u043a\u043e \u0434\u043b\u044f &#171;\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445&#187; \u043f\u0430\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x, y)\" alt=\"(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/057\/a62\/dc3\/057a62dc3400607fb12abe4470ea3fcc.svg\" width=\"44\" height=\"22\"\/>, \u0438 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e \u0434\u043b\u044f \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0430\u0440 (\u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043b\u0438\u0431\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x)=0\" alt=\"p(x)=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d14\/eb5\/529\/d14eb5529827d6472911877dbaf5bc2e.svg\" width=\"72\" height=\"22\"\/>, \u043b\u0438\u0431\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)=0\" alt=\"p(y|x)=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/618\/c8d\/6b7\/618c8d6b791e8d40fb509ebee20eb288.svg\" width=\"87\" height=\"22\"\/>).<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u043e \u043f\u0440\u043e\u0434\u0430\u0436\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u0435\u0439. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u0435\u0440\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;Lada Granta&#187; \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&#187;<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0432\u0442\u043e &#171;\u041f\u043e\u0431\u0435\u0434\u0430&#187; \u0441 \u0434\u0432\u0438\u0433\u0430\u0442\u0435\u043b\u0435\u043c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c\u044e 500 \u043b. \u0441. \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x)\" alt=\"p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/574\/f54\/859\/574f548595dc32a3a8b2a4738300cb59.svg\" width=\"36\" height=\"22\"\/> \u0432\u0435\u0440\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p><img class=\"formula inline\" source=\"p(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;Lada Granta&quot;}) > p(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&quot;})&#187; alt=&#187;p(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;Lada Granta&quot;}) > p(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041c\u043e\u0441\u043a\u0432\u0438\u0447-412&quot;})&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/453\/557\/448\/4535574480427d49dc355846deef707f.svg&#187; width=&#187;538&#8243; height=&#187;22&#8243;\/><\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041f\u043e\u0431\u0435\u0434\u0430&quot;}\\ \\&amp;\\ \\text{\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c}(x) \\approx \\text{&quot;500 \u043b. \u0441.&quot;}) \\approx 0\" alt=\"p(x|\\text{\u043c\u0430\u0440\u043a\u0430}(x) = \\text{&quot;\u041f\u043e\u0431\u0435\u0434\u0430&quot;}\\ \\&amp;\\ \\text{\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c}(x) \\approx \\text{&quot;500 \u043b. \u0441.&quot;}) \\approx 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce4\/39d\/c08\/ce439dc080922a3d1d431245b2a5444a.svg\" width=\"470\" height=\"22\"\/><\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ea\/9e5\/084\/7ea9e5084d3ee5023c9b62cd795e84c5.svg\" width=\"51\" height=\"22\"\/> \u043d\u0435\u0432\u044b\u0440\u043e\u0436\u0434\u0435\u043d\u043e (\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u0441\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435), \u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1d\/3bd\/f22\/f1d3bdf222dd11d2e5715699725d18bd.svg\" width=\"10\" height=\"15\"\/> \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/89d\/4c3\/dce\/89d4c3dce46a897da249d6991ffa83b8.svg\" width=\"11\" height=\"12\"\/>, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p><a class=\"anchor\" name=\"3.2\" id=\"3.2\"><\/a><\/p>\n<h3>3.2. \u0414\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>\u0417\u0430\u043f\u0438\u0448\u0435\u043c \u043e\u0434\u043d\u0443 \u0438\u0437 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0444\u043e\u0440\u043c\u0443\u043b \u0442\u0435\u043e\u0440\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y) = p(y|x)p(x) \\tag{9}\" alt=\"p(x, y) = p(y|x)p(x) \\tag{9}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/60e\/7a1\/215\/60e7a12152c5c067a3ce549ea9471d15.svg\" width=\"693\" height=\"23\"\/><\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u044e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/104\/46f\/9c5\/10446f9c54b765217666d93368952682.svg\" width=\"51\" height=\"22\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u0449\u0443\u0442 \u043d\u0435\u043a\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f68\/a82\/308\/f68a82308ea7947dfac8831f995b9b5b.svg\" width=\"51\" height=\"22\"\/>, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <em>\u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438<\/em>. \u0418\u043d\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u0440\u0443\u0433\u0443\u044e \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044e: <a href=\"https:\/\/probml.github.io\/pml-book\/book2.html\">Murphy, 2023<\/a> \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c2e\/a33\/689\/c2ea336894d627e2d9c13f275066d4d8.svg\" width=\"51\" height=\"22\"\/> <em>\u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438<\/em>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 (\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f) \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438.<\/p>\n<p>\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0435\u0445 \u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u044e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x)\" alt=\"p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ae\/69d\/43b\/4ae69d43b73ca7e19bda6ce77af544e8.svg\" width=\"36\" height=\"22\"\/>. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u0442\u044c \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u0445 \u043d\u0430 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044f\u0445. \u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441 &#171;\u0431\u0435\u043b\u044b\u043c \u0448\u0443\u043c\u043e\u043c&#187;, \u0441\u0435\u0442\u044c \u0442\u043e\u0436\u0435 \u0432\u044b\u0434\u0430\u0441\u0442 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043e\u0442\u0432\u0435\u0442 (\u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0436\u0435\u0442 \u043e\u0434\u043d\u043e \u0438\u0437 \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u0445) \u0438 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0430\u043c, \u0447\u0442\u043e \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u043c.<\/p>\n<p><a class=\"anchor\" name=\"3.3\" id=\"3.3\"><\/a><\/p>\n<h3>3.3. \u0413\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438*<\/h3>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0435\u0449\u0435 <em>\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/em> &#8212; \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u044e\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/466\/4c7\/0e5\/4664c70e5b6b816f36b16eb49e3dcd8b.svg\" width=\"55\" height=\"22\"\/>, \u043b\u0438\u0431\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x)\" alt=\"p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/02c\/17f\/07b\/02c17f07bba58665a396e0e810d2a529.svg\" width=\"36\" height=\"22\"\/>, \u0435\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e19\/eca\/139\/e19eca1396e47a781ecb97fb7edadccc.svg\" width=\"10\" height=\"15\"\/> \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442. \u0418\u043d\u043e\u0433\u0434\u0430 &#171;\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438&#187; \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0435, \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0438\u043b\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 &#8212; \u044d\u0442\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c\u0443 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438. \u0412 \u0446\u0435\u043b\u043e\u043c, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 &#8212; \u044d\u0442\u043e \u0442\u0435\u043c\u0430 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 \u043a\u043d\u0438\u0433\u0435 <a href=\"https:\/\/probml.github.io\/pml-book\/book2.html\">Murphy, 2023<\/a>, \u0440\u0430\u0437\u0434\u0435\u043b 20 \u0438 \u0434\u0430\u043b\u0435\u0435. \u0414\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0442\u0430\u043c \u0436\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 14 \u0438 \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p>\u0421 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/496\/d9b\/a94\/496d9ba9469066d5bf0468a85981ed14.svg\" width=\"10\" height=\"15\"\/> \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/99e\/213\/178\/99e2131781850e7eeaaa213c4e3481d5.svg\" width=\"11\" height=\"12\"\/> &#171;\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c&#187; \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0441\u0442\u0435\u0442 \u0432 \u0440\u044f\u0434\u0443: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x) &lt; p(y|x) &lt; p(x, y)\" alt=\"f(x) &lt; p(y|x) &lt; p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b09\/879\/dd1\/b09879dd1e2170b5b227180606ce2d66.svg\" width=\"193\" height=\"22\"\/>, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0438\u043c\u0435\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3dd\/7f6\/2b0\/3dd7f62b0853939e70f71fde6cd1e4f1.svg\" width=\"55\" height=\"22\"\/> \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f7\/1f3\/1c9\/0f71f31c9704f2f79a4fd712a016fca0.svg\" width=\"51\" height=\"22\"\/>, \u0430 \u0438\u043c\u0435\u044f  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd2\/40b\/643\/fd240b643b323af0c7565f7e8e14b056.svg\" width=\"51\" height=\"22\"\/> \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u043e\u0447\u0435\u0447\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b6\/619\/7b3\/0b66197b3bef2a6b0abeee2aff512a9c.svg\" width=\"37\" height=\"22\"\/>, \u043d\u043e \u043d\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p(y|x) = \\cfrac{p(x, y)}{p(x)} = \\cfrac{p(x, y)}{\\int\\limits_{y \\in Y} p(x, y)}\" alt=\"p(y|x) = \\cfrac{p(x, y)}{p(x)} = \\cfrac{p(x, y)}{\\int\\limits_{y \\in Y} p(x, y)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72e\/5cd\/81f\/72e5cd81fa4c1757b43d2a61f00f9b6e.svg\" width=\"252\" height=\"74\"\/><\/p>\n<p>\u041d\u043e \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438. \u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/86e\/3c3\/8c4\/86e3c38c41086e1bdd0db1369b552389.svg\" width=\"55\" height=\"22\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x, y)\" alt=\"(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c72\/d6f\/005\/c72d6f00541e8495325d2c046b37eff1.svg\" width=\"44\" height=\"22\"\/> \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e07\/c79\/edb\/e07c79edb5217cd738edebb931d7318f.svg\" width=\"55\" height=\"22\"\/>, \u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x, y)\" alt=\"(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee4\/4de\/11d\/ee44de11d06dfe5b16e6eac38858074c.svg\" width=\"44\" height=\"22\"\/> \u0438\u0437 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0438\u043c\u0435\u043b\u0438 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b, \u0442\u043e \u044d\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0438 \u0431\u044b\u043b\u0438 \u0431\u044b \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b (\u0442\u043e \u0435\u0441\u0442\u044c \u0443\u043c\u0435\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442), \u043d\u043e \u043d\u0430 \u0434\u0435\u043b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b, \u0438 \u044d\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f. \u0415\u0441\u043b\u0438 \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/119\/c79\/476\/119c794763f2e74e46deedcef95b852e.svg\" width=\"55\" height=\"22\"\/> \u043c\u043e\u0436\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x, y)\" alt=\"(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/862\/38a\/a8e\/86238aa8e21a1212fbed3c9a8bda1682.svg\" width=\"44\" height=\"22\"\/>, \u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f4\/3af\/482\/5f43af4822d597d57dfdb0d65c8912e8.svg\" width=\"51\" height=\"22\"\/> \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043d\u0435\u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c\u043e\u0439.<\/p>\n<p><a class=\"anchor\" name=\"3.4\" id=\"3.4\"><\/a><\/p>\n<h3>3.4. i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0427\u0430\u0441\u0442\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d (independent and identically distributed, <strong>i.i.d.<\/strong>). \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x_i, y_i)\" alt=\"(x_i, y_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d20\/0b9\/b41\/d200b9b415b97c247c0b16589bc2b57e.svg\" width=\"57\" height=\"22\"\/> \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439, \u0432\u0437\u044f\u0442\u043e\u0439 \u0438\u0437 \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/784\/f4b\/240\/784f4b2409f811077c431ea28fad3d6c.svg\" width=\"55\" height=\"22\"\/>. \u041e\u0442\u0441\u044e\u0434\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\forall i: (x_i, y_i) \\sim p(x, y) \\tag{10}\" alt=\"\\forall i: (x_i, y_i) \\sim p(x, y) \\tag{10}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/078\/25c\/bf6\/07825cbf6df2c0a9b2ed20d135d4ed5d.svg\" width=\"693\" height=\"23\"\/><\/p>\n<p>\u041f\u043e \u043c\u043e\u0435\u043c\u0443 \u043c\u043d\u0435\u043d\u0438\u044e, \u0434\u0430\u043d\u043d\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 &#171;\u0431\u043b\u0435\u0441\u043a \u0438 \u043d\u0438\u0449\u0435\u0442\u0443&#187; \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0421 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043e\u043d\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u043a \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L(y, \\hat{y}(x))\" alt=\"L(y, \\hat{y}(x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/598\/3a7\/b17\/5983a7b174ce6adfb5c7746be331f3b9.svg\" width=\"83\" height=\"22\"\/> \u043d\u0430 \u0432\u0441\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/www.cs.cornell.edu\/courses\/cs4780\/2018fa\/lectures\/lecturenote01_MLsetup.html\">\u0437\u0434\u0435\u0441\u044c<\/a>):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\text{(quality of model f)} = \\mathop{\\mathbb{E}}\\limits_{x, y \\sim p} L(y, f(x)) = \\int\\limits_{X, Y} p(x, y) L(y, f(x)) \\to \\underset{\\theta}{\\text{max}} \\tag{11}\" alt=\"\\text{(quality of model f)} = \\mathop{\\mathbb{E}}\\limits_{x, y \\sim p} L(y, f(x)) = \\int\\limits_{X, Y} p(x, y) L(y, f(x)) \\to \\underset{\\theta}{\\text{max}} \\tag{11}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/750\/e2c\/b9c\/750e2cb9cdbd9d86b5f9e6b0b60e9095.svg\" width=\"693\" height=\"63\"\/><\/p>\n<p>i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0434\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438: \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 train \u0438 test, \u0438 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432 test \u0432\u0437\u044f\u0442\u044b \u0438\u0437 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0447\u0442\u043e \u0438 train, \u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 test \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e \u0434\u043b\u044f \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0432\u0441\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\text{(quality of model f)} \\approx \\cfrac{1}{N} \\sum\\limits_{i=1}^N L(y_i, f(x_i)), \\ \\ \\ \\ (x_i, y_i) \\sim p \\tag{12}\" alt=\"\\text{(quality of model f)} \\approx \\cfrac{1}{N} \\sum\\limits_{i=1}^N L(y_i, f(x_i)), \\ \\ \\ \\ (x_i, y_i) \\sim p \\tag{12}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7bc\/900\/2ca\/7bc9002ca488cb94a940e2ec8dd118f7.svg\" width=\"693\" height=\"60\"\/><\/p>\n<p>\u041f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fca\/bcb\/6d2\/fcabcb6d279762c724cb175238f11fa2.svg\" width=\"17\" height=\"17\"\/> \u044d\u0442\u0430 \u043e\u0446\u0435\u043d\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0442\u043e\u0447\u043d\u043e\u0439. \u041f\u0440\u0430\u0432\u0434\u0430, \u0431\u044b\u0432\u0430\u044e\u0442 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043e\u0446\u0435\u043d\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e \u0441 \u0441\u0443\u043c\u043c\u043e\u0439 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 (12) \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442 \u0442\u043e\u0447\u0435\u0447\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7c\/9f3\/5fa\/e7c9f35fae97f578d19d14364ee00991.svg\" width=\"10\" height=\"15\"\/>, \u0430 \u043d\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439. \u0415\u0441\u043b\u0438 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e02\/559\/470\/e025594704d18f5decb5cc72fd22797d.svg\" width=\"69\" height=\"22\"\/>, \u0442\u043e \u043c\u044b \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0432 \u0442\u043e\u0447\u0435\u0447\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a8f\/5b7\/100\/a8f5b71006d50f76a90bf3c430a107a0.svg\" width=\"13\" height=\"17\"\/> &#8212; \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435, \u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/653\/d5e\/9fa\/653d5e9fa83d4fe03a62b7ac67841e51.svg\" width=\"69\" height=\"22\"\/>, \u0435\u0441\u043b\u0438 \u0436\u0435 \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 &#8212; \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435, \u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043c\u0435\u0434\u0438\u0430\u043d\u0443 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c., \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/math.stackexchange.com\/questions\/85448\/why-does-the-median-minimize-ex-c\">\u0437\u0434\u0435\u0441\u044c<\/a>).<\/p>\n<p><a class=\"anchor\" name=\"3.5\" id=\"3.5\"><\/a><\/p>\n<h3>3.5. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b*<\/h3>\n<p>\u0412 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u043d\u0435\u0448\u043d\u0438\u0439 &#171;\u0431\u043b\u0435\u0441\u043a&#187; i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0447\u0430\u0441\u0442\u043e \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f &#171;\u043d\u0438\u0449\u0435\u0442\u0430&#187;. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f: \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438 \u0442\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043f\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e, \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u0432 \u043a\u0440\u0435\u0434\u0438\u0442\u043d\u043e\u043c \u0441\u043a\u043e\u0440\u0438\u043d\u0433\u0435: \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0437\u0430\u0435\u043c\u0449\u0438\u043a \u043d\u0435 \u0432\u0435\u0440\u043d\u0435\u0442 \u043a\u0440\u0435\u0434\u0438\u0442, \u0442\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u0442\u0435\u043c \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0434\u0430\u043b\u0438 \u043a\u0440\u0435\u0434\u0438\u0442. \u0415\u0441\u043b\u0438 \u0440\u0430\u043d\u044c\u0448\u0435 \u0432 \u0431\u0430\u043d\u043a\u0435 \u043d\u0435 \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0438 \u043a\u0440\u0435\u0434\u0438\u0442\u044b \u043b\u044e\u0434\u044f\u043c \u043c\u043e\u043b\u043e\u0436\u0435 20 \u043b\u0435\u0442, \u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u043b\u044e\u0434\u0438 \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445. \u0415\u0441\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0431\u044b\u043b\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u0435\u043d\u0430 \u043e\u0442 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439, \u0442\u043e \u043d\u0430 \u043d\u0435\u0439 \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u0430, \u043d\u043e \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0442\u0430\u043a\u0438\u0435 \u043b\u044e\u0434\u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0431\u0443\u0434\u0443\u0442 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0442\u044c\u0441\u044f. \u041e \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432 \u043a\u0440\u0435\u0434\u0438\u0442\u043d\u043e\u043c \u0441\u043a\u043e\u0440\u0438\u043d\u0433\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <a href=\"https:\/\/www.ncbi.nlm.nih.gov\/pmc\/articles\/PMC9041715\/\">Ehrhardt et al., 2021<\/a>.<\/p>\n<p>\u0427\u0430\u0441\u0442\u043e \u0431\u044b\u0432\u0430\u044e\u0442 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f37\/7c0\/a22\/f377c0a223aa5bfc3086f2db7e63028b.svg\" width=\"55\" height=\"22\"\/> \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e (\u0447\u0435\u043c \u0442\u043e, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c), \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0430\u0440\u0430\u0437\u0438\u0442\u043d\u044b\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438, \u0438 \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c. \u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u0434\u0432\u0438\u0433\u0430 \u0438 \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043e\u0431 \u044d\u0442\u043e\u043c \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 &#171;<a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/651103\/\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a>&#171;.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c72\/dd9\/12f\/c72dd912f8b8b6e74aa9df8732b58e4d.png\" width=\"634\" height=\"480\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c72\/dd9\/12f\/c72dd912f8b8b6e74aa9df8732b58e4d.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0435 &#171;\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f&#187; \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u043c, \u0447\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (11), \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0434\u0435\u043b\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432 (\u0440\u043e\u0431\u043e\u0442\u043e\u0432, \u0431\u043e\u0442\u043e\u0432 \u0432 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u044b\u0445 \u0438\u0433\u0440\u0430\u0445 \u0438 \u0442. \u0434). \u0412\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0443\u043c\u0435\u043d\u0438\u0435\u043c \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 (<a href=\"http:\/\/bayes.cs.ucla.edu\/BOOK-2K\/\">Pearl, 2009<\/a>), \u0447\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0438\u0437\u043c\u0435\u043d\u044f\u044e\u0449\u0435\u0439\u0441\u044f \u0441\u0440\u0435\u0434\u0435 \u0438 \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0439 \u0441\u0440\u0435\u0434\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u043e\u0431\u043e\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u0435\u0442\u043a\u043e \u0431\u0440\u043e\u0441\u0430\u0435\u0442 \u043c\u044f\u0447 \u0432 \u043a\u043e\u0440\u0437\u0438\u043d\u0443 \u0432 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438, \u043d\u043e \u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u0441\u0442\u0443\u043f\u043e\u0440 \u043d\u0430 \u0443\u043b\u0438\u0447\u043d\u043e\u0439 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043a\u043e\u0440\u0437\u0438\u043d\u0430 \u0441\u0442\u0430\u043b\u0430 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u0430, \u0432\u0440\u044f\u0434 \u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d. \u041d\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (11), \u0434\u0430 \u0438 \u0441\u0430\u043c\u043e \u043f\u043e\u043d\u044f\u0442\u0438\u0435 &#171;\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445&#187; \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, i.i.d.-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043b\u044e\u0431\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0446\u0435\u043b\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 (11), \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438. \u0412\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u043d\u0435\u0432\u0435\u0440\u043d\u0430, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A6%D0%B5%D0%BF%D1%8C_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0\">\u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0435 \u0446\u0435\u043f\u0438<\/a>, <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%90%D0%B2%D1%82%D0%BE%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C\">\u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a> \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432). \u041d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u043f\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0438, \u043a\u043e\u0433\u0434\u0430 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c i.i.d.-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. \u041d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0432 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f \u043d\u0430 i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0447\u0442\u043e \u043a\u043e\u0433\u0434\u0430-\u043d\u0438\u0431\u0443\u0434\u044c \u0432 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u043e\u043c ML \u0432 \u043e\u0431\u0438\u0445\u043e\u0434 \u0432\u043e\u0439\u0434\u0443\u0442 \u043d\u043e\u0432\u044b\u0435 (\u0438\u043b\u0438 &#171;\u0445\u043e\u0440\u043e\u0448\u043e \u0437\u0430\u0431\u044b\u0442\u044b\u0435 \u0441\u0442\u0430\u0440\u044b\u0435&#187;) \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0443\u0447\u0435\u0441\u0442\u044c <a href=\"https:\/\/bookdown.org\/rdpeng\/timeseriesbook\/residual-autocorrelation.html\">\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c<\/a> \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.<\/p>\n<p><a class=\"anchor\" name=\"4\" id=\"4\"><\/a><\/p>\n<h2>4. \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/h2>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u043d\u043e \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441 \u043e \u0442\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0430 \u043d\u0435 \u0438\u0445 \u0441\u0443\u043c\u043c\u0443. \u0412 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0435\u0449\u0435 \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0442\u043e\u0434\u0443, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0438\u0437 \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438, \u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u0438\u043c \u0432\u0441\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u043f\u0430\u0437\u043b\u0430 \u0432 \u0435\u0434\u0438\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u0443, \u0432\u0432\u0435\u0434\u044f \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p><a class=\"anchor\" name=\"4.1\" id=\"4.1\"><\/a><\/p>\n<h3>4.1. \u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 (statistical inference) \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439. \u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u0438\u0437 \u043a\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u043d\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b? \u041c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u043d\u0430\u0431\u043e\u0440 &#171;\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439-\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432&#187;, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e<\/em>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432:<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 1.<\/strong> \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u0447\u0438\u0441\u0435\u043b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X = \\{x_1, \\dots, x_n\\}\" alt=\"X = \\{x_1, \\dots, x_n\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/36c\/be7\/f7d\/36cbe7f7dca8e1e12b1adcd00437a356.svg\" width=\"145\" height=\"22\"\/>. \u041c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f i.i.d.-\u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0435\u0433\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0440\u0430\u0432\u043d\u0430 1, \u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e (\u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445). \u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u0448\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d30\/365\/2fa\/d303652fabb339d0c0e23ec409379abe.svg\" width=\"23\" height=\"17\"\/> &#8212; \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0445 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0441 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 1 \u0438 \u0432\u0441\u0435\u043c\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M} = \\{ \\mathcal{N}(\\mu, \\sigma^2=1) | \\mu \\in R\\} \\tag{14}\" alt=\"\\mathcal{M} = \\{ \\mathcal{N}(\\mu, \\sigma^2=1) | \\mu \\in R\\} \\tag{14}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab8\/add\/789\/ab8add7895a57d5377ee0b91741f6642.svg\" width=\"693\" height=\"25\"\/><\/p>\n<p>\u0412\u043e\u0437\u044c\u043c\u0435\u043c \u043b\u044e\u0431\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40d\/55b\/a9a\/40d55ba9aa66504f5a263c28aab3f066.svg\" width=\"23\" height=\"17\"\/>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b, \u0442\u043e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0441\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(X)\" alt=\"p(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74a\/e41\/5dd\/74ae415ddb3502653c4310018e34b489.svg\" width=\"42\" height=\"22\"\/> \u0440\u0430\u0432\u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(X) = \\prod\\limits_{i=1}^N p(x_i) =  \\prod\\limits_{i=1}^N \\mathcal{N}(x_i | \\mu, 1) \\tag{15}\" alt=\"p(X) = \\prod\\limits_{i=1}^N p(x_i) =  \\prod\\limits_{i=1}^N \\mathcal{N}(x_i | \\mu, 1) \\tag{15}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/00e\/ac0\/796\/00eac0796742723e368891caf02cb705.svg\" width=\"693\" height=\"60\"\/><\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430, \u0437\u043d\u0430\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d5d\/37d\/9ee\/d5d37d9ee3dbcf91c9330f3e0ee67e08.svg\" width=\"12\" height=\"16\"\/>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(X)\" alt=\"p(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f9a\/a14\/a95\/f9aa14a95f8982097846639e8f68a566.svg\" width=\"42\" height=\"22\"\/>. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/15e\/4ae\/e74\/15e4aee74b93122b51df0a88387ab570.svg\" width=\"23\" height=\"17\"\/> \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(X)\" alt=\"p(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fae\/287\/ba3\/fae287ba31c3f53648f992171eb8b2bf.svg\" width=\"42\" height=\"22\"\/>. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/433\/73f\/a2c\/43373fa2c0bb1b5c7cdf61e63599b8ef.svg\" width=\"23\" height=\"17\"\/> \u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(X)\" alt=\"p(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/005\/6fd\/8a1\/0056fd8a10acc22fcd71be755e5eb4f8.svg\" width=\"42\" height=\"22\"\/> \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432 (15) \u0438 \u043e\u0442\u044b\u0441\u043a\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc0\/20a\/7a1\/cc020a7a1681aa82494cd490548bffd2.svg\" width=\"12\" height=\"16\"\/> (\u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c). \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 2.<\/strong> \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043d\u043e \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043d\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u043d\u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e. \u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u0448\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c &#8212; \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0445 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M} = \\{ \\mathcal{N}(\\mu, \\sigma^2) | \\mu \\in R, \\sigma^2 \\in R^+\\} \\tag{16}\" alt=\"\\mathcal{M} = \\{ \\mathcal{N}(\\mu, \\sigma^2) | \\mu \\in R, \\sigma^2 \\in R^+\\} \\tag{16}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b44\/bde\/5f7\/b44bde5f7b25ba6b06036c64a094d0fa.svg\" width=\"693\" height=\"25\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u0435\u0435.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u0431 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u043b\u0438\u0448\u044c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u0440\u0435\u0434\u0438 \u043a\u0430\u043a\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f6d\/27a\/ad7\/f6d27aad749d7c73fd11d55049e541d0.svg\" width=\"23\" height=\"17\"\/> \u043c\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043f\u043e\u0438\u0441\u043a. \u0421\u0430\u043c \u043f\u043e\u0438\u0441\u043a \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u043a\u0430\u043a \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0435\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b (\u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0438 \u0435\u0433\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438), \u0438\u0445 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0447\u0430\u0441\u0442\u044f\u0445.<\/p>\n<p>\u041d\u0430 \u043a\u0430\u043a\u0438\u0435 &#171;\u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u043c\u043d\u0438&#187; \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f? \u0418\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e.<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 1.<\/strong> \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u0440\u0438\u0448\u043b\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/394\/282\/36f\/39428236f459614ba457df6e2c80f808.svg\" width=\"16\" height=\"17\"\/> \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c. \u0412\u043e\u043e\u0431\u0449\u0435, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0438 \u043e\u0434\u043d\u043e \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Normal_distribution#Exact_normality\">\u0441\u0442\u0440\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c<\/a> (\u043a\u0440\u043e\u043c\u0435, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u043e\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438). \u0417\u043d\u0430\u0447\u0438\u0442 \u043b\u0438 \u044d\u0442\u043e \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u0430? \u0421\u0442\u0440\u043e\u0433\u043e \u0433\u043e\u0432\u043e\u0440\u044f \u0434\u0430. \u041d\u043e \u0435\u0441\u043b\u0438 \u0438\u0441\u043a\u043e\u043c\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c, \u0442\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u043c\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0435\u043c. \u0422\u043e \u0435\u0441\u0442\u044c, \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c6\/361\/e37\/6c6361e37e2e2d7a34812a769106e9d3.svg\" width=\"23\" height=\"17\"\/> \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0438\u0441\u043a\u043e\u043c\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043d\u043e \u0435\u0441\u043b\u0438 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b82\/19e\/ba5\/b8219eba51ded87c278fada03249672e.svg\" width=\"23\" height=\"17\"\/> \u043c\u043e\u0436\u043d\u043e \u0435\u0433\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c &#8212; \u044d\u0442\u043e\u0433\u043e \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e (\u0435\u0441\u043b\u0438 \u0436\u0435 \u043d\u0435\u043b\u044c\u0437\u044f &#8212; \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e &#171;model misspecification&#187;). \u0412\u043e\u043e\u0431\u0449\u0435, \u043c\u043e\u0434\u0435\u043b\u044c &#8212; \u044d\u0442\u043e \u043d\u0435\u043a\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0442\u043e\u0447\u043d\u0430, \u043d\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0430: \u0432\u0441\u044f \u043d\u0430\u0443\u043a\u0430 \u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043a\u0430\u043a \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0445 \u044f\u0432\u043b\u0435\u043d\u0438\u0439. \u041a\u0430\u043a <a href=\"https:\/\/en.wikipedia.org\/wiki\/All_models_are_wrong\">\u0433\u043e\u0432\u043e\u0440\u0438\u043b<\/a> \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0432, &#171;all models are wrong, but some are useful&#187;.<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 2.<\/strong> \u0412\u044b\u0431\u043e\u0440\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 (i.i.d.). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0434\u0432\u0443\u0445\u0441\u0442\u0443\u043f\u0435\u043d\u0447\u0430\u0442\u043d\u043e\u0433\u043e \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0440\u044f\u0434\u043e\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, t)\" alt=\"p(x, t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d17\/410\/fa9\/d17410fa9d89d2f3bccb356dc4d8b8a2.svg\" width=\"52\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac4\/04d\/0e8\/ac404d0e873dc79432e1d6dea0ddaefe.svg\" width=\"7\" height=\"16\"\/> &#8212; \u0432\u0440\u0435\u043c\u044f, \u0440\u0430\u0437\u043d\u043e\u0435 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u043f\u043b\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u043e\u043f\u044f\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M}\" alt=\"\\mathcal{M}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f6b\/6b1\/c38\/f6b6b1c381b84a54af969ac446e56926.svg\" width=\"23\" height=\"17\"\/> \u043d\u0435\u0432\u0435\u0440\u043d\u0430, \u043d\u043e \u043e\u043d\u0430 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430, \u0435\u0441\u043b\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d2\/d2b\/d1f\/5d2d2bd1ffeab3f21b450ab6af8986d9.svg\" width=\"7\" height=\"16\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0447\u044c. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0435\u0439 \u043f\u0440\u0438\u043d\u0435\u0431\u0440\u0435\u0447\u044c \u043d\u0435\u043b\u044c\u0437\u044f, \u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041e\u043d\u0438 \u0442\u043e\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0442\u0435\u043e\u0440\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u043d\u043e i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0432 \u043d\u0438\u0445 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0b5\/75d\/b78\/0b575db787266265148e70f76acb3def.png\" width=\"850\" height=\"619\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b5\/75d\/b78\/0b575db787266265148e70f76acb3def.png\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 3.<\/strong> \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438\u043c\u0435\u0442\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043c\u0435\u043d\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u043d \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0435\u0435 \u0443\u0447\u0435\u0441\u0442\u044c.<\/p>\n<p><strong>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 4.<\/strong> \u0415\u0441\u043b\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0435 1-2 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 (<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/daf\/d15\/c53\/dafd15c5386987f7a6254f988bfaa372.svg\" width=\"12\" height=\"16\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b3e\/290\/e8b\/b3e290e8b9fa43c1609b80e490bec2dd.svg\" width=\"11\" height=\"12\"\/>), \u0430, \u0441\u043a\u0430\u0436\u0435\u043c, 100 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0432\u0441\u0435\u0433\u043e 10 \u0441\u0435\u043c\u043f\u043b\u043e\u0432, \u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u044d\u0442\u0438\u0445 \u0441\u0435\u043c\u043f\u043b\u043e\u0432 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u041c\u044b \u043b\u0435\u0433\u043a\u043e \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u043e\u0434 \u0434\u0430\u043d\u043d\u044b\u0435, \u0438 \u043c\u044b \u0434\u0430\u0436\u0435 \u0441\u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0439\u0442\u0438 \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0434 \u0434\u0430\u043d\u043d\u044b\u0435. \u041d\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u0442\u0430\u043a\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0431\u0443\u0434\u0443\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435\u043c\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u0440\u0438 \u0445\u043e\u0440\u043e\u0448\u0435\u043c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (<a href=\"https:\/\/stats.stackexchange.com\/questions\/261056\/why-does-maximum-likelihood-estimation-have-issues-with-over-fitting\">1<\/a>, <a href=\"https:\/\/stats.stackexchange.com\/questions\/376808\/maximum-likelihood-estimators-and-overfitting\">2<\/a>, <a href=\"https:\/\/stats.stackexchange.com\/questions\/82664\/bayesian-vs-mle-overfitting-problem\">3<\/a>).<\/p>\n<p>\u0412 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0435\u0439 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0447\u0435\u043c \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u0435\u043c \u043c\u0435\u043d\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f, \u0447\u0442\u043e \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u043b\u043d\u044b\u0439 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0447\u0430\u0441\u0442\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0432\u0432\u0438\u0434\u0443 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0435\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0435 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438: \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b.<\/p>\n<p><a class=\"anchor\" name=\"4.2\" id=\"4.2\"><\/a><\/p>\n<h2>4.2. \u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438<\/h2>\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439. \u0422\u043e\u0442 \u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (\u0442\u0430\u043a\u0443\u044e \u043a\u0430\u043a \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441, \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c) \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043c\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ae\/ce0\/700\/1aece07003b5fec783f4ade23eab53c0.svg\" width=\"10\" height=\"15\"\/>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d50\/fb3\/e46\/d50fb3e465c09e91a073b11515d710d4.svg\" width=\"51\" height=\"22\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0441  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2=1\" alt=\"\\sigma^2=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c5\/36b\/c76\/9c536bc76d643d210a1187cf3cbdbb83.svg\" width=\"55\" height=\"21\"\/> \u0438 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u043c \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd2\/c33\/4bd\/cd2c334bddfc286cca7683c2c9138dad.svg\" width=\"11\" height=\"12\"\/>. \u0417\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Theta\" alt=\"\\Theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/91e\/acb\/fac\/91eacbfac69a0c31b8777ca4333e898c.svg\" width=\"15\" height=\"17\"\/> \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u041d\u0430\u0448\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0432\u0438\u0434:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{M} = \\{\\mathcal{N}(\\mu = f(x, \\theta), \\sigma^2=1) | \\theta \\in \\Theta \\} \\tag{17}\" alt=\"\\mathcal{M} = \\{\\mathcal{N}(\\mu = f(x, \\theta), \\sigma^2=1) | \\theta \\in \\Theta \\} \\tag{17}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2be\/8da\/3be\/2be8da3be50163242a291aa6cb00adbd.svg\" width=\"693\" height=\"25\"\/><\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u043f\u0430\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x, y)\" alt=\"(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f7e\/6ea\/fca\/f7e6eafcad05672db618f61fc60c3d3f.svg\" width=\"44\" height=\"22\"\/>, \u0438 \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f i.i.d.-\u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 \u043d\u0435\u043a\u043e\u0435\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x, y)\" alt=\"p(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fd\/697\/9eb\/5fd6979eb63a9336eb56cbccba5a7d02.svg\" width=\"55\" height=\"22\"\/>. \u042d\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438. \u0412\u0441\u0435, \u0442\u043e \u043d\u0430\u043c \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c &#8212; \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta \\in \\Theta\" alt=\"\\theta \\in \\Theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f73\/6fa\/191\/f736fa191909a257be135753eb3eb4d7.svg\" width=\"48\" height=\"17\"\/>, \u0447\u0442\u043e\u0431\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u044b\u043b\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430: \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 (i.i.d.), \u0442\u043e \u043f\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u043c \u0437\u0430\u043a\u043e\u043d\u0430\u043c \u0442\u0435\u043e\u0440\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0440\u0430\u0432\u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442\u0430\u043a \u0436\u0435 \u043a\u0430\u043a \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (5). \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 2 \u043c\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 (\u0430 \u043d\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0443\u043c\u043c\u0443 \u0438\u043b\u0438 \u043c\u0438\u043d\u0438\u043c\u0443\u043c).<\/p>\n<p>\u0412\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043d\u0438\u043c\u0438 \u0443\u0436\u0435 \u0431\u044b\u043b\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043e \u0440\u0430\u043d\u0435\u0435: \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 (5-7) \u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u043a\u0430\u043a\u0438\u043c-\u043b\u0438\u0431\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c (\u0434\u043b\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 &#8212; \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c, \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043b\u0435\u0441\u0430 &#8212; \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435\u043c \u043d\u043e\u0432\u044b\u0445 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432 \u0438 \u0442. \u0434.), \u043d\u0430\u0439\u0434\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40e\/a40\/372\/40ea40372e0c057058fd1286188a6125.svg\" width=\"9\" height=\"17\"\/>, \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u043d\u0430\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044f \u0441 \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435. \u0412\u043c\u0435\u0441\u0442\u0435 \u0441 \u044d\u0442\u0438\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0442\u0435 \u0436\u0435 \u0441\u0430\u043c\u044b\u0435 \u0442\u0440\u0438 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f, \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0434\u0430\u044e\u0449\u0438\u0445 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043d\u0430 train \u0438 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043d\u0430 test, \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0430\u0441\u0442\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043a \u0442\u0430\u043a\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c.<\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0441 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab4\/60c\/5ac\/ab460c5ac29eec7c57a80c05373c5594.svg\" width=\"69\" height=\"22\"\/>? \u041f\u043e\u0436\u0430\u043b\u0443\u0439, \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0442\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c. \u041d\u043e \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0437\u044f\u0442\u0438\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u044b (5-7). \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u043d\u0435 \u0441\u0443\u043c\u043c\u0443, \u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x, \\theta)\" alt=\"p(y|x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f58\/1ab\/786\/f581ab786fbe52d3cb6fc6d1eed5241d.svg\" width=\"69\" height=\"22\"\/> \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c (5). \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0441\u043e\u0442\u0435\u043d \u0438 \u0442\u044b\u0441\u044f\u0447 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439 \u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 float. \u0412-\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0443\u043c\u043c\u044b \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c.<\/p>\n<p>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u043c\u044b \u0443\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043c\u043d\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0443\u043b \u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432, \u043d\u043e \u043e\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0438\u043a\u0443\u0434\u0430 \u043d\u0435 \u0434\u0435\u043b\u0438\u0441\u044c, \u0438  \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435 \u043f\u0440\u0438\u043d\u0435\u0441 \u043e\u0441\u043e\u043e\u0439 \u043f\u043e\u043b\u044c\u0437\u044b (\u043a\u0440\u043e\u043c\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430). \u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u044d\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0430\u043a. \u0424\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442 \u0434\u043e\u043c\u0430 \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u0442 \u043f\u043e\u043b\u044c\u0437\u044b: \u0436\u0438\u0442\u044c \u0432 \u043d\u0435\u043c \u043d\u0438\u0447\u0443\u0442\u044c \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u043e, \u0447\u0435\u043c \u0432 \u0432\u0430\u0433\u043e\u043d\u0447\u0438\u043a\u0435 \u043d\u0430 \u0441\u0442\u0440\u043e\u0439\u043a\u0435. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u044b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0430\u043d\u043d\u043e\u0442\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443, \u043b\u0438\u0431\u043e \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0435 \u0434\u0430\u043d\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438.<\/p>\n<p><a class=\"anchor\" name=\"5\" id=\"5\"><\/a><\/p>\n<h2>5. \u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438*<\/h2>\n<p><a class=\"anchor\" name=\"5.1\" id=\"5.1\"><\/a><\/p>\n<h2>5.1. \u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438*<\/h2>\n<p>\u0412 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u0447\u0430\u0441\u0442\u0438 1 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(y|x)\" alt=\"p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/086\/504\/eae\/086504eae438a605912b79456ef3162f.svg\" width=\"51\" height=\"22\"\/> \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/216\/aa4\/d11\/216aa4d11f55eb7ad01a90fc7dcc43c7.svg\" width=\"11\" height=\"12\"\/>, \u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439. \u041d\u043e \u043d\u0430\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 \u043d\u0435 \u043e\u0434\u043d\u043e, \u0430 \u0434\u0432\u0430 \u0447\u0438\u0441\u043b\u0430: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_1(x, \\theta)\" alt=\"f_1(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f90\/093\/db6\/f90093db682f333b8d0a4a808b59842b.svg\" width=\"62\" height=\"22\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_2(x, \\theta)\" alt=\"f_2(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67a\/806\/950\/67a806950b344f8ed935fad005a32994.svg\" width=\"62\" height=\"22\"\/>. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u0437\u044f\u0442\u044c 2 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u0430. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 \u043d\u0430\u0434 \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u043c\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043b\u0438\u0441\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c 2 \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c.<\/p>\n<p>\u041d\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u0435\u043d\u044c\u0448\u0435 \u043d\u0443\u043b\u044f, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0435 \u0447\u0438\u0441\u043b\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443\u0434\u043e\u0431\u043d\u0435\u0435, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438. \u0415\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f46\/3ca\/223\/f463ca2230ce416c67d1734c7fe44685.svg\" width=\"15\" height=\"17\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0422\u043e\u0433\u0434\u0430 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b91\/393\/a1b\/b91393a1bcc82d5ed2be1b5e5b8418db.svg\" width=\"12\" height=\"16\"\/> \u0438 \u0435\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/499\/b8a\/3e1\/499b8a3e1b0dcb5bf13cf105c218b898.svg\" width=\"20\" height=\"21\"\/> \u0432\u044b\u0440\u0430\u0437\u0438\u043c \u0447\u0435\u0440\u0435\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_1\" alt=\"f_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de3\/10f\/71a\/de310f71ae39564343918506509a1ae7.svg\" width=\"18\" height=\"20\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_2\" alt=\"f_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/12e\/221\/598\/12e22159832e46648b2b51197ae7afcd.svg\" width=\"18\" height=\"20\"\/> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{cases}\\mu = f_1(x, \\theta)\\\\\\sigma^2 = C \\exp f_2(x, \\theta)\\end{cases} \\tag{18}\" alt=\"\\begin{cases}\\mu = f_1(x, \\theta)\\\\\\sigma^2 = C \\exp f_2(x, \\theta)\\end{cases} \\tag{18}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0fc\/877\/b61\/0fc877b61dea23121d4ee9891fde3c6c.svg\" width=\"697\" height=\"49\"\/><\/p>\n<p>\u0422\u0430\u043a \u0436\u0435 \u043a\u0430\u043a \u0438 \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438, \u043c\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043c\u0438\u043d\u0443\u0441 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430. \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u0432 (6) \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b5f\/20a\/ec5\/b5f20aec5b9605b4b942b4acb789ab69.svg\" width=\"12\" height=\"16\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2\" alt=\"\\sigma^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a0c\/503\/0c5\/a0c5030c5e861c95dcc54b53e6e414f0.svg\" width=\"20\" height=\"21\"\/>, \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"-\\log p(y|x, \\theta) = \\\\ \\cfrac{(y-f_1(x, \\theta))^2}{2 C \\exp f_2(x, \\theta)} + \\cfrac{1}{2} \\log C + \\cfrac{1}{2} f_2(x, \\theta) + \\log \\sqrt{2 \\pi} \\tag{19}\" alt=\"-\\log p(y|x, \\theta) = \\\\ \\cfrac{(y-f_1(x, \\theta))^2}{2 C \\exp f_2(x, \\theta)} + \\cfrac{1}{2} \\log C + \\cfrac{1}{2} f_2(x, \\theta) + \\log \\sqrt{2 \\pi} \\tag{19}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/92c\/475\/e6c\/92c475e6c6442821e30ea5a5396b8c41.svg\" width=\"697\" height=\"85\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 \u0438\u043b\u0438 \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u0442\u043e \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0435\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (19) \u0443\u0434\u0430\u043b\u0438\u043c \u0432\u0442\u043e\u0440\u043e\u0435 \u0438 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430\u043c\u0438. \u0417\u0430\u0442\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u0435 \u0438 \u0442\u0440\u0435\u0442\u044c\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0438\u043c \u043d\u0430 2. \u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"loss =  \\cfrac{(y-f_1(x, \\theta))^2}{C \\exp f_2(x, \\theta)} + f_2(x, \\theta) \\tag{20}\" alt=\"loss =  \\cfrac{(y-f_1(x, \\theta))^2}{C \\exp f_2(x, \\theta)} + f_2(x, \\theta) \\tag{20}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b6\/73e\/e78\/7b673ee78a86135d7c9ca4fd17fccc92.svg\" width=\"697\" height=\"56\"\/><\/p>\n<p>\u041c\u044b \u0441\u043d\u043e\u0432\u0430 \u0432\u0438\u0434\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043a \u043d\u0435\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435. \u0412\u044b\u0441\u043e\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_2\" alt=\"f_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f0c\/d79\/dd3\/f0cd79dd39758c4b367e90d5d8327aae.svg\" width=\"18\" height=\"20\"\/> \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0437\u0430 \u0441\u0447\u0435\u0442 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0432\u043a\u043b\u0430\u0434 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(y-f_1)^2\" alt=\"(y-f_1)^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/549\/b10\/817\/549b10817b71f974714fa5090d89507a.svg\" width=\"75\" height=\"25\"\/>. \u042d\u0442\u043e \u0434\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u043a\u0438\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441: \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0448\u0442\u0440\u0430\u0444 \u043e\u0442 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u0430\u043c\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fe\/15f\/892\/5fe15f892000eb5d9de877298a4d5b49.svg\" width=\"10\" height=\"15\"\/> \u043d\u0430 \u043d\u0438\u0445.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043e\u0431\u0443\u0447\u0438\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 California Housing, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0446\u0435\u043d\u0443 \u043d\u0435\u0434\u0432\u0438\u0436\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0430\u0439\u043e\u043d\u0430\u0445 \u041a\u0430\u043b\u0438\u0444\u043e\u0440\u043d\u0438\u0438, \u0438\u043c\u0435\u044f 8 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"C=0.2\" alt=\"C=0.2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/986\/abb\/49f\/986abb49fbb2f04798b3a9bdef536298.svg\" width=\"65\" height=\"17\"\/>.<\/p>\n<details class=\"spoiler\">\n<summary>\u041a\u043e\u0434<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from scipy.stats import pearsonr import tensorflow as tf, numpy as np, matplotlib.pyplot as plt from tensorflow.keras import Sequential, layers, optimizers, callbacks from tensorflow.keras.optimizers.schedules import InverseTimeDecay from tqdm.notebook import tqdm  def custom_loss(y_true, y_pred, C=0.2):   y_true = tf.squeeze(y_true)   mu, log_sigma = y_pred[:, 0], y_pred[:, 1]   loss = (y_true - mu)**2 \/ tf.math.exp(log_sigma) \/ C + log_sigma   return tf.math.reduce_mean(loss)  def custom_mse(y_true, y_pred):   y_true = tf.squeeze(y_true)   mu, log_sigma = y_pred[:, 0], y_pred[:, 1]   metrics = (y_true - mu)**2   return tf.math.reduce_mean(metrics)  # downloading and preprocessing dataset X, y = fetch_california_housing(return_X_y=True) y = np.log(y) X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=5)  scaler = StandardScaler() X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) y_train = scaler.fit_transform(y_train[:, None])[:, 0] y_test = scaler.transform(y_test[:, None])[:, 0]  #training models  def train_simple_model(epochs=50, dropout=0.5):   model = Sequential([       layers.Dense(1000, 'relu'),       layers.Dropout(dropout),       layers.Dense(1)   ])   model.compile(loss='mse', optimizer=                 optimizers.Adam(InverseTimeDecay(1e-3, 1000, 2)))   model.fit(X_train, y_train, validation_data=(X_test, y_test),             batch_size=128, epochs=epochs, verbose=0)   return model, model.history.history['val_loss']  n_tests = 10 simple = [train_simple_model() for i in tqdm(range(n_tests))] uncertainty = [train_model_with_uncertainty() for i in tqdm(range(n_tests))]  fig, (ax1, ax2) = plt.subplots(ncols=2, figsize=(10, 3))  from matplotlib.lines import Line2D for model, history in simple:   ax1.plot(history, color='C0', label='simple models with MSE loss') for model, history in uncertainty:   ax1.plot(history, color='C1', label='models with uncertainty') ax1.set_ylim(0.2, 0.4) ax1.legend([Line2D([0], [0], color='C0', lw=4),                 Line2D([0], [0], color='C1', lw=4)],            ['simple models with MSE loss', 'models with uncertainty']) ax1.set_xlabel('Epoch') ax1.set_ylabel('Validation MSE')  model, _ = uncertainty[0] preds_test = model.predict(X_test) ax2.hexbin(np.abs(preds_test[:, 0] - y_test),            preds_test[:, 1], bins='log', extent=(0, 3, -3, 3), gridsize=50) ax2.set_xlabel('Absolute error') ax2.set_ylabel('Predicted log sigma') corr = pearsonr(np.abs(preds_test[:, 0] - y_test), preds_test[:, 1])[0] ax2.set_title(f'Correlation: {corr:g}')  plt.show()<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430<\/strong>. \u041c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 10 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c MSE \u0438 \u0435\u0449\u0435 10 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u0441\u043b\u0435\u0432\u0430 &#8212; \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f MSE \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u044d\u043f\u043e\u0445\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u043b\u0438 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c MSE. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u0445, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u0441 \u0447\u0430\u0441\u0442\u044b\u043c\u0438 \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0441\u043e\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e \u0441\u043c\u044f\u0433\u0447\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0432 \u044d\u0442\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8bf\/892\/494\/8bf8924942223c936aace87b8d512213.png\" width=\"622\" height=\"224\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8bf\/892\/494\/8bf8924942223c936aace87b8d512213.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0432\u0437\u044f\u043b\u0438 \u043e\u0434\u043d\u0443 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e (\u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435). \u041f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438.<\/p>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 (\u0441\u043c. \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/ieeexplore.ieee.org\/document\/374138\">Nix and Weigend, 1994<\/a>). \u041d\u0435\u0434\u0430\u0432\u043d\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0431\u044b\u043b\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0430 CatBoost \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c <a href=\"https:\/\/catboost.ai\/en\/docs\/concepts\/loss-functions-regression#optimization\">RMSEWithUncertainty<\/a>. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f CatBoost \u0432\u0435\u0440\u0441\u0438\u0438 1.1.1:<\/p>\n<details class=\"spoiler\">\n<summary>\u041a\u043e\u0434<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from catboost import CatBoostRegressor model = CatBoostRegressor(depth=3, iterations=1000,                           loss_function='RMSEWithUncertainty') model.fit(X_train, y_train, verbose=0) staged_preds = list(model.staged_predict(X_test, eval_period=1))  fig, (ax1, ax2) = plt.subplots(ncols=2, figsize=(10, 3))  from sklearn.metrics import mean_squared_error metrics = [mean_squared_error(y_test, p[:, 0]) for p in staged_preds] ax1.plot(metrics, label='catboost') ax1.set_xlabel('N trees') ax1.set_ylabel('validation MSE') ax1.legend()  last_preds = staged_preds[-1] ax2.hexbin(np.abs(last_preds[:, 0] - y_test),            last_preds[:, 1], bins='log', extent=(0, 3, -3, 3), gridsize=50) ax2.set_xlabel('Absolute error') ax2.set_ylabel('Predicted log sigma') corr = pearsonr(np.abs(last_preds[:, 0] - y_test), last_preds[:, 1])[0] ax2.set_title(f'Correlation: {corr:g}')  plt.show()<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/98c\/ba2\/18c\/98cba218c06da83ec101b87873642960.png\" width=\"609\" height=\"224\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/98c\/ba2\/18c\/98cba218c06da83ec101b87873642960.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u0443, \u0445\u043e\u0442\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 CatBoost \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u0412 CatBoost \u0435\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u0435\u0432, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e:<\/p>\n<pre><code class=\"python\">model.plot_tree(0)<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cb7\/bb4\/251\/cb7bb42514e7e57a6ff20339d8b825de.png\" width=\"1184\" height=\"455\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cb7\/bb4\/251\/cb7bb42514e7e57a6ff20339d8b825de.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u0436\u0434\u043e\u0435 \u0437\u0432\u0435\u043d\u043e \u0434\u0435\u0440\u0435\u0432\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u043b\u0438\u0441\u0442 \u0434\u0435\u0440\u0435\u0432\u0430 \u0432\u044b\u0434\u0430\u0435\u0442 2 \u0447\u0438\u0441\u043b\u0430: \u0441\u0430\u043c\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0e5\/941\/f76\/0e5941f76e4a881edae3cb22bc3f7131.svg\" width=\"10\" height=\"15\"\/> \u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c. \u041e\u0431\u0430 \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c.<\/p>\n<p><a class=\"anchor\" name=\"5.2\" id=\"5.2\"><\/a><\/p>\n<h3>5.2. \u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438*<\/h3>\n<p>\u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 (2). \u0412 \u043d\u0435\u0439  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97c\/cc2\/df9\/97ccc2df9361160a19d9531d152cd7bd.svg\" width=\"11\" height=\"12\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439. \u0414\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d97\/565\/7d7\/d975657d7acd80100f04cfcafe734153.svg\" width=\"11\" height=\"12\"\/> \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435, \u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b3c\/15b\/c48\/b3c15bc48f1919464c1536dfc8b4a43e.svg\" width=\"11\" height=\"12\"\/> \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u0447\u0442\u043e \u0440\u0430\u0432\u043d\u043e\u0441\u0438\u043b\u044c\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e learning rate. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u043a\u043e\u0435 \u0431\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/226\/cb2\/7ad\/226cb27adc6e2f8103975035234927f5.svg\" width=\"11\" height=\"12\"\/> \u043c\u044b \u043d\u0435 \u0431\u0440\u0430\u043b\u0438 &#8212; \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f (\u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 learning rate \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u043e \u0434\u0440\u0443\u0433\u0438\u043c \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c). \u041d\u043e \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u043d\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0eb\/d11\/bcd\/0ebd11bcd148753fe22ac6c290be6697.svg\" width=\"11\" height=\"12\"\/>?<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a41\/e5a\/4f9\/a41e5a4f965f984e15569ea9663aa8fa.svg\" width=\"11\" height=\"12\"\/> \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c, \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u043c \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5a\/300\/96f\/a5a30096f94e28cd1cb273f0f8c7f3d7.svg\" width=\"11\" height=\"12\"\/>. \u0417\u0430\u043c\u0435\u043d\u0438\u043c \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (28) \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_2(x, \\theta)\" alt=\"f_2(x, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c3\/ea8\/16b\/6c3ea816bc0fe593be519845a4cecd21.svg\" width=\"62\" height=\"22\"\/> \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74e\/501\/f5d\/74e501f5d4bb1d782282fd6f9136a74b.svg\" width=\"9\" height=\"12\"\/>. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f48\/7c0\/ca0\/f487c0ca0285965bbc95b3a6a16fafe5.svg\" width=\"9\" height=\"12\"\/> \u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-\\infty\" alt=\"-\\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e4f\/2d4\/328\/e4f2d432850eb4468de19d8a500a60af.svg\" width=\"34\" height=\"16\"\/> \u0438\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"+\\infty\" alt=\"+\\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b8\/957\/7e7\/3b89577e749745aca190998c5c11dcc2.svg\" width=\"34\" height=\"16\"\/> \u0432\u0441\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"+\\infty\" alt=\"+\\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b0\/06e\/a1a\/6b006ea1a734e9f63d4d7097eaacd299.svg\" width=\"34\" height=\"16\"\/> , \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-\\infty\" alt=\"-\\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b4f\/440\/941\/b4f44094100869c88712c85b76cca937.svg\" width=\"34\" height=\"16\"\/> \u0438 \u0434\u043b\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta, s\" alt=\"\\theta, s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/acb\/ad6\/ca0\/acbad6ca0993257df9d7e5cba8c6a701.svg\" width=\"27\" height=\"20\"\/>) \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0443\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0435\u0441\u0430, \u0438\u0434\u0443\u0449\u0438\u0435 \u043a \u043d\u0435\u0439\u0440\u043e\u043d\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c, \u043d\u0443\u043b\u0435\u0432\u044b\u043c\u0438 \u0438 \u043d\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c\u0438. \u0422\u043e\u0433\u0434\u0430 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430 bias&#8217;\u0443 \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c.<\/p>\n<p>\u0418\u043c\u0435\u0435\u0442 \u043b\u0438 \u044d\u0442\u043e \u0441\u043c\u044b\u0441\u043b? \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432 \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0434\u0430. \u041d\u043e \u0435\u0441\u043b\u0438 \u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/20a\/9b0\/bee\/20a9b0bee7ac7369eab2304dd247cf32.svg\" width=\"9\" height=\"12\"\/>, \u0442\u043e \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c (\u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043b\u0430 \u0432\u0441\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0442\u043e \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ae\/65c\/e57\/4ae65ce572bbe56500936626f58cb499.svg\" width=\"9\" height=\"12\"\/> \u0431\u0443\u0434\u0435\u0442 \u043d\u0438\u0437\u043a\u0438\u043c). \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 dropout, \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/07c\/d4a\/9da\/07cd4a9da610eb2e56cd2c8510c2291c.svg\" width=\"9\" height=\"12\"\/> \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043e \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043d\u0430\u043b\u0438\u0447\u0438\u044f dropout (\u0445\u043e\u0442\u044f \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043e\u043d \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430\u043c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0438\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435.<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 inductive conformal prediction (<a href=\"https:\/\/www.researchgate.net\/publication\/223460765_Algorithmic_Learning_in_a_Random_World\">Vovk et al., 2005<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2206.11810\">Sousa, 2022<\/a>). \u0412 \u043d\u0435\u043c \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u0432\u044b\u0448\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430, \u0447\u0442\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u043a \u043e\u0446\u0435\u043d\u043a\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438.<\/p>\n<hr\/>\n<p><em>\u041a\u043e\u043d\u0435\u0446 \u0447\u0430\u0441\u0442\u0438 1. \u0427\u0430\u0441\u0442\u044c 2, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u0441\u044f \u043a\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438.<\/em><\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p> <!----> <!----><\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/713920\/\"> https:\/\/habr.com\/ru\/company\/ods\/blog\/713920\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 <strong>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong>, <strong>\u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong>, <strong>i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430<\/strong> \u0438 <strong>\u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/strong>, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 <strong>\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430<\/strong> \u0438 <strong>\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/strong>, \u0438 \u043a\u0430\u043a \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 (\u0441\u0442\u0430\u0442\u044c\u044f \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u0441\u044f) \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438: \u0432 \u0447\u0435\u043c \u0440\u043e\u043b\u044c <strong>\u043a\u0440\u043e\u0441\u0441\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438<\/strong>, <strong>\u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 softmax<\/strong> \u0438 \u043a\u0430\u043a \u043a\u0440\u043e\u0441\u0441\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 &#171;\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c&#187; \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0442\u043e\u0436\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u043a\u0440\u043e\u0441\u0441\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.<\/p>\n<p>\u0412 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 (\u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f) \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043e\u0442 \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043a <strong>\u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u043c\u0443 \u0432\u044b\u0432\u043e\u0434\u0443<\/strong> \u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f\u043c, \u0442\u0430\u043a\u0438\u043c \u043a\u0430\u043a <strong>\u043c\u0435\u0442\u043e\u0434 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430<\/strong>, <strong>\u043c\u0435\u0442\u043e\u0434\u044b \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e<\/strong> \u0438 <strong>\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434<\/strong>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043d\u044f\u0442\u0438\u044f, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0434\u0431\u043e\u0440 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0440\u043e\u043b\u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<p>\u0411\u044b\u0432\u0430\u043b\u043e \u043b\u0438 \u0443 \u0432\u0430\u0441 \u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044f\u0441\u044c \u0432 \u043d\u0435\u043a\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0432\u0430\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435 \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435 \u0432\u0441\u044e \u0438\u043c\u0435\u044e\u0449\u0443\u044e\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b \u0447\u0442\u043e-\u0442\u043e \u0443\u0437\u043d\u0430\u0435\u0442\u0435 \u0438\u043b\u0438 \u0434\u043e\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0435\u0441\u044c, \u0438 \u043f\u0430\u0437\u043b \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0442\u0440\u043e\u0439\u043d\u0443\u044e \u0438 \u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u0443? \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0443\u044e \u0440\u043e\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0441\u044b\u0433\u0440\u0430\u0442\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041a\u0430\u043a \u043f\u0438\u0441\u0430\u043b \u041f\u044c\u0435\u0440-\u0421\u0438\u043c\u043e\u043d \u041b\u0430\u043f\u043b\u0430\u0441 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 XIX \u0432\u0435\u043a\u0430, &#171;\u0442\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 &#8212; \u044d\u0442\u043e \u0437\u0434\u0440\u0430\u0432\u044b\u0439 \u0441\u043c\u044b\u0441\u043b, \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445&#187;. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0438 \u043d\u0435 \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0442\u0435\u043e\u0440\u0438\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434. \u041d\u043e \u0441 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u044d\u0442\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u0442\u043e, \u0447\u0442\u043e \u0440\u0430\u043d\u044c\u0448\u0435 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0434\u0440\u0430\u0432\u044b\u043c \u0441\u043c\u044b\u0441\u043b\u043e\u043c, \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0442\u0440\u043e\u0433\u043e\u0441\u0442\u044c \u0438 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043b\u044e\u0431\u044b\u0435 \u0442\u0435\u043e\u0440\u0438\u0438 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0437\u044b\u0431\u043a\u043e\u0439 \u043f\u043e\u0447\u0432\u0435, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u043d\u0435 \u0447\u0438\u0441\u0442\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u0430 \u043d\u0430\u0443\u043a\u0430 \u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u0438\u0440\u0443. \u041b\u044e\u0431\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0430\u043a\u0441\u0438\u043e\u043c\u0430\u0445 \u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0442\u0430\u043a\u0438\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c \u0447\u0430\u0441\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f  &#171;\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432&#187;). \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f, \u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435 \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u0447\u0435\u0442\u043a\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430. \u041e\u0431 \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u0435 \u043c\u044b \u0442\u043e\u0436\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435.<\/p>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0438\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u043c \u0438 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044b\u043c, \u043d\u043e \u044d\u0442\u0438 \u0432\u0435\u0449\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445. \u0411\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0442\u0430\u043b\u0435\u0439 \u0438 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0434\u0435\u044f\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0433\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0443\u043f\u0443\u0449\u0435\u043d\u043e, \u0438 \u0432 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u0435\u043b\u043e\u0432.<\/p>\n<h3>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438<\/h3>\n<ul>\n<li>\n<p><strong>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u043c\u043e\u0434\u0435\u043b\u044f\u0445: \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 \u0435\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0434\u0430\u043d\u043d\u044b\u0445: \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0438 i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u0441\u043d\u043e\u0432\u0430 \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043c\u0435\u0442\u043e\u0434\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0438\u0437 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430, \u0438 \u0432\u0432\u0435\u0434\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412 \u043f\u044f\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435<\/strong> \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u0432\u0438\u0434\u0435 \u0444\u043e\u0440\u043c\u0443\u043b \u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u043e\u0439* \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430.<\/p>\n<p>1.\u00a0<a href=\"#1\">\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434<\/a><br \/>2.\u00a0<a href=\"#2\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.1.\u00a0<a href=\"#2.1\">\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.2.\u00a0<a href=\"#2.2\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.3.\u00a0<a href=\"#2.3\">\u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.4.\u00a0<a href=\"#2.4\">\u041e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a02.5.\u00a0<a href=\"#2.5\">\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0425\u044c\u044e\u0431\u0435\u0440\u0430<\/a>*<br \/>3.\u00a0<a href=\"#3\">\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.1.\u00a0<a href=\"#3.1\">\u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.2.\u00a0<a href=\"#3.2\">\u0414\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.3.\u00a0<a href=\"#3.3\">\u0413\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a>*<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.4.\u00a0<a href=\"#3.4\">i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a03.5.\u00a0<a href=\"#3.5\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b i.i.d.-\u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b<\/a>*<br \/>4.\u00a0<a href=\"#4\">\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a04.1.\u00a0<a href=\"#4.1\">\u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a04.2.\u00a0<a href=\"#4.2\">\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438<\/a><br \/>5.\u00a0<a href=\"#5\">\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/a>*<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a05.1.\u00a0<a href=\"#5.1\">\u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a>*<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a05.2.\u00a0<a href=\"#5.2\">\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438<\/a>*<\/p>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<h2>1. \u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434<\/h2>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 (\u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437) \u0447\u0430\u0441\u0442\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0443\u0440\u0441\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u043e \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u043e\u043d \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043a\u0430\u043a \u0434\u043e\u0441\u0430\u0434\u043d\u0430\u044f \u0437\u0430\u043d\u043e\u0437\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0438 \u0434\u0430\u043b\u0435\u0435 \u043d\u0438\u0433\u0434\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0442\u0435\u0441\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<ul>\n<li>\n<p><strong>\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/strong> \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0432\u043e\u0434\u044f \u043e\u0431\u0449\u0438\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0438\u0437 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434<\/strong> \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0446\u0435\u043d\u043a\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438 \u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0438 \u043e\u0431\u0449\u0438\u0445 \u0432\u044b\u0432\u043e\u0434\u043e\u0432 \u0438\u0437 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0431\u0449\u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b \u0438\u0437 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c (<em>generalization<\/em>), \u0438\u043b\u0438 <a href=\"https:\/\/plato.stanford.edu\/entries\/logic-inductive\/\">\u0438\u043d\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c<\/a> (<em>inductive inference<\/em>). \u0427\u0435\u043c \u0436\u0435 \u0442\u043e\u0433\u0434\u0430 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u044d\u0442\u0438 \u0434\u0432\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043d\u0430\u0443\u043a\u0438? \u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043f\u043b\u044b\u0432\u0447\u0430\u0442\u0430. \u0412\u043e\u043e\u0431\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c.<\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0446\u0435\u043b\u044c\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0432\u043e\u0434 (<strong>inference<\/strong>) \u043e \u0442\u043e\u043c, \u0432\u0435\u0440\u043d\u0430 \u043b\u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0438\u043b\u0438 \u043a\u0430\u043a \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u0430 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 (<strong>prediction<\/strong>) \u0438\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0447\u0435\u0433\u043e-\u043b\u0438\u0431\u043e (<a href=\"https:\/\/www.nature.com\/articles\/nmeth.4642\">Bzdok et al., 2018<\/a>), \u0445\u043e\u0442\u044f \u044d\u0442\u0438 \u0434\u0432\u0435 \u0446\u0435\u043b\u0438 \u0447\u0430\u0441\u0442\u043e \u0431\u043b\u0438\u0437\u043a\u0438. \u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0432 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u0449\u0435, \u043d\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u0438 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b \u0438  \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0432\u043e\u0434\u0430\u0445 (<a href=\"https:\/\/projecteuclid.org\/journals\/statistical-science\/volume-16\/issue-3\/Statistical-Modeling--The-Two-Cultures-with-comments-and-a\/10.1214\/ss\/1009213726.full\">Breiman, 2001<\/a>).<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p><a class=\"anchor\" name=\"2\" id=\"2\"><\/a><\/p>\n<h2>2. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/h2>\n<p><a class=\"anchor\" name=\"2.1\" id=\"2.1\"><\/a><\/p>\n<h3>2.1. \u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b<\/h3>\n<p>\u0417\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0442\u0438\u043f\u043e\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430: \u0432 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 (\u0438\u043d\u043e\u0433\u0434\u0430 \u0435\u0433\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 &#171;\u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0439&#187;), \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 &#8212; \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439. \u041e\u0442\u043b\u0438\u0447\u0438\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0432 \u0435\u0433\u043e \u0442\u0438\u043f\u0435 (<em>int<\/em> \u0438\u043b\u0438 <em>float<\/em>), \u0430 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439:<\/p>\n<ul>\n<li>\n<p>\u0412 <em>\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435<\/em> \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0443\u043b\u044c \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438, \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043e\u043d\u0438 \u043d\u0435\u043f\u043e\u0445\u043e\u0436\u0438 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 2 \u0432\u043c\u0435\u0441\u0442\u043e 1 \u0431\u0443\u0434\u0435\u0442 \u0432 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 10 \u0432\u043c\u0435\u0441\u0442\u043e 1.<\/p>\n<\/li>\n<li>\n<p>\u0412 <em>\u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0435<\/em> \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u043d\u0435\u043f\u043e\u0445\u043e\u0436\u0438 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 2-\u0439 \u043a\u043b\u0430\u0441\u0441 \u0432\u043c\u0435\u0441\u0442\u043e 1-\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0432 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u0447\u0442\u043e \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c 10-\u0439 \u043a\u043b\u0430\u0441\u0441 \u0432\u043c\u0435\u0441\u0442\u043e 1-\u0433\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e \u0438, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u044f \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 (\u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430) \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u044b \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0442\u0438\u043f\u0430\u043c\u0438. \u0412\u043e\u043e\u0431\u0449\u0435, \u043f\u0440\u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043a\u0430\u043a \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u043e\u043c\u0435\u0440 \u043a\u043b\u0430\u0441\u0441\u0430 \u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0442\u044c \u0435\u0433\u043e \u0434\u043e \u0446\u0435\u043b\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430. \u0420\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043c\u043e\u0436\u043d\u043e \u0441\u0432\u0435\u0441\u0442\u0438 \u043a \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u0422\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u0435-\u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0442\u0441\u044f, \u043d\u043e \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0438\u0436\u0435, \u0432\u043f\u0440\u043e\u0447\u0435\u043c \u0431\u044b\u0432\u0430\u044e\u0442 \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f (<a href=\"https:\/\/arxiv.org\/abs\/2112.10510\">M\u00fcller et al., 2021)<\/a>.<\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 (<a href=\"https:\/\/www.cs.kent.ac.uk\/people\/staff\/aaf\/pub_papers.dir\/DMKD-J-2010-Silla.pdf\">Silla and Freitas, 2011<\/a>) \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u043d\u0430 \u0434\u0435\u043b\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0438 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044e \u0432 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0438 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443, \u0447\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0432\u0447\u0430\u0440\u043a\u0443 \u0432\u043c\u0435\u0441\u0442\u043e \u043b\u0430\u0431\u0440\u0430\u0434\u043e\u0440\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u0447\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0431\u0435\u0433\u0435\u043c\u043e\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u043b\u0430\u0431\u0440\u0430\u0434\u043e\u0440\u0430. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430, \u0438 \u0435\u0435 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0447\u0435\u0441\u0442\u044c \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0411\u0443\u0434\u0435\u0442 \u043b\u0438 \u044d\u0442\u043e \u043f\u043e \u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438? \u0421\u043b\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c. \u0411\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f &#171;\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438&#187; \u0438 &#171;\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438&#187; \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0432\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 (\u0442\u0430\u043a \u0436\u0435 \u043a\u0430\u043a \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u043b\u043e\u0442\u043a\u043e\u043c, \u0442\u043e\u043f\u043e\u0440\u043e\u043c \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438) (<a href=\"https:\/\/arxiv.org\/abs\/1905.06220\">Bernholdt et al., 2019<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1905.13658\">Twomey et al., 2019<\/a>). \u0412\u0430\u0436\u043d\u043e \u043b\u0438\u0448\u044c \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430. \u042d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0432\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0439 (\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0439 \u0437\u0430\u0440\u0430\u043d\u0435\u0435) \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043a \u0447\u0435\u043c\u0443 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0435\u0449\u0435 \u043d\u0435 \u0440\u0430\u0437 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p><a class=\"anchor\" name=\"2.2\" id=\"2.2\"><\/a><\/p>\n<h3>2.2. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h3>\n<p>\u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 (\u0438 \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445) \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438  \u0438 \u0446\u0435\u043b\u0435\u0432\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438  \u0432 \u0432\u0438\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 . \u041e\u0431\u044b\u0447\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432 \u0445\u043e\u0434\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445  \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 . \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0442\u043e  &#8212; \u044d\u0442\u043e \u043d\u0435\u043a\u0438\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 \u0447\u0438\u0441\u0435\u043b. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  (\u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f) \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0440\u044b\u0448\u0435\u0447\u043a\u043e\u0439 (\u0446\u0438\u0440\u043a\u0443\u043c\u0444\u043b\u0435\u043a\u0441\u043e\u043c): .<\/p>\n<p>\u041e\u0431\u0449\u0430\u044f \u0438\u0434\u0435\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c <em>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435<\/em>  <em>\u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438<\/em> . \u0412 \u0442\u0435\u043e\u0440\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a  \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e . \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043a\u0430\u043a  &#8212; \u044d\u0442\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a &#171;\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c  \u043f\u0440\u0438  \u0438 &#187; (\u043f\u043e\u0437\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b).<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u0438 &#171;\u0441\u043e\u043c\u043d\u0435\u0432\u0430\u0442\u044c\u0441\u044f&#187; \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438. \u0412\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434, \u043c\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0442\u0435\u0440\u044f\u0435\u043c: \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439  \u043d\u0435\u0441\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0447\u0435\u043c \u0442\u043e\u0447\u0435\u0447\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 . \u0417\u0430\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0430\u0436\u043d\u043e\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e. \u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 , \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u0438: \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u0435\u0440\u043d\u043e\u043c\u0443 , \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043e\u0448\u0438\u0431\u043a\u0430. \u0422\u0430\u043a \u043c\u044b \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0434\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p><a class=\"anchor\" name=\"2.3\" id=\"2.3\"><\/a><\/p>\n<h3>2.3. \u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/h3>\n<p>\u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0441 \u043e\u0434\u043d\u0438\u043c \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043b\u043e\u0435\u043c \u0448\u0438\u0440\u0438\u043d\u043e\u0439 \u0432  \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0438 \u0445\u043e\u0442\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0435 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 = 10 \u0432\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u0422\u0430\u043a\u0430\u044f \u0441\u0435\u0442\u044c \u0438\u043c\u0435\u0435\u0442 2<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-344774","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/344774","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=344774"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/344774\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=344774"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=344774"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=344774"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}