{"id":446326,"date":"2025-01-28T09:00:55","date_gmt":"2025-01-28T09:00:55","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=446326"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2025-01-28T09:00:55","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=446326","title":{"rendered":"<span>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/c04\/459\/58f\/c0445958fa3c2a8a5728ee14528df773.jpeg\" alt=\"\u0427\u0442\u043e \u0432 \u0447\u0435\u0440\u043d\u043e\u043c \u044f\u0449\u0438\u043a\u0435???\" title=\"\u0427\u0442\u043e \u0432 \u0447\u0435\u0440\u043d\u043e\u043c \u044f\u0449\u0438\u043a\u0435???\" width=\"619\" height=\"453\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c04\/459\/58f\/c0445958fa3c2a8a5728ee14528df773.jpeg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u0427\u0442\u043e \u0432 \u0447\u0435\u0440\u043d\u043e\u043c \u044f\u0449\u0438\u043a\u0435???<\/figcaption><\/div>\n<\/figure>\n<h3>Top-down \u043f\u043e\u0434\u0445\u043e\u0434<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0431\u044b\u043b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u0435\u043d, \u0442\u043e, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0437\u0430\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/874346\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043c\u0435\u0442\u043a\u0435<\/a>\u00a0\u044f \u043e\u0431\u043e\u0448\u0435\u043b \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u043b\u043e\u043a \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0442\u043e\u0447\u043d\u0435\u0435 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0434\u0430\u043d\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u044f\u0449\u0438\u043a\u0430: \u0432\u043e\u0442 \u0442\u0443\u0442 \u0442\u0430\u043a\u0438\u0435-\u0442\u043e \u0432\u0445\u043e\u0434\u044b, \u0442\u0430\u043c \u0442\u0430\u043a\u0438\u0435-\u0442\u043e \u0432\u044b\u0445\u043e\u0434\u044b. \u0422\u0435\u043f\u0435\u0440\u044c, \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u043d\u0430\u0442\u043e\u043a\u0430\u043c: \u0427\u0442\u043e \u043b\u0435\u0436\u0438\u0442 \u0432 \u0447\u0435\u0440\u043d\u043e\u043c \u044f\u0449\u0438\u043a\u0435? \u0412 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u0440\u0430\u0439\u043d\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u043e\u0441\u0432\u044f\u0442\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u0435\u043c\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u041f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0445\u043e\u0434 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e \u0441\u0430\u043c\u044b\u0445 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0418\u0418 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u044b.<\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0432\u00a0<a href=\"https:\/\/d2l.ai\/chapter_attention-mechanisms-and-transformers\/index.html\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435<\/a>\u00a0\u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e\u0431 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0445 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0434\u0430\u043b\u0435\u0435 \u0443\u0436\u0435 \u0434\u0430\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0442\u0430\u043a\u0438\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u044d\u0442\u043e \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 bottom-up (\u0441\u043d\u0438\u0437\u0443 \u0432\u0432\u0435\u0440\u0445) \u043f\u043e\u0434\u0445\u043e\u0434. \u041a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u043d\u0442\u0430\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u043b\u0438\u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434 top-down (\u0441\u0432\u0435\u0440\u0445\u0443 \u0432\u043d\u0438\u0437), \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0438\u0434\u0435\u044e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0438 \u0434\u0430\u043b\u0435\u0435 \u043f\u043e\u0433\u0440\u0443\u0436\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u0432\u0442\u043e\u0440\u043e\u043c\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0443 \u044f \u043e\u0442\u0434\u0430\u044e \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0435: \u044f \u043d\u0430\u0447\u0430\u043b \u0441 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b\u00a0<em>Pointer Network<\/em>\u00a0\u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u0445\u043e\u0447\u0443 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u044f\u0445.<\/p>\n<p>\u041d\u0430 \u0425\u0430\u0431\u0440\u0435 \u0435\u0441\u0442\u044c \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f-\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/486358\/\" rel=\"noopener noreferrer nofollow\">Transformer \u0432 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445<\/a>, \u0433\u0434\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432, \u043d\u043e \u0432\u043e\u0442, \u0447\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0430\u043c \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<blockquote>\n<p>\u2026\u0427\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u00ab\u0437\u0430\u043f\u0440\u043e\u0441\u0430\u00bb, \u00ab\u043a\u043b\u044e\u0447\u0430\u00bb \u0438 \u00ab\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u00bb?<\/p>\n<\/blockquote>\n<blockquote>\n<p>\u042d\u0442\u043e \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u044c\u043c\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041f\u0440\u043e\u0447\u0438\u0442\u0430\u0432 \u043d\u0438\u0436\u0435, \u043a\u0430\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435, \u0447\u0442\u043e \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043e \u0440\u043e\u043b\u0438 \u044d\u0442\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u043d\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u2026<\/p>\n<\/blockquote>\n<p>\u041e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0432 \u0441\u0442\u0438\u043b\u0435: \u0432\u043e\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0430, \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u0430\u043a, \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0441\u043b\u043e\u0432\u043e \u043f\u0430\u0446\u0430\u043d\u0430. \u041b\u0438\u0447\u043d\u043e \u044f \u0432 \u044d\u0442\u043e\u043c \u0432\u0438\u0436\u0443 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043d\u0435\u0434\u043e\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0427\u0442\u043e \u0437\u0430 \u043a\u043b\u044e\u0447\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0437\u0430\u043f\u0440\u043e\u0441\u044b? \u0422\u0430\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445? \u041e\u0442\u043a\u0443\u0434\u0430 \u043e\u043d\u0430 \u0432\u0437\u044f\u043b\u0430\u0441\u044c?<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0441\u00a0<code>softmax<\/code>\u00a0? \u041a\u0430\u043a \u043e\u043d\u0430 \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u0430?<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u043b\u0438 \u0437\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f?<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0449\u0435 \u0440\u0430\u0437 \u043f\u043e\u0434\u0447\u0435\u0440\u043a\u0438\u0432\u0430\u044e, \u0441\u0442\u0430\u0442\u044c\u044f \u0431\u043e\u0434\u0440\u0430\u044f \u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f, \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044e, \u043d\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0430\u043c \u0440\u0430\u0441\u043a\u0440\u044b\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u043e.<\/p>\n<h3>\u041d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u0430\u0442\u0441\u043e\u043d\u0430<\/h3>\n<p>\u0412 \u0441\u0432\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u0421\u0442\u0438\u0432\u0435\u043d\u0430 \u0425\u043e\u043a\u043a\u0438\u043d\u0433\u0430 \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432 \u043a\u043d\u0438\u0433\u0435 \u043e\u0442\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u043e\u043b\u044c \u0432 \u0446\u0438\u0444\u0440\u0435 \u0435\u0433\u043e \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438\u00a0<em>\u041a\u0440\u0430\u0442\u043a\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/em>\u00a0\u0431\u044b\u043b\u043e \u0440\u0435\u0448\u0435\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E=mc^2\" alt=\"E=mc^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/348\/df1\/fda\/348df1fda1c5bbce4b35f40da54a5119.svg\" width=\"94\" height=\"25\"\/>. \u041b\u0438\u0447\u043d\u043e \u044f \u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b, \u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0435 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0445\u043e\u0442\u044f \u0438 \u0441\u043f\u0440\u044f\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434 \u0441\u043f\u043e\u0439\u043b\u0435\u0440.<\/p>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u043c\u0435\u044e\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439, \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0430\u0436\u0435 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u043e. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0442\u043e\u0442 \u0436\u0435 \u044d\u043a\u0441\u0435\u043b\u044c \u043d\u0435 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u043d\u0430 \u043f\u043b\u043e\u0445\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u0432\u043e\u0442 \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0438 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u043f\u043e\u043b\u043e\u0436\u0435\u043d \u0432 \u043e\u0441\u043d\u043e\u0432\u0443 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<details class=\"spoiler\">\n<summary>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0435\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m(x)\" alt=\"m(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/94b\/62e\/49a\/94b62e49a836b4022adbd107698fa7bd.svg\" width=\"54\" height=\"28\"\/>\u00a0\u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/25a\/a56\/66d\/25aa5666d2ade903a5021e0bca79dd71.svg\" width=\"21\" height=\"20\"\/>\u00a0\u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y\" alt=\"Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/405\/bc4\/6fe\/405bc46fe7928e8f59cae8e7430cfe2f.svg\" width=\"19\" height=\"19\"\/>. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a0\/955\/9e2\/6a09559e293fd619d7d52c922e4b9714.svg\" width=\"14\" height=\"14\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m(x) =E[Y \\mid X=x] = \\int y f_{Y \\mid X=x}(y) d y = \\frac{\\int y f(x, y) d y}{f_X(x)}\" alt=\"m(x) =E[Y \\mid X=x] = \\int y f_{Y \\mid X=x}(y) d y = \\frac{\\int y f(x, y) d y}{f_X(x)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8bb\/b7f\/e5f\/8bbb7fe5f65b0a25d9dc5d27bf5b269f.svg\" width=\"587\" height=\"63\"\/>\u200b<\/p>\n<p>\u042d\u0442\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0446\u0435\u043d\u0435\u043d\u0430 \u0438\u0437 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74f\/a40\/32f\/74fa4032fa561c8fb4d4f4799059fa70.svg\" width=\"13\" height=\"25\"\/>\u00a0\u0438 \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c\u00a0<a href=\"https:\/\/bookdown.org\/egarpor\/PM-UC3M\/npreg-npdens.html#eq:kde\" rel=\"noopener noreferrer nofollow\">\u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f<\/a>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{f}(x; h) = \\frac{1}{n} \\sum_{i=1}^n K_h(x - X_i),\" alt=\"\\hat{f}(x; h) = \\frac{1}{n} \\sum_{i=1}^n K_h(x - X_i),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed5\/c24\/c80\/ed5c24c800663e8847d991aa09bf7968.svg\" width=\"305\" height=\"70\"\/>,<\/p>\n<p>\u0433\u0434\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\u00a0\" alt=\"h\u00a0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af3\/a33\/dc7\/af3a33dc77c7afcdf1bdb58d423f9218.svg\" width=\"14\" height=\"20\"\/>\u2013 \u0448\u0438\u0440\u0438\u043d\u0430 \u043e\u043a\u043d\u0430 (bandwidth), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0430\u043a\u0436\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0448\u0438\u0440\u0438\u043d\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0433\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u044b. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u0441\u0435 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0442\u0430\u043d\u0446\u0443\u044e\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u043a\u043e\u0439 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/92e\/86c\/6a2\/92e86c6a2851443d751583204b4fea90.svg\" width=\"14\" height=\"20\"\/>. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{f}(x,y) = \\frac{1}{n}\\sum_{i=1}^{n} K_h(x-x_i) K_h(y-y_i)\" alt=\"\\hat{f}(x,y) = \\frac{1}{n}\\sum_{i=1}^{n} K_h(x-x_i) K_h(y-y_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c31\/9dd\/698\/c319dd698bf6089d9897405d4ba9039c.svg\" width=\"403\" height=\"70\"\/><\/p>\n<p>\u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\operatorname{\\hat E}(Y | X=x) = \\int \\frac{y \\sum_{i=1}^{n} K_h(x-x_i) K_h(y-y_i)}{\\sum_{i=1}^{n} K_h(x-x_i)} dy,\" alt=\"\\operatorname{\\hat E}(Y | X=x) = \\int \\frac{y \\sum_{i=1}^{n} K_h(x-x_i) K_h(y-y_i)}{\\sum_{i=1}^{n} K_h(x-x_i)} dy,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4d1\/7ac\/d3d\/4d17acd3da07700a89573207539d8cbe.svg\" width=\"534\" height=\"65\"\/><\/p>\n<p>\u0434\u0430\u043b\u0435\u0435 \u0432\u044b\u043d\u043e\u0441\u0438\u043c \u0432\u0441\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0435, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0435 \u043e\u0442\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0fb\/78d\/184\/0fb78d18450d16531454e8f210101375.svg\" width=\"12\" height=\"18\"\/>\u00a0\u0437\u0430 \u0437\u043d\u0430\u043a \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\operatorname{\\hat E}(Y | X=x) = \\frac{\\sum_{i=1}^{n} K_h(x-x_i) \\int y \\, K_h(y-y_i) dy}{\\sum_{i=1}^{n} K_h(x-x_i)},\" alt=\"\\operatorname{\\hat E}(Y | X=x) = \\frac{\\sum_{i=1}^{n} K_h(x-x_i) \\int y \\, K_h(y-y_i) dy}{\\sum_{i=1}^{n} K_h(x-x_i)},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/401\/db3\/72f\/401db372f3d077aa5b53d9158742bf65.svg\" width=\"530\" height=\"65\"\/><\/p>\n<p>\u0442\u0435\u043f\u0435\u0440\u044c, \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0434 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0434\u043b\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y_i\" alt=\"y_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf6\/47c\/483\/cf647c483a08398b6488430b32882c27.svg\" width=\"20\" height=\"18\"\/><em> <\/em>\u0438 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0438\u0434:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\operatorname{\\hat E}(Y | X=x) = \\frac{\\sum_{i=1}^{n} K_h(x-x_i) y_i}{\\sum_{i=1}^{n} K_h(x-x_i)},\" alt=\"\\operatorname{\\hat E}(Y | X=x) = \\frac{\\sum_{i=1}^{n} K_h(x-x_i) y_i}{\\sum_{i=1}^{n} K_h(x-x_i)},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a87\/856\/9ca\/a878569ca7243d1ee25a12d80e1da2a3.svg\" width=\"373\" height=\"65\"\/><\/p>\n<\/div>\n<\/details>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/strong><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{m}(x; 0, h) := \\sum_{i=1}^n \\frac{K_h(x - X_i)}{\\sum_{i=1}^n K_h(x - X_i)} Y_i = \\sum_{i=1}^n W_i^0(x) Y_i,\" alt=\"\\hat{m}(x; 0, h) := \\sum_{i=1}^n \\frac{K_h(x - X_i)}{\\sum_{i=1}^n K_h(x - X_i)} Y_i = \\sum_{i=1}^n W_i^0(x) Y_i,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65e\/dfc\/1fa\/65edfc1fa28c70333b5508f7a497e5e7.svg\" width=\"565\" height=\"70\"\/>,<\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W_i^0(x) := \\frac{K_h(x - X_i)}{\\sum_{i=1}^n K_h(x - X_i)}.\" alt=\"W_i^0(x) := \\frac{K_h(x - X_i)}{\\sum_{i=1}^n K_h(x - X_i)}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c50\/776\/f12\/c50776f12cb3ba64f0e69934c4344c51.svg\" width=\"308\" height=\"63\"\/><\/p>\n<p>\u0418\u043c\u0435\u0435\u043c \u043e\u0446\u0435\u043d\u043a\u0443 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y_1,...Y_n\" alt=\"Y_1,...Y_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a46\/dc4\/2c0\/a46dc42c0a42212cad5f9c7e4e5aae87.svg\" width=\"95\" height=\"24\"\/>\u200b\u00a0\u043f\u043e \u0432\u0435\u0441\u0430\u043c\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W^n_{i=1}(x)\" alt=\"W^n_{i=1}(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/710\/303\/508\/7103035089eb01180343539463dfb7d2.svg\" width=\"86\" height=\"29\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/730\/061\/9ff\/7300619ff74b17ca90afb4d3bef0fecf.svg\" width=\"14\" height=\"14\"\/>. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043e\u0446\u0435\u043d\u043a\u0430 \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y_1,...Y_n\" alt=\"Y_1,...Y_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/22d\/9d8\/e23\/22d9d8e2386d9b6c97fa83bbe49ab463.svg\" width=\"95\" height=\"24\"\/>\u00a0\u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X=x\" alt=\"X=x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c51\/e22\/b33\/c51e22b3360f106852c4f6cc492d8ffc.svg\" width=\"67\" height=\"20\"\/>\u00a0\u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0446\u0435\u043d\u043a\u0430 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K_h\u200b\" alt=\"K_h\u200b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/48d\/0b4\/7fd\/48d0b47fd28939a986e9e016d2921ea4.svg\" width=\"33\" height=\"23\"\/>. \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat y\" alt=\"\\hat y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/832\/db9\/357\/832db9357b423c54f4312fde9005ab72.svg\" width=\"14\" height=\"24\"\/>\u200b\u0434\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X=x\" alt=\"X=x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/68e\/e24\/e2c\/68ee24e2c0a0e6f0a649d74ef06f0208.svg\" width=\"67\" height=\"20\"\/>, \u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0438\u0441\u043a\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u0433\u0434\u0435-\u0442\u043e \u0432\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y_1,...Y_n\" alt=\"Y_1,...Y_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3d\/68e\/8ac\/d3d68e8ac535efedb10f8f49abe277b4.svg\" width=\"95\" height=\"24\"\/>\u200b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u043a\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\hat y\" alt=\"\\hat y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/13a\/13ada0b94f610ad731b13dd5262af022.svg\" width=\"auto\" height=\"auto\"\/>\u200b\u00a0\u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdd\/4eb\/7b7\/cdd4eb7b713aa8c528be53378121763f.svg\" width=\"14\" height=\"14\"\/>.<\/p>\n<h3>\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0435\u0440\u0448\u0438\u0441\u0442\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0438 \u0432\u043e\u0442 \u0443\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0442\u044f\u043d\u0443\u0442\u044c \u043c\u043e\u0441\u0442\u0438\u043a \u043e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043a \u043c\u0438\u0440\u0443 \u0418\u0418, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0439 \u043d\u0430 \u043a\u043e\u043d\u0447\u0438\u043a\u0430\u0445 \u043f\u0430\u043b\u044c\u0446\u0435\u0432 \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u043d\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c. \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e \u0432\u043e\u043a\u0440\u0443\u0433 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<em>\u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430<\/em>\u00a0\u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 \u043d\u0430 R.<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<pre><code class=\"r\">library(torch) # \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 Torch, \u043d\u0443\u0436\u043d\u044b\u0439 \u0434\u043b\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 library(ggplot2) # \u0440\u0438\u0441\u043e\u0432\u0430\u043b\u043a\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432   library(patchwork) # \u0434\u043b\u044f \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0439 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432  # \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 gaussian &lt;- function(x) torch_exp(-x**2 \/ 2)  boxcar &lt;- function(x) torch_abs(x) &lt; 1 constant &lt;- function(x) 1 + 0 * x epanechikov &lt;- function(x) torch_max(1 - torch_abs(x), other = torch_zeros_like(x)) kernel &lt;- list(`gaussian`, `boxcar`, `constant`, `epanechikov`) kernel_names &lt;- c(\"gaussian\", \"boxcar\", \"constant\", \"epanechikov\")  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0447\u0442\u043e\u0431\u044b \u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 plts &lt;- mapply(kernel, kernel_names, SIMPLIFY = F, FUN=function(f, names){   ggplot() +      xlim(-2, 2) +     geom_function(fun = \\(x)f(x) |&gt; torch_tensor(dtype = torch_float()) |&gt; as_array()) +     labs(title = names) }) Reduce(`+`, plts) + # \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439   plot_annotation(title = \"\u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0445 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\")<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/478\/775\/85a\/47877585ae52b7f6aaa4cf7015d61f5e.png\" width=\"1440\" height=\"960\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/478\/775\/85a\/47877585ae52b7f6aaa4cf7015d61f5e.png\"\/><\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0442\u0440\u0438\u0433\u043e\u043d\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u043d\u0443\u0441\u043e\u0438\u0434\u044b \u0438 \u043a \u043d\u0435\u0439 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u043c\u0435\u0448\u0430\u043d \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b \u0448\u0443\u043c. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438:<\/p>\n<ol>\n<li>\n<p><strong>\u041a\u043b\u044e\u0447\u0430\u043c\u0438 (keys)<\/strong>\u00a0\u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 (\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435)\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b6\/5ee\/972\/0b65ee972a66b7396cf32a222a582e97.svg\" width=\"14\" height=\"14\"\/><\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 (values)<\/strong>\u00a0\u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 (\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435)\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e4\/84d\/d96\/1e484dd9621b6aabccd0e330ce9e126f.svg\" width=\"12\" height=\"18\"\/><\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 (queries)<\/strong>\u00a0\u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u044b\u0435\u00a0x<em>x<\/em>\u00a0\u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0443\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat y\" alt=\"\\hat y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/84f\/99d\/15b\/84f99d15b070f6424ca12106e2c577ba.svg\" width=\"14\" height=\"24\"\/><\/p>\n<\/li>\n<\/ol>\n<p>\u0412\u043e\u0442 \u043e\u043d\u043e \u043a\u0430\u043a, \u041c\u0438\u0445\u0430\u043b\u044b\u0447, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0432\u0441\u0435 \u044d\u0442\u0438 \u043a\u043b\u044e\u0447\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0437\u0430\u0435\u0445\u0430\u043b\u0438 \u043a \u043d\u0430\u043c \u0432 \u0418\u0418 \u0438\u0437 \u043c\u0438\u0440\u0430 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \ud83d\udc46<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439\u00a0<em>\u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430<\/em>\u00a0\u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat y\" alt=\"\\hat y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/060\/b22\/8b5\/060b228b54d709f7b65bf663fa0ce977.svg\" width=\"14\" height=\"24\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c:<\/p>\n<pre><code class=\"r\"># \u0413\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438  f &lt;- \\(x) 2 * torch_sin(x) + x n = 40 # \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0437\u0430\u043f\u0440\u043e\u0441\u044b x_train = torch_sort(torch_rand(n) * 5)[[1]]   # keys - \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 x \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 + \u0448\u0443\u043c y_train = f(x_train) + torch_randn(n)          # values - \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 y \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 + \u0448\u0443\u043c x_val = torch_arange(0, 5, 0.1)                # queries - \u043d\u043e\u0432\u044b\u0435 x \u0434\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 y_val = f(x_val)                               # truth - \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 y \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 nadaraya_watson &lt;- function(x_train, y_train, x_val, kernel){   # \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u043f\u0430\u0440 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432   dists = x_train$reshape(c(-1, 1)) - x_val$reshape(c(1, -1)) # [keys, values] = [40, 51]   # \u042f\u0434\u0435\u0440\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430: \u043a\u0430\u0436\u0434\u0430\u044f \u043a\u043e\u043b\u043e\u043d\u043a\u0430\/\u0441\u0442\u0440\u043e\u043a\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u0443\/\u043a\u043b\u044e\u0447\u0443   k = kernel(dists) |&gt; torch_tensor(dtype = torch_float()) # \u0440\u0430\u0441\u0447\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438   # \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e \u043a\u043b\u044e\u0447\u0430\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430   attention_w = k\/k$sum(1) # \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 W   y_hat = torch_matmul(y_train, attention_w) # \u041c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430 y (values)      list(y_hat, attention_w) }  # \u0422\u0430\u0431\u043b\u0438\u0447\u043a\u0430 \u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 truth_df &lt;- data.frame(x_train=as_array(x_train), y_train=as_array(y_train))  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 fit_plts &lt;- mapply(kernel, kernel_names, SIMPLIFY = F, FUN=function(f, names){   data.frame(x_val=as_array(x_val), y_val = as_array(y_val), y_train=nadaraya_watson(x_train, y_train, x_val, kernel =f)[[1]] |&gt; as_array()) |&gt;          ggplot() +      geom_line(aes(x_val, y_train, col = \"model\"), lty = 5) +      geom_line(aes(x_val, y_val, col = \"truth\")) +      geom_point(data = truth_df, aes(x_train, y_train), alpha = .3) +     scale_color_manual(values = c(\"model\" = \"firebrick\", \"truth\" = \"white\")) +     labs(title = names, col=\"\") })  # \u041d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 Reduce(`+`, fit_plts) + plot_layout(guides = \"collect\") +    plot_annotation(title = \"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\")<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e9b\/23d\/d33\/e9b23dd330a18d8b7494bfb2695d44ba.png\" width=\"1440\" height=\"960\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e9b\/23d\/d33\/e9b23dd330a18d8b7494bfb2695d44ba.png\"\/><\/figure>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435 \u043e\u0446\u0435\u043d\u043a\u0438, \u0432\u043f\u0440\u043e\u0447\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0432 \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/453\/611\/fd6\/453611fd6b1f6407a31a0b856086f577.svg\" width=\"14\" height=\"20\"\/>\u00a0\u2013 \u0448\u0438\u0440\u0438\u043d\u0430 \u043e\u043a\u043d\u0430 (bandwidth), \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u044d\u0442\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0434\u0430 \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Bias%E2%80%93variance_tradeoff\" rel=\"noopener noreferrer nofollow\">Bias\u2013variance tradeoff<\/a>.<\/p>\n<p>\u0412 \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432\u0435\u0441\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W^n_{i=1}(x)\" alt=\"W^n_{i=1}(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/903\/83a\/a70\/90383aa70864b59de53509365c9b1ca6.svg\" width=\"86\" height=\"29\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430\u043c\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attention weights)<\/p>\n<pre><code class=\"r\"># \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f  attn_plts &lt;- mapply(kernel, kernel_names, SIMPLIFY = F, FUN=function(f, names){   nadaraya_watson(x_train, y_train, x_val, kernel =f)[[2]]  |&gt;          as_array() |&gt;      as.data.frame(row.names = T) |&gt;      dplyr::mutate(keys = seq_len(n)) |&gt;      tidyr::pivot_longer(!keys, names_to = \"queries\") |&gt;     dplyr::mutate(queries=gsub(\"V\", \"\", queries) |&gt; as.numeric()) |&gt;      ggplot() +      geom_raster(aes(queries, keys, fill = value)) +      scale_fill_viridis_c() +      scale_y_reverse() +     labs(title = names) })  # \u041d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 Reduce(`+`, attn_plts) +    plot_annotation(title = \"\u041c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\")<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e79\/2ad\/a8e\/e792ada8e9f16b974bba97d3b712d9a7.png\" width=\"1440\" height=\"960\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e79\/2ad\/a8e\/e792ada8e9f16b974bba97d3b712d9a7.png\"\/><\/figure>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0439 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442. \u0414\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043a\u0440\u043e\u043c\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439 \u0438\u043c\u0435\u0435\u043c: \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a \u043a\u043b\u044e\u0447\u0443, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438 \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043e\u0442 \u043c\u0430\u043b\u043e\u0433\u043e \u043a \u0431\u043e\u043b\u044c\u0448\u0435\u043c\u0443.<\/p>\n<h3>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/h3>\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W^n_{i=1}(x) = \\alpha (q,k_i)\" alt=\"W^n_{i=1}(x) = \\alpha (q,k_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/426\/cf2\/12a\/426cf212a998df72ba820557d4080c02.svg\" width=\"196\" height=\"29\"\/>, \u0438 \u0431\u0443\u0434\u0435\u043c \u0435\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043b\u0443\u0447\u0430\u0439 \u0434\u043b\u044f \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha(q, k_i)=-\\frac{1}{2}||q-k_i||^2=q^{\\top} k_i-\\frac{1}{2}||k_i||^2-\\frac{1}{2}||q||^2\" alt=\"\\alpha(q, k_i)=-\\frac{1}{2}||q-k_i||^2=q^{\\top} k_i-\\frac{1}{2}||k_i||^2-\\frac{1}{2}||q||^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b4\/87d\/ab7\/2b487dab76367737e9ac4d5ee0c3e7ba.svg\" width=\"539\" height=\"52\"\/><\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0447\u043b\u0435\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc6\/13d\/264\/bc613d264c8af390b1a12341143e20e5.svg\" width=\"11\" height=\"18\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043d \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0430\u0440\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(q, k_i)\" alt=\"(q, k_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7aa\/56a\/26d\/7aa56a26d76d72048aa1b66182414ea6.svg\" width=\"62\" height=\"28\"\/>. \u041f\u0440\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a \u0435\u0434\u0438\u043d\u0438\u0446\u0435 (\u0441\u043c\u043e\u0442\u0440\u0438 \u043d\u0438\u0436\u0435\u00a0<code>softmax<\/code>), \u044d\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (batch \u0438\u043b\u0438 layer) \u043d\u043e\u0440\u043c\u044b\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" ||k_i||\" alt=\" ||k_i||\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6cf\/082\/5e6\/6cf0825e6ce66e0ee31f72af33ab9cc9.svg\" width=\"48\" height=\"28\"\/>\u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u043c\u0438. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u044d\u0442\u043e\u0442 \u0447\u043b\u0435\u043d \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0438\u0437 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(q,k_i)\" alt=\"(q,k_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e0f\/c02\/7f3\/e0fc027f3e479f835902ee6f74e0bc21.svg\" width=\"62\" height=\"28\"\/>.<\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0434\u043b\u044f \u0438\u0437\u0431\u0435\u0436\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0445\u043e\u0440\u043e\u0448\u043e \u0431\u044b \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0432\u0441\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u00a0q<em>q<\/em>\u00a0\u0438 \u043a\u043b\u044e\u0447\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k\" alt=\"k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/89f\/90e\/24e\/89f90e24e20c007876ddb27f43e03080.svg\" width=\"13\" height=\"20\"\/>\u00a0\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u0441 \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0438 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439. \u0421\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0442\u0430\u043a\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u0440\u0430\u0432\u043d\u0443\u044e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/064\/b36\/395\/064b363959fcc17d604936486d4235b1.svg\" width=\"13\" height=\"20\"\/>. \u0427\u0442\u043e\u0431\u044b \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u0440\u0430\u0432\u043d\u043e\u0439 \u043e\u0434\u043d\u043e\u043c\u0443 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/43a\/9f8\/46a\/43a9f846a028406c4fb6b4134cd54e66.svg\" width=\"13\" height=\"20\"\/>\u200b. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u0441\u0442\u0430\u0442\u0438 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha(q, k_i)=q^T k_i \/ \\sqrt{d}\" alt=\"\\alpha(q, k_i)=q^T k_i \/ \\sqrt{d}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f32\/ec9\/553\/f32ec9553e785cb7a91cd4767930ac4c.svg\" width=\"202\" height=\"31\"\/>\u200b<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432\u0435\u0441\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u00a0\u03b1<em>\u03b1<\/em>\u00a0\u0432\u0441\u0451 \u0435\u0449\u0451 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438\u00a0<code>softmax<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u043d\u0430\u043f\u043e\u043c\u043d\u044e, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f. \u0412\u044b\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438: \u0435\u0435 \u043c\u043d\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438 \u043e\u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 \u043e\u0442 0 \u0434\u043e 1. \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f (<em>Dot Product Attention<\/em>) \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha(q, k_i)=softmax(\\alpha(q, k_i))=\\frac{\\exp (q^T k_i \/ \\sqrt{d})}{\\sum_{j=1} \\exp (q^T k_j \/ \\sqrt{d})}\" alt=\"\\alpha(q, k_i)=softmax(\\alpha(q, k_i))=\\frac{\\exp (q^T k_i \/ \\sqrt{d})}{\\sum_{j=1} \\exp (q^T k_j \/ \\sqrt{d})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae7\/f73\/ac9\/ae7f73ac969aab415322c65211f8d6f9.svg\" width=\"550\" height=\"74\"\/><\/p>\n<h3>\u0412 \u0438\u0442\u043e\u0433\u0435<\/h3>\n<p>\u0418\u0442\u0430\u043a, \u0432 \u044d\u0442\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u044f\u0441\u043d\u0438\u0442\u044c \u0441\u0443\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043d\u043e \u0441 \u0438\u043c\u0435\u044e\u0449\u0435\u043c\u0441\u044f \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u044f\u043c\u0438 (\u0437\u043d\u0430\u043d\u0438\u044f\u043c\u0438) \u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 (<em>\u043a\u043b\u044e\u0447\u0435\u0439<\/em>) \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 (<em>\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/em>) \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445\u00a0<em>\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432<\/em>\u00a0\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f \u0434\u043b\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u043e\u044f\u0441\u043d\u044f\u044e\u0449\u0430\u044f \u0441\u0443\u0442\u044c \u0432\u0445\u043e\u0434\u043e\u0432 \u0438 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u044d\u0442\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0433\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438\u00a0<em>\u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430<\/em>\u00a0\u0434\u043b\u044f \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0442\u043e \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445.<\/p>\n<hr\/>\n<p><strong>\u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/strong><\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/d2l.ai\/chapter_attention-mechanisms-and-transformers\/attention-pooling.html\" rel=\"noopener noreferrer nofollow\">Attention Pooling by Similarity<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/bookdown.org\/egarpor\/PM-UC3M\/npreg-kre.html\" rel=\"noopener noreferrer nofollow\">Kernel regression estimation<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/habr.com\/ru\/articles\/486358\/\" rel=\"noopener noreferrer nofollow\">Transformer \u0432 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/dkibalnikov\/ai_optimization\/blob\/main\/algorithms\/nadaraya_watson_intuition.R\" rel=\"noopener noreferrer nofollow\">AI optimization project<\/a><\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p>\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b <a href=\"https:\/\/investcookies.ru\/post\/prosto_o_vnimanii\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043c\u0435\u0442\u043a\u0438<\/a><\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/877000\/\"> https:\/\/habr.com\/ru\/articles\/877000\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption>\u0427\u0442\u043e \u0432 \u0447\u0435\u0440\u043d\u043e\u043c \u044f\u0449\u0438\u043a\u0435???<\/figcaption><\/div>\n<\/figure>\n<h3>Top-down \u043f\u043e\u0434\u0445\u043e\u0434<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0431\u044b\u043b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u0435\u043d, \u0442\u043e, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0437\u0430\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/874346\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043c\u0435\u0442\u043a\u0435<\/a>\u00a0\u044f \u043e\u0431\u043e\u0448\u0435\u043b \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u043b\u043e\u043a \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0442\u043e\u0447\u043d\u0435\u0435 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0434\u0430\u043d\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u044f\u0449\u0438\u043a\u0430: \u0432\u043e\u0442 \u0442\u0443\u0442 \u0442\u0430\u043a\u0438\u0435-\u0442\u043e \u0432\u0445\u043e\u0434\u044b, \u0442\u0430\u043c \u0442\u0430\u043a\u0438\u0435-\u0442\u043e \u0432\u044b\u0445\u043e\u0434\u044b. \u0422\u0435\u043f\u0435\u0440\u044c, \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u043d\u0430\u0442\u043e\u043a\u0430\u043c: \u0427\u0442\u043e \u043b\u0435\u0436\u0438\u0442 \u0432 \u0447\u0435\u0440\u043d\u043e\u043c \u044f\u0449\u0438\u043a\u0435? \u0412 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u0440\u0430\u0439\u043d\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u043e\u0441\u0432\u044f\u0442\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u0435\u043c\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u041f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0445\u043e\u0434 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e \u0441\u0430\u043c\u044b\u0445 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0418\u0418 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u044b.<\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0432\u00a0<a href=\"https:\/\/d2l.ai\/chapter_attention-mechanisms-and-transformers\/index.html\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435<\/a>\u00a0\u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e\u0431 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0445 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0434\u0430\u043b\u0435\u0435 \u0443\u0436\u0435 \u0434\u0430\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0442\u0430\u043a\u0438\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u044d\u0442\u043e \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0445 bottom-up (\u0441\u043d\u0438\u0437\u0443 \u0432\u0432\u0435\u0440\u0445) \u043f\u043e\u0434\u0445\u043e\u0434. \u041a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u043d\u0442\u0430\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u043b\u0438\u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434 top-down (\u0441\u0432\u0435\u0440\u0445\u0443 \u0432\u043d\u0438\u0437), \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0438\u0434\u0435\u044e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0438 \u0434\u0430\u043b\u0435\u0435 \u043f\u043e\u0433\u0440\u0443\u0436\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u0432\u0442\u043e\u0440\u043e\u043c\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0443 \u044f \u043e\u0442\u0434\u0430\u044e \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0435: \u044f \u043d\u0430\u0447\u0430\u043b \u0441 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b\u00a0<em>Pointer Network<\/em>\u00a0\u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u0445\u043e\u0447\u0443 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u044f\u0445.<\/p>\n<p>\u041d\u0430 \u0425\u0430\u0431\u0440\u0435 \u0435\u0441\u0442\u044c \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f-\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/486358\/\" rel=\"noopener noreferrer nofollow\">Transformer \u0432 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445<\/a>, \u0433\u0434\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432, \u043d\u043e \u0432\u043e\u0442, \u0447\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0430\u043c \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<blockquote>\n<p>\u2026\u0427\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u00ab\u0437\u0430\u043f\u0440\u043e\u0441\u0430\u00bb, \u00ab\u043a\u043b\u044e\u0447\u0430\u00bb \u0438 \u00ab\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u00bb?<\/p>\n<\/blockquote>\n<blockquote>\n<p>\u042d\u0442\u043e \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u044c\u043c\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041f\u0440\u043e\u0447\u0438\u0442\u0430\u0432 \u043d\u0438\u0436\u0435, \u043a\u0430\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435, \u0447\u0442\u043e \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043e \u0440\u043e\u043b\u0438 \u044d\u0442\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u043d\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u2026<\/p>\n<\/blockquote>\n<p>\u041e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0432 \u0441\u0442\u0438\u043b\u0435: \u0432\u043e\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0430, \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u0430\u043a, \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0441\u043b\u043e\u0432\u043e \u043f\u0430\u0446\u0430\u043d\u0430. \u041b\u0438\u0447\u043d\u043e \u044f \u0432 \u044d\u0442\u043e\u043c \u0432\u0438\u0436\u0443 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043d\u0435\u0434\u043e\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0427\u0442\u043e \u0437\u0430 \u043a\u043b\u044e\u0447\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0437\u0430\u043f\u0440\u043e\u0441\u044b? \u0422\u0430\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445? \u041e\u0442\u043a\u0443\u0434\u0430 \u043e\u043d\u0430 \u0432\u0437\u044f\u043b\u0430\u0441\u044c?<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0441\u00a0<code>softmax<\/code>\u00a0? \u041a\u0430\u043a \u043e\u043d\u0430 \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u0430?<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u043b\u0438 \u0437\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f?<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0449\u0435 \u0440\u0430\u0437 \u043f\u043e\u0434\u0447\u0435\u0440\u043a\u0438\u0432\u0430\u044e, \u0441\u0442\u0430\u0442\u044c\u044f \u0431\u043e\u0434\u0440\u0430\u044f \u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f, \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044e, \u043d\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0430\u043c \u0440\u0430\u0441\u043a\u0440\u044b\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u043e.<\/p>\n<h3>\u041d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u0430\u0442\u0441\u043e\u043d\u0430<\/h3>\n<p>\u0412 \u0441\u0432\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u0421\u0442\u0438\u0432\u0435\u043d\u0430 \u0425\u043e\u043a\u043a\u0438\u043d\u0433\u0430 \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432 \u043a\u043d\u0438\u0433\u0435 \u043e\u0442\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u043e\u043b\u044c \u0432 \u0446\u0438\u0444\u0440\u0435 \u0435\u0433\u043e \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438\u00a0<em>\u041a\u0440\u0430\u0442\u043a\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/em>\u00a0\u0431\u044b\u043b\u043e \u0440\u0435\u0448\u0435\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443\u00a0. \u041b\u0438\u0447\u043d\u043e \u044f \u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b, \u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0435 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0445\u043e\u0442\u044f \u0438 \u0441\u043f\u0440\u044f\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434 \u0441\u043f\u043e\u0439\u043b\u0435\u0440.<\/p>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u043c\u0435\u044e\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439, \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0430\u0436\u0435 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u043e. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0442\u043e\u0442 \u0436\u0435 \u044d\u043a\u0441\u0435\u043b\u044c \u043d\u0435 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u043d\u0430 \u043f\u043b\u043e\u0445\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u0432\u043e\u0442 \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u043c\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0438 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u043f\u043e\u043b\u043e\u0436\u0435\u043d \u0432 \u043e\u0441\u043d\u043e\u0432\u0443 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<details class=\"spoiler\">\n<summary>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0435\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e\u00a0\u00a0\u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0\u00a0\u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439\u00a0. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u0441\u043b\u043e\u0432\u043d\u0443\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u00a0, \u0442\u043e \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e:<\/p>\n<p>\u200b<\/p>\n<p>\u042d\u0442\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0446\u0435\u043d\u0435\u043d\u0430 \u0438\u0437 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e\u00a0\u00a0\u0438 \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c\u00a0<a href=\"https:\/\/bookdown.org\/egarpor\/PM-UC3M\/npreg-npdens.html#eq:kde\" rel=\"noopener noreferrer nofollow\">\u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f<\/a>:<\/p>\n<p>,<\/p>\n<p>\u0433\u0434\u0435\u00a0\u2013 \u0448\u0438\u0440\u0438\u043d\u0430 \u043e\u043a\u043d\u0430 (bandwidth), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0430\u043a\u0436\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0448\u0438\u0440\u0438\u043d\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0433\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u044b. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u0441\u0435 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0442\u0430\u043d\u0446\u0443\u044e\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u043a\u043e\u0439 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435\u00a0. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445:<\/p>\n<\/p>\n<p>\u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e:<\/p>\n<\/p>\n<p>\u0434\u0430\u043b\u0435\u0435 \u0432\u044b\u043d\u043e\u0441\u0438\u043c \u0432\u0441\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0435, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0435 \u043e\u0442\u00a0\u00a0\u0437\u0430 \u0437\u043d\u0430\u043a \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u0430:<\/p>\n<\/p>\n<p>\u0442\u0435\u043f\u0435\u0440\u044c, \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0434 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0434\u043b\u044f\u00a0<em> <\/em>\u0438 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0438\u0434:<\/p>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/strong><\/p>\n<p>,<\/p>\n<p>\u0433\u0434\u0435<\/p>\n<\/p>\n<p>\u0418\u043c\u0435\u0435\u043c \u043e\u0446\u0435\u043d\u043a\u0443 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0\u200b\u00a0\u043f\u043e \u0432\u0435\u0441\u0430\u043c\u00a0, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\u00a0. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043e\u0446\u0435\u043d\u043a\u0430 \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435\u00a0\u00a0\u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\u00a0\u00a0\u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0446\u0435\u043d\u043a\u0430 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438\u00a0. \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0\u200b\u0434\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e\u00a0, \u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0438\u0441\u043a\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u0433\u0434\u0435-\u0442\u043e \u0432\u00a0\u200b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u043a\u00a0\u200b\u00a0\u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u00a0.<\/p>\n<h3>\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0435\u0440\u0448\u0438\u0441\u0442\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0438 \u0432\u043e\u0442 \u0443\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0442\u044f\u043d\u0443\u0442\u044c \u043c\u043e\u0441\u0442\u0438\u043a \u043e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043a \u043c\u0438\u0440\u0443 \u0418\u0418, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0439 \u043d\u0430 \u043a\u043e\u043d\u0447\u0438\u043a\u0430\u0445 \u043f\u0430\u043b\u044c\u0446\u0435\u0432 \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u043d\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c. \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e \u0432\u043e\u043a\u0440\u0443\u0433 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<em>\u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430<\/em>\u00a0\u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 \u043d\u0430 R.<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<pre><code class=\"r\">library(torch) # \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 Torch, \u043d\u0443\u0436\u043d\u044b\u0439 \u0434\u043b\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 library(ggplot2) # \u0440\u0438\u0441\u043e\u0432\u0430\u043b\u043a\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432   library(patchwork) # \u0434\u043b\u044f \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0439 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432  # \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 gaussian &lt;- function(x) torch_exp(-x**2 \/ 2)  boxcar &lt;- function(x) torch_abs(x) &lt; 1 constant &lt;- function(x) 1 + 0 * x epanechikov &lt;- function(x) torch_max(1 - torch_abs(x), other = torch_zeros_like(x)) kernel &lt;- list(`gaussian`, `boxcar`, `constant`, `epanechikov`) kernel_names &lt;- c(\"gaussian\", \"boxcar\", \"constant\", \"epanechikov\")  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0447\u0442\u043e\u0431\u044b \u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 plts &lt;- mapply(kernel, kernel_names, SIMPLIFY = F, FUN=function(f, names){   ggplot() +      xlim(-2, 2) +     geom_function(fun = \\(x)f(x) |&gt; torch_tensor(dtype = torch_float()) |&gt; as_array()) +     labs(title = names) }) Reduce(`+`, plts) + # \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439   plot_annotation(title = \"\u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0445 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\")<\/code><\/pre>\n<figure class=\"full-width\"><\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0442\u0440\u0438\u0433\u043e\u043d\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u043d\u0443\u0441\u043e\u0438\u0434\u044b \u0438 \u043a \u043d\u0435\u0439 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u043c\u0435\u0448\u0430\u043d \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b \u0448\u0443\u043c. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438:<\/p>\n<ol>\n<li>\n<p><strong>\u041a\u043b\u044e\u0447\u0430\u043c\u0438 (keys)<\/strong>\u00a0\u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 (\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435)\u00a0<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 (values)<\/strong>\u00a0\u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 (\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435)\u00a0<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 (queries)<\/strong>\u00a0\u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u044b\u0435\u00a0x<em>x<\/em>\u00a0\u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0443\u00a0<\/p>\n<\/li>\n<\/ol>\n<p>\u0412\u043e\u0442 \u043e\u043d\u043e \u043a\u0430\u043a, \u041c\u0438\u0445\u0430\u043b\u044b\u0447, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0432\u0441\u0435 \u044d\u0442\u0438 \u043a\u043b\u044e\u0447\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0437\u0430\u0435\u0445\u0430\u043b\u0438 \u043a \u043d\u0430\u043c \u0432 \u0418\u0418 \u0438\u0437 \u043c\u0438\u0440\u0430 \u043d\u0435\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \ud83d\udc46<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439\u00a0<em>\u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430<\/em>\u00a0\u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\u00a0 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c:<\/p>\n<pre><code class=\"r\"># \u0413\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438  f &lt;- \\(x) 2 * torch_sin(x) + x n = 40 # \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441: \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0437\u0430\u043f\u0440\u043e\u0441\u044b x_train = torch_sort(torch_rand(n) * 5)[[1]]   # keys - \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 x \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 + \u0448\u0443\u043c y_train = f(x_train) + torch_randn(n)          # values - \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 y \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 + \u0448\u0443\u043c x_val = torch_arange(0, 5, 0.1)                # queries - \u043d\u043e\u0432\u044b\u0435 x \u0434\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 y_val = f(x_val)                               # truth - \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 y \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 nadaraya_watson &lt;- function(x_train, y_train, x_val, kernel){   # \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u043f\u0430\u0440 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432   dists = x_train$reshape(c(-1, 1)) - x_val$reshape(c(1, -1)) # [keys, values] = [40, 51]   # \u042f\u0434\u0435\u0440\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430: \u043a\u0430\u0436\u0434\u0430\u044f \u043a\u043e\u043b\u043e\u043d\u043a\u0430\/\u0441\u0442\u0440\u043e\u043a\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u0443\/\u043a\u043b\u044e\u0447\u0443   k = kernel(dists) |&gt; torch_tensor(dtype = torch_float()) # \u0440\u0430\u0441\u0447\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044f\u0434\u0435\u0440\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438   # \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e \u043a\u043b\u044e\u0447\u0430\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430   attention_w = k\/k$sum(1) # \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 W   y_hat = torch_matmul(y_train, attention_w) # \u041c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430 y (values)      list(y_hat, attention_w) }  # \u0422\u0430\u0431\u043b\u0438\u0447\u043a\u0430 \u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 truth_df &lt;- data.frame(x_train=as_array(x_train), y_train=as_array(y_train))  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 fit_plts &lt;- mapply(kernel, kernel_names, SIMPLIFY = F, FUN=function(f, names){   data.frame(x_val=as_array(x_val), y_val = as_array(y_val), y_train=nadaraya_watson(x_train, y_train, x_val, kernel =f)[[1]] |&gt; as_array()) |&gt;          ggplot() +      geom_line(aes(x_val, y_train, col = \"model\"), lty = 5) +      geom_line(aes(x_val, y_val, col = \"truth\")) +      geom_point(data = truth_df, aes(x_train, y_train), alpha = .3) +     scale_color_manual(values = c(\"model\" = \"firebrick\", \"truth\" = \"white\")) +     labs(title = names, col=\"\") })  # \u041d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 Reduce(`+`, fit_plts) + plot_layout(guides = \"collect\") +    plot_annotation(title = \"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u041d\u0430\u0434\u0430\u0440\u0430\u044f-\u0412\u043e\u0442\u0441\u043e\u043d\u0430 \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439\")<\/code><\/pre>\n<figure class=\"full-width\"><\/figure>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435 \u043e\u0446\u0435\u043d\u043a\u0438, \u0432\u043f\u0440\u043e\u0447\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0432 \u044f\u0434\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u00a0\u00a0\u2013 \u0448\u0438\u0440\u0438\u043d\u0430 \u043e\u043a\u043d\u0430 (bandwidth), \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u044d\u0442\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0434\u0430 \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Bias%E2%80%93variance_tradeoff\" rel=\"noopener noreferrer nofollow\">Bias\u2013variance tradeoff<\/a>.<\/p>\n<p>\u0412 \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432\u0435\u0441\u0430\u00a0, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430\u043c\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attention weights)<\/p>\n<pre><code class=\"r\"># \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f  attn_plts &lt;- mapply(kernel, kernel_names, SIMPLIFY = F, FUN=function(f, names){   nadaraya_watson(x_train, y_train, x_val, kernel =f)[[2]]  |&gt;          as_array() |&gt;      as.data.frame(row.names = T) |&gt;      dplyr::mutate(keys = seq_len(n)) |&gt;      tidyr::pivot_longer(!keys, names_to = \"queries\") |&gt;     dplyr::mutate(queries=gsub(\"V\", \"\", queries) |&gt; as.numeric()) |&gt;      ggplot() +      geom_raster(aes(queries, keys, fill = value)) +      scale_fill_viridis_c() +      scale_y_reverse() +     labs(title = names) })  # \u041d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 Reduce(`+`, attn_plts) +    plot_annotation(title = \"\u041c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\")<\/code><\/pre>\n<figure class=\"full-width\"><\/figure>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0439 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442. \u0414\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0434\u0435\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043a\u0440\u043e\u043c\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439 \u0438\u043c\u0435\u0435\u043c: \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-446326","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/446326","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=446326"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/446326\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=446326"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=446326"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=446326"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}