{"id":378719,"date":"2024-06-12T15:02:57","date_gmt":"2024-06-12T15:02:57","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=378719"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-06-12T15:02:57","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=378719","title":{"rendered":"<span>\u041c\u043e\u0433\u0443\u0442 \u043b\u0438 KAN \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f?<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p><a href=\"https:\/\/arxiv.org\/abs\/2404.19756\" rel=\"noopener noreferrer nofollow\">\u041d\u0435\u0434\u0430\u0432\u043d\u044f\u044f \u0441\u0442\u0430\u0442\u044c\u044f<\/a> \u043e\u0431 \u043d\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Kolmogorov%E2%80%93Arnold_representation_theorem\" rel=\"noopener noreferrer nofollow\">\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430<\/a> (<strong>KAN <\/strong>\u2014<strong> <\/strong>Kolmogorov-Arnold Networks) \u0432\u044b\u0437\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0430\u0436\u0438\u043e\u0442\u0430\u0436: \u0443\u0436\u0435 \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0439 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0441\u0435\u0442\u0438, \u0432\u0435\u0434\u0443\u0442\u0441\u044f \u0433\u043e\u0440\u044f\u0447\u0438\u0435 \u0434\u0435\u0431\u0430\u0442\u044b, \u0430 \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u043b\u0438 \u0441\u0445\u0435\u043c\u0430 \u0438 \u0438\u043c\u0435\u0435\u0442 \u043b\u0438 \u043f\u0440\u0430\u0432\u043e \u043d\u0430 \u0436\u0438\u0437\u043d\u044c \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435. \u0426\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043c\u043e\u0433\u0443\u0442 \u043b\u0438 KAN \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u044b\u043c \u0437\u0440\u0435\u043d\u0438\u0435\u043c?<\/p>\n<p>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u043e\u0436\u0435\u0442\u0435 <a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0439\u0442\u0438 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435<\/a>. <\/p>\n<blockquote>\n<p>\u041f\u043e\u043a\u0430 \u0435\u0449\u0451 \u043d\u0435 \u0443\u0448\u043b\u0438 \u0434\u0430\u043b\u0435\u043a\u043e, \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0441\u043a\u0430\u0436\u0435\u043c, \u0447\u0442\u043e \u0443 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0434\u0432\u0430 \u0430\u0432\u0442\u043e\u0440\u0430: \u0418\u0432\u0430\u043d \u0414\u0440\u043e\u043a\u0438\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0441\u0432\u0451\u0440\u0442\u043e\u043a \u0434\u043b\u044f KAN \u2014 <a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\">torch-conv-kan<\/a>. \u0417\u0430 \u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0434\u043b\u044f \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439 \u0425\u0430\u0431\u0440\u0430, \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0432\u044c\u044e \u0438 \u043f\u0440\u0430\u0432\u043a\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0447\u0430\u0441\u0442\u044c \u0433\u043b\u0443\u043f\u044b\u0445 \u043c\u0435\u043c\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u043b \u0410\u043d\u0442\u043e\u043d \u041a\u043b\u043e\u0447\u043a\u043e\u0432 \u2014 \u0430\u0432\u0442\u043e\u0440 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u043a\u0430\u043d\u0430\u043b\u0430 <a href=\"https:\/\/t.me\/+FdDQ13wwyrFhNGIy\" rel=\"noopener noreferrer nofollow\">MLE \u0448\u0430\u0442\u0430\u0435\u0442 Produnction<\/a> (\u043d\u0435\u0442, \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0438 \u043d\u0435\u0442 \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0438) \u043f\u0440\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043c\u0435\u043c\u044b, \u044f\u0437\u044b\u043a\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0431\u0449\u0438\u0445 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u0432 IT.<\/p>\n<p>\u0412\u0441\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0432\u0435\u0434\u0443\u0442\u0441\u044f \u043e\u0442 \u043b\u0438\u0446\u0430 \u0418\u0432\u0430\u043d\u0430.<\/p>\n<\/blockquote>\n<h2>\u041e\u0441\u043d\u043e\u0432\u044b<\/h2>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u2014 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438. \u0415\u0441\u043b\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043a\u0440\u0430\u0442\u043a\u043e, \u0442\u043e \u043c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0435 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d\u044b (MLP \u2014 Multi-Layer Perceptron) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0441\u0435\u0442\u0438 \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u0443\u043c\u043c\u0443 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0443\u043d\u0430\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c MLP \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u0435\u043e\u0440\u0435\u043c\u0435 \u0426\u044b\u0431\u0435\u043d\u043a\u043e \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0432 \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0440\u0443\u0433\u0430\u0445, \u043a\u0430\u043a <a href=\"https:\/\/en.wikipedia.org\/wiki\/Universal_approximation_theorem\" rel=\"noopener noreferrer nofollow\">\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u043e\u0440\u0435\u043c\u0435 \u0430\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438<\/a>. \u0415\u0441\u043b\u0438 \u043d\u0435 \u0432\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438, \u0442\u043e \u043e\u043d\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u044e\u0431\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043b\u044e\u0431\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0434\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0441 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438.  <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/021\/1d5\/54e\/0211d554e34a09c092e4fa014ce48d2c.png\" alt=\"\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0Wikipedia \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c\" title=\"\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0Wikipedia \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c\" width=\"1400\" height=\"325\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/021\/1d5\/54e\/0211d554e34a09c092e4fa014ce48d2c.png\"\/><\/p>\n<div><figcaption>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Universal_approximation_theorem\" rel=\"noopener noreferrer nofollow\"><u>Wikipedia<\/u><\/a> \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c<\/figcaption><\/div>\n<\/figure>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043a\u0430\u043a \u0443\u0436\u0435 \u0431\u044b\u043b\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u0440\u0430\u0431\u043e\u0442\u0430 KAN \u0431\u0430\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Kolmogorov%E2%80%93Arnold_representation_theorem\" rel=\"noopener noreferrer nofollow\">\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430<\/a>: <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f28\/f01\/aec\/f28f01aec4c6ab66783e74f40e2abf9e.png\" alt=\"\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0Wikipedia \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c\" title=\"\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0Wikipedia \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c\" width=\"1400\" height=\"233\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f28\/f01\/aec\/f28f01aec4c6ab66783e74f40e2abf9e.png\"\/><\/p>\n<div><figcaption>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Kolmogorov%E2%80%93Arnold_representation_theorem\" rel=\"noopener noreferrer nofollow\"><u>Wikipedia<\/u><\/a> \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c<\/figcaption><\/div>\n<\/figure>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2404.19756\" rel=\"noopener noreferrer nofollow\">&#171;KAN: Kolmogorov-Arnold Networks&#187;<\/a> \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u0442\u0438\u043f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439: <strong>\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438<\/strong> \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445 \u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u0443\u0437\u043b\u0430\u0445. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0432\u0435\u0441 \u044d\u0442\u043e\u043c\u0443, \u0432 MLP \u0432 \u0443\u0437\u043b\u0430\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f <strong>\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/strong>, \u0430 \u043d\u0430 \u0440\u0435\u0431\u0440\u0430\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u043e\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bde\/12a\/ed4\/bde12aed48826daeb0274798e1f5723a.png\" alt=\"\u041d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u043c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0432\u0437\u044f\u0442\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 &quot;KAN: Kolmogorov-Arnold Networks&quot;.\" title=\"\u041d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u043c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0432\u0437\u044f\u0442\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 &quot;KAN: Kolmogorov-Arnold Networks&quot;.\" width=\"1400\" height=\"788\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bde\/12a\/ed4\/bde12aed48826daeb0274798e1f5723a.png\"\/><\/p>\n<div><figcaption>\u041d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u043c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0432\u0437\u044f\u0442\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2404.19756\" rel=\"noopener noreferrer nofollow\">&#171;KAN: Kolmogorov-Arnold Networks&#187;<\/a>.<\/figcaption><\/div>\n<\/figure>\n<p>\u0427\u0442\u043e \u0436\u0435 \u044d\u0442\u043e \u0437\u0430 &#171;\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438&#187; \u0438 \u043a\u0430\u043a \u0438\u0445 \u043e\u0431\u0443\u0447\u0430\u0442\u044c? \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/en.wikipedia.org\/wiki\/B-spline\" rel=\"noopener noreferrer nofollow\">B-\u0441\u043f\u043b\u0430\u0439\u043d\u044b<\/a> (\u0441 \u043a\u043b\u0430\u0441\u0441\u043d\u044b\u043c\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0433\u043b\u044f\u043d\u0443\u0442\u044c <a href=\"https:\/\/opensourc.es\/blog\/b-spline\/\" rel=\"noopener noreferrer nofollow\">\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/a>). \u0421\u043f\u043b\u0430\u0439\u043d-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2cc\/489\/90a\/2cc48990ac722f0543df3cd15d766200.svg\" width=\"12\" height=\"12\"\/> \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043a\u0443\u0441\u043e\u0447\u043d\u043e-\u043f\u043e\u043b\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n-1\" alt=\"n-1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3da\/b62\/333\/3dab62333d754694f20d1fc2cf140cc7.svg\" width=\"45\" height=\"18\"\/>. \u041c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u043e\u0442\u0440\u0435\u0437\u043a\u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0437\u043b\u0430\u043c\u0438. \u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0441\u043f\u043b\u0430\u0439\u043d-\u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0438 \u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u043c\u0438, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u0440\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0443\u0437\u043b\u043e\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cb6\/1db\/690\/cb61db69090a88ad08c4ecbac01085c5.gif\" alt=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f B-\u0441\u043f\u043b\u0430\u0439\u043d\u0430 (\u0441\u0438\u043d\u044f\u044f \u043b\u0438\u043d\u0438\u044f) \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0435\u0451 \u0442\u043e\u0447\u0435\u043a (\u043a\u0440\u0430\u0441\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c). \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a.\" title=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f B-\u0441\u043f\u043b\u0430\u0439\u043d\u0430 (\u0441\u0438\u043d\u044f\u044f \u043b\u0438\u043d\u0438\u044f) \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0435\u0451 \u0442\u043e\u0447\u0435\u043a (\u043a\u0440\u0430\u0441\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c). \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a.\" width=\"700\" height=\"500\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cb6\/1db\/690\/cb61db69090a88ad08c4ecbac01085c5.gif\"\/><\/p>\n<div><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f B-\u0441\u043f\u043b\u0430\u0439\u043d\u0430 (\u0441\u0438\u043d\u044f\u044f \u043b\u0438\u043d\u0438\u044f) \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0435\u0451 \u0442\u043e\u0447\u0435\u043a (\u043a\u0440\u0430\u0441\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c). <a href=\"https:\/\/opensourc.es\/blog\/b-spline\/\" rel=\"noopener noreferrer nofollow\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/a>.<\/figcaption><\/div>\n<\/figure>\n<h2>\u041f\u043b\u044e\u0441\u044b \u0438 \u043c\u0438\u043d\u0443\u0441\u044b KAN<\/h2>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043b\u044e\u0441\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 KAN \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e MLP: <\/p>\n<ol>\n<li>\n<p><strong>\u0412\u044b\u0448\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/strong>: KAN \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0448\u0435 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 MLP. \u041f\u0435\u0440\u0432\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e (\u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (\u0441\u043f\u0430\u0441\u0438\u0431\u043e \u0442\u0435\u043e\u0440\u0435\u043c\u0435 \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430), \u0447\u0442\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c<\/strong>: MLP \u2014 \u044d\u0442\u043e \u0447\u0451\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a, \u0441\u043b\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443 \u043d\u0438\u0445 \u0432\u043d\u0443\u0442\u0440\u0438, \u0430 KAN \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0430\u043d\u0430\u043b\u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0436\u0438\u0442\u044c \u0438\u043d\u0441\u0430\u0439\u0442\u043e\u043c \u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0438\u0431\u043a\u043e\u0441\u0442\u044c \u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u043c\u043e\u0441\u0442\u044c<\/strong>: \u0437\u0430 \u0441\u0447\u0451\u0442 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u0432\u0435\u0434\u0451\u0442 \u043a \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u043c\u043e\u0441\u0442\u0438 (\u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u043f\u0440\u043e\u0441\u0442\u043e).<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0448\u0443\u043c\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0438 <\/strong><a href=\"https:\/\/en.m.wikipedia.org\/wiki\/Adversarial_machine_learning\" rel=\"noopener noreferrer nofollow\"><strong>Adversarial Attacks<\/strong><\/a>: \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c KAN \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 KAN \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c \u043a \u0448\u0443\u043c\u0430\u043c \u0438 \u0430\u0442\u0430\u043a\u0430\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u043e \u0435\u0441\u0442\u044c \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0441 KAN (<a href=\"https:\/\/en.wikipedia.org\/wiki\/No_free_lunch_theorem\" rel=\"noopener noreferrer nofollow\">No free lunch<\/a>, \u043f\u043e\u043c\u043d\u0438\u0442\u0435?): <\/p>\n<ol>\n<li>\n<p><strong>\u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c<\/strong>: \u043a\u0430\u043a \u0438 \u043b\u044e\u0431\u0430\u044f \u0434\u0440\u0443\u0433\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, KAN \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a learning rate, \u0441\u0438\u043b\u0443 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u0441\u0430\u043c\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0432 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c. \u0422\u0443\u0442 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435\u0442 \u0447\u0451\u0442\u043a\u0438\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u044e\u043d\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (L1\/L2 \u0432\u0435\u0441\u0430, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, dropout \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0438 \u0442.\u0434.). \u042d\u0442\u043e \u0447\u0435\u043c-\u0442\u043e \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u043e\u0441\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u044b\u0441\u043e\u043a\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b<\/strong>: \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, B-\u0441\u043f\u043b\u0430\u0439\u043d\u044b) \u043c\u043e\u0433\u0443\u0442 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0447\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 MLP, \u0447\u0442\u043e \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430;<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c<\/strong>: KAN \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u0435\u0442\u0438 \u0435\u0449\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b. \u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 KAN \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0433\u0434\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u043f\u0435\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u043b\u0430\u043d, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043a\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439.<\/p>\n<\/li>\n<\/ol>\n<h2>\u0420\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u0438 KAN<\/h2>\n<p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432\u044b\u0448\u0435, \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u0438 \u0440\u0435\u0448\u0435\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u0445.<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432\u0435\u0440\u0441\u0438\u044f <a href=\"https:\/\/github.com\/ZiyaoLi\/fast-kan\" rel=\"noopener noreferrer nofollow\">Fast KAN<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 B-\u0441\u043f\u043b\u0430\u0439\u043d\u044b \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b <a href=\"https:\/\/en.wikipedia.org\/wiki\/Radial_basis_function\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0434\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0431\u0430\u0437\u0438\u0441\u043d\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438<\/a> (RBF). \u042d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e Polynomial KAN: <a href=\"https:\/\/github.com\/1ssb\/torchkan\" rel=\"noopener noreferrer nofollow\">\u041b\u0435\u0436\u0430\u043d\u0434\u0440\u0430<\/a>, <a href=\"https:\/\/github.com\/SynodicMonth\/ChebyKAN\" rel=\"noopener noreferrer nofollow\">\u0427\u0435\u0431\u044b\u0448\u0435\u0432\u0430<\/a>, <a href=\"https:\/\/github.com\/SpaceLearner\/JacobiKAN\" rel=\"noopener noreferrer nofollow\">\u042f\u043a\u043e\u0431\u0438<\/a>, <a href=\"https:\/\/github.com\/Khochawongwat\/GRAMKAN\" rel=\"noopener noreferrer nofollow\">\u0413\u0440\u0430\u043c\u0430<\/a>, <a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\">\u0411\u0435\u0440\u043d\u0448\u0442\u0435\u0439\u043d\u0430<\/a>, \u0438 <a href=\"https:\/\/github.com\/zavareh1\/Wav-KAN\" rel=\"noopener noreferrer nofollow\">Wavelet-based KAN<\/a>. \u041f\u0440\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435, \u043f\u0435\u0440\u0435\u0439\u0434\u044f \u043f\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u0441\u0441\u044b\u043b\u043a\u0430\u043c.<\/p>\n<h2>\u0421\u0432\u0451\u0440\u0442\u043a\u0438 \u0434\u043b\u044f KAN<\/h2>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439? \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0439 \u0442\u0438\u043f \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u2014 \u044d\u0442\u043e \u0441\u043b\u043e\u0439 \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0432\u0451\u0440\u0442\u043a\u0438, \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u043c\u044b\u0439 \u043a\u0430\u043a Conv2D. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u043e\u0435 \u0444\u0438\u043b\u044c\u0442\u0440 (\u0438\u043b\u0438 \u044f\u0434\u0440\u043e) &#171;\u0441\u043a\u043e\u043b\u044c\u0437\u0438\u0442&#187; \u043f\u043e \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u044b\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c), \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e \u0447\u0438\u0441\u043b\u043e. \u042f\u0434\u0440\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0442\u0443 \u0436\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043d\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u0438\u0442, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044f \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e. <\/p>\n<p>\u0425\u043e\u0442\u044f \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u043c \u0438 \u0442\u0440\u0451\u0445\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445 \u0438\u043c\u0435\u044e\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f, \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0434\u0440\u0430, \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0434\u043d\u0430\u043a\u043e \u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043c\u044b \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u043c\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u043c \u0441\u043b\u043e\u0435. \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435 <a href=\"https:\/\/towardsdatascience.com\/intuitively-understanding-convolutions-for-deep-learning-1f6f42faee1\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u043e\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u043e\u0441\u0442<\/a>.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/616\/08d\/7ad\/61608d7ad4188b71ee70e8de297d9906.gif\" alt=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f. \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u0437\u044f\u0442 \u0438\u0437 Wikimedia.\" title=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f. \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u0437\u044f\u0442 \u0438\u0437 Wikimedia.\" width=\"395\" height=\"449\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/616\/08d\/7ad\/61608d7ad4188b71ee70e8de297d9906.gif\"\/><\/p>\n<div><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f. \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u0437\u044f\u0442 \u0438\u0437 <a href=\"https:\/\/commons.wikimedia.org\/wiki\/File:Convolution_arithmetic_-_Same_padding_no_strides_transposed.gif\" rel=\"noopener noreferrer nofollow\">Wikimedia<\/a>.<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043f\u043e\u0441\u043b\u0435 \u0441\u043b\u043e\u044f \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, BatchNorm, InstanceNorm \u0438 \u0442.\u0434.) \u0438 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 (ReLU, LeakyReLU, SiLU \u0438 \u0442.\u0434.). <\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e: \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0445\u043e\u0434\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" y\" alt=\" y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/821\/146\/7a8\/8211467a88d331b638d6d2129e513ae0.svg\" width=\"10\" height=\"16\"\/> \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" N \\times N\" alt=\" N \\times N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62b\/bc6\/a1e\/62bbc6a1efb695ec6ec1fd1167cd71e4.svg\" width=\"59\" height=\"17\"\/>. \u0414\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043c\u044b \u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043e\u0441\u044c \u043a\u0430\u043d\u0430\u043b\u0430 (\u0442.\u0435. \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0434\u043d\u043e\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f), \u043e\u043d\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0449\u0435 \u043e\u0434\u043d\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u043e\u0441\u0438 \u043a\u0430\u043d\u0430\u043b\u0430. \u0418\u0442\u0430\u043a, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0441\u0432\u0435\u0440\u0442\u043a\u0443 \u0441 \u043d\u0430\u0448\u0438\u043c \u044f\u0434\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b2b\/4d2\/660\/b2b4d2660c59a1f2c2b4bec2af0430ec.svg\" width=\"21\" height=\"17\"\/> \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m \\times m\" alt=\"m \\times m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a07\/0d3\/746\/a070d37465d7e469a09e7cd5229d9539.svg\" width=\"58\" height=\"13\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"x_{ij} = \\sum_{a=0}^{m-1} \\sum_{b=0}^{m-1} \\omega_{ab} y_{i+a,j+b}; \\quad i, j = 1, N - m + 1\" alt=\"x_{ij} = \\sum_{a=0}^{m-1} \\sum_{b=0}^{m-1} \\omega_{ab} y_{i+a,j+b}; \\quad i, j = 1, N - m + 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b4\/e41\/1ad\/0b4e411adaf8450a1d7670060dcc9aa0.svg\" width=\"393\" height=\"60\"\/><\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u0431\u0430\u0442\u0447 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ReLU:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"x=ReLU(BatchNorm(x))\" alt=\"x=ReLU(BatchNorm(x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b81\/266\/5cd\/b812665cd4ae9678f958b4388d25ef2c.svg\" width=\"236\" height=\"22\"\/><\/p>\n<p>\u0421\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0432 KAN \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438\u043d\u0430\u0447\u0435: <strong>\u044f\u0434\u0440\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0432\u0435\u0441\u0430 (\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430), \u0430 \u0443\u043d\u0430\u0440\u043d\u044b\u0435, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/strong>. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044f\u0434\u0440\u043e &#171;\u0441\u043a\u043e\u043b\u044c\u0437\u0438\u0442&#187; \u043f\u043e \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u044b\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0435\u0442 \u0447\u0438\u0441\u043b\u043e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0442\u043e\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f.  <\/p>\n<p>\u041e\u043f\u044f\u0442\u044c \u0436\u0435, \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0432\u0445\u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/837\/030\/fa3\/837030fa3362003a1f44e87b68ddb65d.svg\" width=\"10\" height=\"16\"\/> \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"x_{ij} = \\sum_{a=0}^{m-1} \\sum_{b=0}^{m-1} \\phi_{ab}(y_{i+a,j+b}); \\quad i, j = 1, N - m + 1\" alt=\"x_{ij} = \\sum_{a=0}^{m-1} \\sum_{b=0}^{m-1} \\phi_{ab}(y_{i+a,j+b}); \\quad i, j = 1, N - m + 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/05f\/13b\/3ca\/05f13b3ca96d683aaedea0bcd686f16d.svg\" width=\"407\" height=\"60\"\/><\/p>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\phi_{ab}\" alt=\"\\phi_{ab}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/079\/f38\/42c\/079f3842c4f8bb5f81c7d7f8b32f8246.svg\" width=\"27\" height=\"21\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0430\u0440\u043d\u043e\u0439 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 <strong>\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439<\/strong> \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <strong>\u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438<\/strong>. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\phi(x) = \\omega_{b}b(x) + w_{s}spline(x)\" alt=\"\\phi(x) = \\omega_{b}b(x) + w_{s}spline(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/693\/83b\/bfc\/69383bbfcf9e6b8341058082091492ac.svg\" width=\"244\" height=\"22\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{b}\" alt=\"w_{b}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/082\/dbe\/d6b\/082dbed6b45dcaacd1d4f9a514106efc.svg\" width=\"22\" height=\"15\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{s}\" alt=\"w_{s}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c84\/659\/ddc\/c84659ddc7f3cc0b79b3dd93d72bdb29.svg\" width=\"22\" height=\"15\"\/> \u2014 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"spline(x)\" alt=\"spline(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca0\/750\/708\/ca075070807160415a5395873fc03336.svg\" width=\"79\" height=\"22\"\/> \u2014 B-\u0441\u043f\u043b\u0430\u0439\u043d. <img class=\"formula inline\" width=\"0\" height=\"0\"\/> \u2014 \u044d\u0442\u043e  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\omega_b b(x)\" alt=\"\\omega_b b(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c1\/75d\/800\/8c175d80022940bbba6aeef24776b421.svg\" width=\"55\" height=\"22\"\/>esidual activation functions, \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 residual connctions \u0438\u0437 ResNet \u0441\u0435\u0442\u0435\u0439. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b(x)\" alt=\"b(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b61\/199\/79e\/b6119979ecb54ebc2f2500109f148463.svg\" width=\"35\" height=\"22\"\/> \u0444\u0443\u043d\u043a\u0446\u0438\u044e SiLU:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"b(x) = SiLU(x) = \\frac {x}{1 + e^{-x}}\" alt=\"b(x) = SiLU(x) = \\frac {x}{1 + e^{-x}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e52\/d1e\/a22\/e52d1ea226bbc629b4e637f912e109f1.svg\" width=\"232\" height=\"40\"\/><\/p>\n<p>\u041a\u0430\u043a \u0431\u044b\u043b\u043e \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e \u0432\u044b\u0448\u0435, \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u0432 \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438\u043b\u0438 RBF.<\/p>\n<p>\u041f\u043e\u0434\u044b\u0442\u043e\u0436\u0438\u043c \u0432\u044b\u0448\u0435\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435: \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u044f\u0434\u0440\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0435\u0441\u0430 (\u0447\u0438\u0441\u043b\u0430), \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a KAN-\u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0443\u043d\u0430\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"K = \\begin{bmatrix} w_{1,1} &amp; w_{1,2} &amp; w_{1,3} \\\\ w_{2,1} &amp; w_{2,2} &amp; w_{2,3} \\\\ w_{3,1} &amp; w_{3,2} &amp; w_{3,3} \\end{bmatrix}, \\quad K_{\\text{kan}} = \\begin{bmatrix} \\phi_{1,1} &amp; \\phi_{1,2} &amp; \\phi_{1,3} \\\\ \\phi_{2,1} &amp; \\phi_{2,2} &amp; \\phi_{2,3} \\\\ \\phi_{3,1} &amp; \\phi_{3,2} &amp; \\phi_{3,3} \\end{bmatrix}\" alt=\"K = \\begin{bmatrix} w_{1,1} &amp; w_{1,2} &amp; w_{1,3} \\\\ w_{2,1} &amp; w_{2,2} &amp; w_{2,3} \\\\ w_{3,1} &amp; w_{3,2} &amp; w_{3,3} \\end{bmatrix}, \\quad K_{\\text{kan}} = \\begin{bmatrix} \\phi_{1,1} &amp; \\phi_{1,2} &amp; \\phi_{1,3} \\\\ \\phi_{2,1} &amp; \\phi_{2,2} &amp; \\phi_{2,3} \\\\ \\phi_{3,1} &amp; \\phi_{3,2} &amp; \\phi_{3,3} \\end{bmatrix}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/19a\/36e\/6a8\/19a36e6a8c1dfca29287ab25f75144f7.svg\" width=\"480\" height=\"82\"\/><\/p>\n<h2>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h2>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 KAN-\u0441\u0432\u0451\u0440\u0442\u043e\u043a, \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u0441\u0435\u0442\u0430\u043f\u043e\u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u043c\u043e\u0451\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438\u00a0<a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\"><u>torch-conv-kan<\/u><\/a>.<\/p>\n<h3>MNIST<\/h3>\n<p>\u0418\u0442\u0430\u043a, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u043d\u0451\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441\u043e \u0432\u0441\u0435\u043c \u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0433\u043e MNIST\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e22\/0e7\/73c\/e220e773ccdd166e5837d8502e955c55.png\" width=\"680\" height=\"382\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e22\/0e7\/73c\/e220e773ccdd166e5837d8502e955c55.png\"\/><\/figure>\n<p>\u0411\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0451\u0432. \u0414\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0438 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>dilation=2<\/code>.<\/p>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0432 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: 32, 64, 128, 256. \u041f\u043e\u0441\u043b\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f Global Average Pooling, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u043b\u043e\u0439. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0434\u043b\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0438\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Dropout \u0441\u043b\u043e\u0439: \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>p = 0.25<\/code> \u0432 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0438 <code>p = 0.5<\/code> \u043f\u0435\u0440\u0435\u0434 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c Pytorch \u0438 torch-conv-kan<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import torch import torch.nn as nn  from kan_convs import KANConv2DLayer   class SimpleConvKAN(nn.Module):     def __init__(             self,             layer_sizes,             num_classes: int = 10,             input_channels: int = 1,             spline_order: int = 3,             groups: int = 1):         super(SimpleConvKAN, self).__init__()         self.layers = nn.Sequential(             KANConv2DLayer(input_channels, layer_sizes[0], spline_order, kernel_size=3, groups=1, padding=1, stride=1,                            dilation=1),             KANConv2DLayer(layer_sizes[0], layer_sizes[1], spline_order, kernel_size=3, groups=groups, padding=1,                            stride=2, dilation=1),             KANConv2DLayer(layer_sizes[1], layer_sizes[2], spline_order, kernel_size=3, groups=groups, padding=1,                            stride=2, dilation=1),             KANConv2DLayer(layer_sizes[2], layer_sizes[3], spline_order, kernel_size=3, groups=groups, padding=1,                            stride=1, dilation=1),             nn.AdaptiveAvgPool2d((1, 1))         )         self.output = nn.Linear(layer_sizes[3], num_classes)         self.drop = nn.Dropout(p=0.25)      def forward(self, x):         x = self.layers(x)         x = torch.flatten(x, 1)         x = self.drop(x)         x = self.output(x)         return x<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432, \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u043b\u043e\u0451\u0432 \u0431\u044b\u043b\u0430 \u0431\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439: <code>Conv2D -> Batch Normalization -> ReLU<\/code>.<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c. <\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0439 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c torchvision<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from torchvision.transforms import v2  transform_train = v2.Compose([     v2.RandomAffine(degrees=20, translate=(0.1, 0.1), scale=(0.9, 1.1)),     v2.ColorJitter(brightness=0.2, contrast=0.2),     v2.ToTensor(),     v2.Normalize((0.5,), (0.5,)) ])<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043d\u0430\u043c \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0451\u0432 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0432\u0451\u0440\u0442\u043e\u043a KAN \u0438 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 L1 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438. \u0412 \u0441\u0442\u043e\u043b\u0431\u0446\u0435 <code>Norm Layer<\/code> \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0445 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u0430\u043a\u043e\u0439 \u0441\u043b\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0430 \u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u0435 <code>Affine<\/code> \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0431\u044b\u043b \u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>affine<\/code> \u0441\u043b\u043e\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 <code>BatchNorm2d<\/code>  \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u043a\u0430\u043a <code>True<\/code> \u0438\u043b\u0438 <code>False<\/code>.<\/p>\n<p>\u0412\u0441\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0431\u044b\u043b\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c NVIDIA RTX 3090 \u0441 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"137\" width=\"137\">\n<p align=\"center\">Model<\/p>\n<\/th>\n<th data-colwidth=\"94\" width=\"94\">\n<p>Accuracy<\/p>\n<\/th>\n<th data-colwidth=\"114\" width=\"114\">\n<p align=\"center\">Parameters<\/p>\n<\/th>\n<th>\n<p align=\"center\">Eval Time, s<\/p>\n<\/th>\n<th data-colwidth=\"139\" width=\"139\">\n<p align=\"center\">Norm Layer<\/p>\n<\/th>\n<th data-colwidth=\"72\" width=\"72\">\n<p align=\"center\">Affine<\/p>\n<\/th>\n<th>\n<p align=\"center\">L1<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">SimpleConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\"><strong>99.42<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"114\" width=\"114\">\n<p align=\"left\">101066<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.7008<\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\">False<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">SimpleKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">96.80<\/p>\n<\/td>\n<td data-colwidth=\"114\" width=\"114\">\n<p align=\"left\">3488814<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.8306<\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\">False<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">SimpleKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">99.41<\/p>\n<\/td>\n<td data-colwidth=\"114\" width=\"114\">\n<p align=\"left\">3489774<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.6362<\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">SimpleKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">99.00<\/p>\n<\/td>\n<td data-colwidth=\"114\" width=\"114\">\n<p align=\"left\">3489774<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.6401<\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"137\" width=\"137\">\n<p align=\"left\">SimpleKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">98.89<\/p>\n<\/td>\n<td data-colwidth=\"114\" width=\"114\">\n<p align=\"left\">3489774<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.4138<\/p>\n<\/td>\n<td data-colwidth=\"139\" width=\"139\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td data-colwidth=\"72\" width=\"72\">\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">1e-05<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0451\u0440\u0442\u043e\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0443\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0441 KAN-\u0441\u0432\u0451\u0440\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a \u0442\u043e\u043c\u0443 \u0436\u0435 \u0438\u043c\u0435\u0435\u0442 \u0432 34 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u043d\u0435 \u0442\u0430 &#171;\u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044f&#187; \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u043b\u0438. <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c Fast KAN \u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u043c \u0441\u043f\u043b\u0430\u0439\u043d\u044b \u043d\u0430 RBF: <\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"170\" width=\"170\">\n<p align=\"center\"><strong>Model<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p><strong>Accuracy<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"99\" width=\"99\">\n<p align=\"center\"><strong>Parameters<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Eval Time, s<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"center\"><strong>Norm Layer<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Affine<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>L1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"170\" width=\"170\">\n<p align=\"left\">SimpleConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\"><strong>99.42<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"99\" width=\"99\">\n<p align=\"left\">101066<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.7008<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"170\" width=\"170\">\n<p align=\"left\">SimpleFastKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">99.26<\/p>\n<\/td>\n<td data-colwidth=\"99\" width=\"99\">\n<p align=\"left\">3488810<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.5636<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">False<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"170\" width=\"170\">\n<p align=\"left\">SimpleFastKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">99.01<\/p>\n<\/td>\n<td data-colwidth=\"99\" width=\"99\">\n<p align=\"left\">3489260<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7406<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"170\" width=\"170\">\n<p align=\"left\">SimpleFastKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">97.65<\/p>\n<\/td>\n<td data-colwidth=\"99\" width=\"99\">\n<p align=\"left\">3489260<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.5999<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"170\" width=\"170\">\n<p align=\"left\">SimpleFastKANConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">95.62<\/p>\n<\/td>\n<td data-colwidth=\"99\" width=\"99\">\n<p align=\"left\">3489260<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.6158<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">1e-05<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u043b\u0443\u0447\u0448\u0435, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0430\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0435: \u0433\u0434\u0435-\u0442\u043e \u0441\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435, \u0433\u0434\u0435-\u0442\u043e \u0445\u0443\u0436\u0435.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0435\u0449\u0451 \u043e\u0434\u043d\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u0432: <a href=\"https:\/\/en.wikipedia.org\/wiki\/Discrete_Chebyshev_polynomials\" rel=\"noopener noreferrer nofollow\">\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u044b \u0427\u0435\u0431\u044b\u0448\u0435\u0432\u0430<\/a>. \u0421\u0430\u043c \u0444\u0430\u043a\u0442 \u0447\u0442\u043e \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u044b \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u0434\u043e\u043b\u0436\u043d\u043e \u0434\u0430\u0442\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0443\u0437\u043d\u0430\u0435\u043c, \u0442\u0430\u043a \u043b\u0438 \u044d\u0442\u043e:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"161\" width=\"161\">\n<p align=\"center\"><strong>Model<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"center\"><strong>Accuracy<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Parameters<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Eval Time, s<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"center\"><strong>Norm Layer<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Affine<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>L1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"161\" width=\"161\">\n<p align=\"left\">SimpleConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\">99.42<\/p>\n<\/td>\n<td>\n<p align=\"left\">101066<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.7008<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"161\" width=\"161\">\n<p align=\"left\">SimpleKAGNConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\">98.21<\/p>\n<\/td>\n<td>\n<p align=\"left\">487866<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.8506<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">False<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"161\" width=\"161\">\n<p align=\"left\">SimpleKAGNConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\">99.46<\/p>\n<\/td>\n<td>\n<p align=\"left\">488826<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.8813<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"161\" width=\"161\">\n<p align=\"left\">SimpleKAGNConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\"><strong>99.49<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">488826<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7253<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"161\" width=\"161\">\n<p align=\"left\">SimpleKAGNConv, 4 layers<\/p>\n<\/td>\n<td data-colwidth=\"87\" width=\"87\">\n<p align=\"left\">99.44<\/p>\n<\/td>\n<td>\n<p align=\"left\">488826<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.8979<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">1e-05<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u043e\u0432\u044b\u0435 KAN-\u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0432\u044b\u0434\u0430\u044e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0447\u0443\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432 2.5 \u0440\u0430\u0437\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0438 \u0438\u043c\u0435\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432 \u043f\u044f\u0442\u044c \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. L1 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u044d\u0442\u043e \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0439.<\/p>\n<h3>CIFAR 100<\/h3>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/207\/574\/ca7\/207574ca7400ed4adc511786c32a525e.png\" width=\"992\" height=\"556\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/207\/574\/ca7\/207574ca7400ed4adc511786c32a525e.png\"\/><\/figure>\n<p>\u0411\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0434\u0435\u0441\u044c \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0432\u043e\u0441\u0435\u043c\u044c \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0451\u0432 . \u0414\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c, \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0438 \u0448\u0435\u0441\u0442\u043e\u043c \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f  \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>dilation=2<\/code>. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0447\u0438\u0441\u043b\u043e \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0440\u0430\u0432\u043d\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0432\u0443\u044e\u0449\u0435 16, 32, 64, 128, 256, 256, 512, 512. \u0412\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. <\/p>\n<p>\u0410\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0441 CIFAR 100 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c. <\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0439 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c torchvision<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from torchvision.transforms import v2 from torchvision.transforms.autoaugment import AutoAugmentPolicy  transform_train = v2.Compose([     v2.RandomHorizontalFlip(p=0.5),     v2.RandomChoice([v2.AutoAugment(AutoAugmentPolicy.CIFAR10),         v2.AutoAugment(AutoAugmentPolicy.IMAGENET),         v2.AutoAugment(AutoAugmentPolicy.SVHN),         v2.TrivialAugmentWide()]),     v2.ToTensor(),     v2.Normalize((0.5,), (0.5,)) ])<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"152\" width=\"152\">\n<p align=\"center\"><strong>Model<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"88\" width=\"88\">\n<p align=\"center\"><strong>Accuracy<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"101\" width=\"101\">\n<p align=\"center\"><strong>Parameters<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Eval Time, s<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"center\"><strong>Norm Layer<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Affine<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>L1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"152\" width=\"152\">\n<p align=\"left\">SimpleConv, 8 layers<\/p>\n<\/td>\n<td data-colwidth=\"88\" width=\"88\">\n<p align=\"left\">57.52<\/p>\n<\/td>\n<td data-colwidth=\"101\" width=\"101\">\n<p align=\"left\">1187172<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.8265<\/p>\n<\/td>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"152\" width=\"152\">\n<p align=\"left\">SimpleKAGNConv, 8 layers<\/p>\n<\/td>\n<td data-colwidth=\"88\" width=\"88\">\n<p align=\"left\">29.39<\/p>\n<\/td>\n<td data-colwidth=\"101\" width=\"101\">\n<p align=\"left\">22655732<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.5358<\/p>\n<\/td>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">False<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"152\" width=\"152\">\n<p align=\"left\">SimpleKAGNConv, 8 layers<\/p>\n<\/td>\n<td data-colwidth=\"88\" width=\"88\">\n<p align=\"left\">48.56<\/p>\n<\/td>\n<td data-colwidth=\"101\" width=\"101\">\n<p align=\"left\">22659284<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.0454<\/p>\n<\/td>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\">InstanceNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"152\" width=\"152\">\n<p align=\"left\">SimpleKAGNConv, 8 layers<\/p>\n<\/td>\n<td data-colwidth=\"88\" width=\"88\">\n<p align=\"left\"><strong>59.27<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"101\" width=\"101\">\n<p align=\"left\">22659284<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.6460<\/p>\n<\/td>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"152\" width=\"152\">\n<p align=\"left\">SimpleKAGNConv, 8 layers<\/p>\n<\/td>\n<td data-colwidth=\"88\" width=\"88\">\n<p align=\"left\">58.07<\/p>\n<\/td>\n<td data-colwidth=\"101\" width=\"101\">\n<p align=\"left\">22659284<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.2583<\/p>\n<\/td>\n<td data-colwidth=\"135\" width=\"135\">\n<p align=\"left\">BatchNorm2D<\/p>\n<\/td>\n<td>\n<p align=\"left\">True<\/p>\n<\/td>\n<td>\n<p align=\"left\">1e-05<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>KAN-\u0441\u0432\u0451\u0440\u0442\u043a\u0438  \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u043e\u0432 \u0427\u0435\u0431\u044b\u0448\u0435\u0432\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0445\u043e\u0442\u044f \u0438 \u0441 \u0431\u041e\u043b\u044c\u0448\u0438\u043c\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c\u0438 \u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u041e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (\u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 20 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435). <code>BatchNorm2D<\/code>, \u043f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0438\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 KAN-\u0441\u0432\u0451\u0440\u0442\u043a\u0430\u0445 \u043d\u0430 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u043e\u0432 \u0427\u0435\u0431\u044b\u0448\u0435\u0432\u0430. <\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0435\u0449\u0430\u044e\u0449\u0438\u043c \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 ImageNet1k \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 &#171;\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445&#187; \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ec7\/58d\/2fc\/ec758d2fce782b68493c6c959fb83dbb.png\" width=\"389\" height=\"594\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec7\/58d\/2fc\/ec758d2fce782b68493c6c959fb83dbb.png\"\/><\/figure>\n<p>\u0418\u0442\u0430\u043a, \u043c\u043e\u0433\u0443\u0442 \u043b\u0438 KAN \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u044b\u043c \u0437\u0440\u0435\u043d\u0438\u0435\u043c? \u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0434\u0430! \u0421\u043c\u043e\u0433\u0443\u0442 \u043b\u0438 \u043e\u043d\u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 CNN? \u042d\u0442\u043e \u0435\u0449\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c.<\/p>\n<p>MLP \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043c\u043d\u043e\u0433\u043e \u043b\u0435\u0442 \u0438 \u043d\u0443\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438. \u041c\u044b \u0443\u0436\u0435 \u0432\u0438\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0448\u0435\u0441\u0442\u044c \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u0441\u0435\u0442\u0438 Long Short-Term Memory (LSTM), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u044b\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u0431\u044b\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0434\u043b\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u043e\u0445\u043e\u0436\u0438\u0439 \u0441\u0434\u0432\u0438\u0433 \u0434\u043b\u044f MLP \u0431\u044b\u043b \u0431\u044b \u0438\u043d\u0442\u0440\u0438\u0433\u0443\u044e\u0449\u0438\u043c.<\/p>\n<p>\u0421\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0433\u0438\u0445 \u043b\u0435\u0442 (\u0438 \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f), \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0431\u044b\u043b\u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u043c\u0438 (ViT). \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043f\u0440\u0438\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043b\u0438\u0434\u0435\u0440\u0430 \u0432 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438? <\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442, \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043d\u0430\u0439\u0442\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0435\u0442\u0435\u0439 \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430, \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430 (ConvKAN) \u0438 ViT-KAN, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0435\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u044d\u0442\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432).<\/p>\n<p>\u0425\u043e\u0442\u044f \u043c\u0435\u043d\u044f \u043e\u0447\u0435\u043d\u044c \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u044d\u0442\u0430 \u043d\u043e\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043e\u0431\u043d\u0430\u0434\u0435\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u044f \u043e\u0441\u0442\u0430\u044e\u0441\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0435\u043f\u0442\u0438\u0447\u0435\u043d. \u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b \u0435\u0449\u0451 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b. \u041e\u0441\u0442\u0430\u0432\u0430\u0439\u0442\u0435\u0441\u044c \u0441 \u043d\u0430\u043c\u0438, \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/820505\/\"> https:\/\/habr.com\/ru\/articles\/820505\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p><a href=\"https:\/\/arxiv.org\/abs\/2404.19756\" rel=\"noopener noreferrer nofollow\">\u041d\u0435\u0434\u0430\u0432\u043d\u044f\u044f \u0441\u0442\u0430\u0442\u044c\u044f<\/a> \u043e\u0431 \u043d\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Kolmogorov%E2%80%93Arnold_representation_theorem\" rel=\"noopener noreferrer nofollow\">\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430<\/a> (<strong>KAN <\/strong>\u2014<strong> <\/strong>Kolmogorov-Arnold Networks) \u0432\u044b\u0437\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0430\u0436\u0438\u043e\u0442\u0430\u0436: \u0443\u0436\u0435 \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0439 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0441\u0435\u0442\u0438, \u0432\u0435\u0434\u0443\u0442\u0441\u044f \u0433\u043e\u0440\u044f\u0447\u0438\u0435 \u0434\u0435\u0431\u0430\u0442\u044b, \u0430 \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u043b\u0438 \u0441\u0445\u0435\u043c\u0430 \u0438 \u0438\u043c\u0435\u0435\u0442 \u043b\u0438 \u043f\u0440\u0430\u0432\u043e \u043d\u0430 \u0436\u0438\u0437\u043d\u044c \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435. \u0426\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043c\u043e\u0433\u0443\u0442 \u043b\u0438 KAN \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u044b\u043c \u0437\u0440\u0435\u043d\u0438\u0435\u043c?<\/p>\n<p>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u043e\u0436\u0435\u0442\u0435 <a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0439\u0442\u0438 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435<\/a>. <\/p>\n<blockquote>\n<p>\u041f\u043e\u043a\u0430 \u0435\u0449\u0451 \u043d\u0435 \u0443\u0448\u043b\u0438 \u0434\u0430\u043b\u0435\u043a\u043e, \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0441\u043a\u0430\u0436\u0435\u043c, \u0447\u0442\u043e \u0443 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0434\u0432\u0430 \u0430\u0432\u0442\u043e\u0440\u0430: \u0418\u0432\u0430\u043d \u0414\u0440\u043e\u043a\u0438\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0441\u0432\u0451\u0440\u0442\u043e\u043a \u0434\u043b\u044f KAN \u2014 <a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\">torch-conv-kan<\/a>. \u0417\u0430 \u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0434\u043b\u044f \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439 \u0425\u0430\u0431\u0440\u0430, \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0432\u044c\u044e \u0438 \u043f\u0440\u0430\u0432\u043a\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0447\u0430\u0441\u0442\u044c \u0433\u043b\u0443\u043f\u044b\u0445 \u043c\u0435\u043c\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u043b \u0410\u043d\u0442\u043e\u043d \u041a\u043b\u043e\u0447\u043a\u043e\u0432 \u2014 \u0430\u0432\u0442\u043e\u0440 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u043a\u0430\u043d\u0430\u043b\u0430 <a href=\"https:\/\/t.me\/+FdDQ13wwyrFhNGIy\" rel=\"noopener noreferrer nofollow\">MLE \u0448\u0430\u0442\u0430\u0435\u0442 Produnction<\/a> (\u043d\u0435\u0442, \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0438 \u043d\u0435\u0442 \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0438) \u043f\u0440\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043c\u0435\u043c\u044b, \u044f\u0437\u044b\u043a\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0431 \u043e\u0431\u0449\u0438\u0445 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u0432 IT.<\/p>\n<p>\u0412\u0441\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0432\u0435\u0434\u0443\u0442\u0441\u044f \u043e\u0442 \u043b\u0438\u0446\u0430 \u0418\u0432\u0430\u043d\u0430.<\/p>\n<\/blockquote>\n<h2>\u041e\u0441\u043d\u043e\u0432\u044b<\/h2>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u2014 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438. \u0415\u0441\u043b\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043a\u0440\u0430\u0442\u043a\u043e, \u0442\u043e \u043c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0435 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d\u044b (MLP \u2014 Multi-Layer Perceptron) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0441\u0435\u0442\u0438 \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u0443\u043c\u043c\u0443 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0443\u043d\u0430\u0440\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c MLP \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0442\u0435\u043e\u0440\u0435\u043c\u0435 \u0426\u044b\u0431\u0435\u043d\u043a\u043e \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0432 \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0440\u0443\u0433\u0430\u0445, \u043a\u0430\u043a <a href=\"https:\/\/en.wikipedia.org\/wiki\/Universal_approximation_theorem\" rel=\"noopener noreferrer nofollow\">\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u043e\u0440\u0435\u043c\u0435 \u0430\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438<\/a>. \u0415\u0441\u043b\u0438 \u043d\u0435 \u0432\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438, \u0442\u043e \u043e\u043d\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u044e\u0431\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043b\u044e\u0431\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0434\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0441 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438.  <\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Universal_approximation_theorem\" rel=\"noopener noreferrer nofollow\"><u>Wikipedia<\/u><\/a> \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c<\/figcaption><\/div>\n<\/figure>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043a\u0430\u043a \u0443\u0436\u0435 \u0431\u044b\u043b\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u0440\u0430\u0431\u043e\u0442\u0430 KAN \u0431\u0430\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Kolmogorov%E2%80%93Arnold_representation_theorem\" rel=\"noopener noreferrer nofollow\">\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430<\/a>: <\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0441\u043a\u0440\u0438\u043d \u0438\u0437\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Kolmogorov%E2%80%93Arnold_representation_theorem\" rel=\"noopener noreferrer nofollow\"><u>Wikipedia<\/u><\/a> \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435\u043c<\/figcaption><\/div>\n<\/figure>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2404.19756\" rel=\"noopener noreferrer nofollow\">&#171;KAN: Kolmogorov-Arnold Networks&#187;<\/a> \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u0442\u0438\u043f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439: <strong>\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438<\/strong> \u043d\u0430 \u0440\u0451\u0431\u0440\u0430\u0445 \u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u0443\u0437\u043b\u0430\u0445. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0432\u0435\u0441 \u044d\u0442\u043e\u043c\u0443, \u0432 MLP \u0432 \u0443\u0437\u043b\u0430\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f <strong>\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/strong>, \u0430 \u043d\u0430 \u0440\u0435\u0431\u0440\u0430\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u043e\u0432.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u043c\u0438. \u041a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0432\u0437\u044f\u0442\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2404.19756\" rel=\"noopener noreferrer nofollow\">&#171;KAN: Kolmogorov-Arnold Networks&#187;<\/a>.<\/figcaption><\/div>\n<\/figure>\n<p>\u0427\u0442\u043e \u0436\u0435 \u044d\u0442\u043e \u0437\u0430 &#171;\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438&#187; \u0438 \u043a\u0430\u043a \u0438\u0445 \u043e\u0431\u0443\u0447\u0430\u0442\u044c? \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/en.wikipedia.org\/wiki\/B-spline\" rel=\"noopener noreferrer nofollow\">B-\u0441\u043f\u043b\u0430\u0439\u043d\u044b<\/a> (\u0441 \u043a\u043b\u0430\u0441\u0441\u043d\u044b\u043c\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0433\u043b\u044f\u043d\u0443\u0442\u044c <a href=\"https:\/\/opensourc.es\/blog\/b-spline\/\" rel=\"noopener noreferrer nofollow\">\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/a>). \u0421\u043f\u043b\u0430\u0439\u043d-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u0438  \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043a\u0443\u0441\u043e\u0447\u043d\u043e-\u043f\u043e\u043b\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 . \u041c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u043e\u0442\u0440\u0435\u0437\u043a\u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0437\u043b\u0430\u043c\u0438. \u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0441\u043f\u043b\u0430\u0439\u043d-\u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0438 \u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u043c\u0438, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u0440\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0443\u0437\u043b\u043e\u0432.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f B-\u0441\u043f\u043b\u0430\u0439\u043d\u0430 (\u0441\u0438\u043d\u044f\u044f \u043b\u0438\u043d\u0438\u044f) \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0435\u0451 \u0442\u043e\u0447\u0435\u043a (\u043a\u0440\u0430\u0441\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c). <a href=\"https:\/\/opensourc.es\/blog\/b-spline\/\" rel=\"noopener noreferrer nofollow\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/a>.<\/figcaption><\/div>\n<\/figure>\n<h2>\u041f\u043b\u044e\u0441\u044b \u0438 \u043c\u0438\u043d\u0443\u0441\u044b KAN<\/h2>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043b\u044e\u0441\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 KAN \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e MLP: <\/p>\n<ol>\n<li>\n<p><strong>\u0412\u044b\u0448\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/strong>: KAN \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0448\u0435 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 MLP. \u041f\u0435\u0440\u0432\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e (\u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (\u0441\u043f\u0430\u0441\u0438\u0431\u043e \u0442\u0435\u043e\u0440\u0435\u043c\u0435 \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430), \u0447\u0442\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c<\/strong>: MLP \u2014 \u044d\u0442\u043e \u0447\u0451\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a, \u0441\u043b\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443 \u043d\u0438\u0445 \u0432\u043d\u0443\u0442\u0440\u0438, \u0430 KAN \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0430\u043d\u0430\u043b\u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0436\u0438\u0442\u044c \u0438\u043d\u0441\u0430\u0439\u0442\u043e\u043c \u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0438\u0431\u043a\u043e\u0441\u0442\u044c \u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u043c\u043e\u0441\u0442\u044c<\/strong>: \u0437\u0430 \u0441\u0447\u0451\u0442 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u0432\u0435\u0434\u0451\u0442 \u043a \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u043c\u043e\u0441\u0442\u0438 (\u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u043f\u0440\u043e\u0441\u0442\u043e).<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0448\u0443\u043c\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0438 <\/strong><a href=\"https:\/\/en.m.wikipedia.org\/wiki\/Adversarial_machine_learning\" rel=\"noopener noreferrer nofollow\"><strong>Adversarial Attacks<\/strong><\/a>: \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c KAN \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 KAN \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c \u043a \u0448\u0443\u043c\u0430\u043c \u0438 \u0430\u0442\u0430\u043a\u0430\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u043e \u0435\u0441\u0442\u044c \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0441 KAN (<a href=\"https:\/\/en.wikipedia.org\/wiki\/No_free_lunch_theorem\" rel=\"noopener noreferrer nofollow\">No free lunch<\/a>, \u043f\u043e\u043c\u043d\u0438\u0442\u0435?): <\/p>\n<ol>\n<li>\n<p><strong>\u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c<\/strong>: \u043a\u0430\u043a \u0438 \u043b\u044e\u0431\u0430\u044f \u0434\u0440\u0443\u0433\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, KAN \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a learning rate, \u0441\u0438\u043b\u0443 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u0441\u0430\u043c\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0432 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c. \u0422\u0443\u0442 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435\u0442 \u0447\u0451\u0442\u043a\u0438\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u044e\u043d\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (L1\/L2 \u0432\u0435\u0441\u0430, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, dropout \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0438 \u0442.\u0434.). \u042d\u0442\u043e \u0447\u0435\u043c-\u0442\u043e \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u043e\u0441\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u044b\u0441\u043e\u043a\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b<\/strong>: \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, B-\u0441\u043f\u043b\u0430\u0439\u043d\u044b) \u043c\u043e\u0433\u0443\u0442 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0447\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 MLP, \u0447\u0442\u043e \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430;<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c<\/strong>: KAN \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u0435\u0442\u0438 \u0435\u0449\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b. \u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 KAN \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0433\u0434\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u043f\u0435\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u043b\u0430\u043d, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043a\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439.<\/p>\n<\/li>\n<\/ol>\n<h2>\u0420\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u0438 KAN<\/h2>\n<p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432\u044b\u0448\u0435, \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u0438 \u0440\u0435\u0448\u0435\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u0445.<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432\u0435\u0440\u0441\u0438\u044f <a href=\"https:\/\/github.com\/ZiyaoLi\/fast-kan\" rel=\"noopener noreferrer nofollow\">Fast KAN<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 B-\u0441\u043f\u043b\u0430\u0439\u043d\u044b \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b <a href=\"https:\/\/en.wikipedia.org\/wiki\/Radial_basis_function\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0434\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0431\u0430\u0437\u0438\u0441\u043d\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438<\/a> (RBF). \u042d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e Polynomial KAN: <a href=\"https:\/\/github.com\/1ssb\/torchkan\" rel=\"noopener noreferrer nofollow\">\u041b\u0435\u0436\u0430\u043d\u0434\u0440\u0430<\/a>, <a href=\"https:\/\/github.com\/SynodicMonth\/ChebyKAN\" rel=\"noopener noreferrer nofollow\">\u0427\u0435\u0431\u044b\u0448\u0435\u0432\u0430<\/a>, <a href=\"https:\/\/github.com\/SpaceLearner\/JacobiKAN\" rel=\"noopener noreferrer nofollow\">\u042f\u043a\u043e\u0431\u0438<\/a>, <a href=\"https:\/\/github.com\/Khochawongwat\/GRAMKAN\" rel=\"noopener noreferrer nofollow\">\u0413\u0440\u0430\u043c\u0430<\/a>, <a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\">\u0411\u0435\u0440\u043d\u0448\u0442\u0435\u0439\u043d\u0430<\/a>, \u0438 <a href=\"https:\/\/github.com\/zavareh1\/Wav-KAN\" rel=\"noopener noreferrer nofollow\">Wavelet-based KAN<\/a>. \u041f\u0440\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435, \u043f\u0435\u0440\u0435\u0439\u0434\u044f \u043f\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u0441\u0441\u044b\u043b\u043a\u0430\u043c.<\/p>\n<h2>\u0421\u0432\u0451\u0440\u0442\u043a\u0438 \u0434\u043b\u044f KAN<\/h2>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439? \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0439 \u0442\u0438\u043f \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u2014 \u044d\u0442\u043e \u0441\u043b\u043e\u0439 \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0432\u0451\u0440\u0442\u043a\u0438, \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u043c\u044b\u0439 \u043a\u0430\u043a Conv2D. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u043e\u0435 \u0444\u0438\u043b\u044c\u0442\u0440 (\u0438\u043b\u0438 \u044f\u0434\u0440\u043e) &#171;\u0441\u043a\u043e\u043b\u044c\u0437\u0438\u0442&#187; \u043f\u043e \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u044b\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c), \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e \u0447\u0438\u0441\u043b\u043e. \u042f\u0434\u0440\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0442\u0443 \u0436\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043d\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u0438\u0442, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044f \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e. <\/p>\n<p>\u0425\u043e\u0442\u044f \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u043c \u0438 \u0442\u0440\u0451\u0445\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445 \u0438\u043c\u0435\u044e\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f, \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0434\u0440\u0430, \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0434\u043d\u0430\u043a\u043e \u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043c\u044b \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u043c\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u043c \u0441\u043b\u043e\u0435. \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435 <a href=\"https:\/\/towardsdatascience.com\/intuitively-understanding-convolutions-for-deep-learning-1f6f42faee1\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u043e\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u043e\u0441\u0442<\/a>.<\/p>\n<figure class=\"\">\n<div><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f. \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u0437\u044f\u0442 \u0438\u0437 <a href=\"https:\/\/commons.wikimedia.org\/wiki\/File:Convolution_arithmetic_-_Same_padding_no_strides_transposed.gif\" rel=\"noopener noreferrer nofollow\">Wikimedia<\/a>.<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043f\u043e\u0441\u043b\u0435 \u0441\u043b\u043e\u044f \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, BatchNorm, InstanceNorm \u0438 \u0442.\u0434.) \u0438 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 (ReLU, LeakyReLU, SiLU \u0438 \u0442.\u0434.). <\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e: \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0445\u043e\u0434\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435  \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c . \u0414\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043c\u044b \u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043e\u0441\u044c \u043a\u0430\u043d\u0430\u043b\u0430 (\u0442.\u0435. \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0434\u043d\u043e\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f), \u043e\u043d\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0449\u0435 \u043e\u0434\u043d\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u043e\u0441\u0438 \u043a\u0430\u043d\u0430\u043b\u0430. \u0418\u0442\u0430\u043a, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0441\u0432\u0435\u0440\u0442\u043a\u0443 \u0441 \u043d\u0430\u0448\u0438\u043c \u044f\u0434\u0440\u043e\u043c  \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c :<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u0431\u0430\u0442\u0447 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ReLU:<\/p>\n<p>\u0421\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0432 KAN \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438\u043d\u0430\u0447\u0435: <strong>\u044f\u0434\u0440\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0432\u0435\u0441\u0430 (\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430), \u0430 \u0443\u043d\u0430\u0440\u043d\u044b\u0435, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/strong>. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044f\u0434\u0440\u043e &#171;\u0441\u043a\u043e\u043b\u044c\u0437\u0438\u0442&#187; \u043f\u043e \u0434\u0432\u0443\u0445\u043c\u0435\u0440\u043d\u044b\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0435\u0442 \u0447\u0438\u0441\u043b\u043e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0442\u043e\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f.  <\/p>\n<p>\u041e\u043f\u044f\u0442\u044c \u0436\u0435, \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0432\u0445\u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044e  \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u041a\u043e\u043b\u043c\u043e\u0433\u043e\u0440\u043e\u0432\u0430-\u0410\u0440\u043d\u043e\u043b\u044c\u0434\u0430: <\/p>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f  \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0430\u0440\u043d\u043e\u0439 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 <strong>\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0439<\/strong> \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <strong>\u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438<\/strong>. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430: <\/p>\n<p>\u0433\u0434\u0435  \u0438  \u2014 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b,  \u2014 B-\u0441\u043f\u043b\u0430\u0439\u043d.  \u2014 \u044d\u0442\u043e  esidual activation functions, \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 residual connctions \u0438\u0437 ResNet \u0441\u0435\u0442\u0435\u0439. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435  \u0444\u0443\u043d\u043a\u0446\u0438\u044e SiLU:<\/p>\n<p>\u041a\u0430\u043a \u0431\u044b\u043b\u043e \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e \u0432\u044b\u0448\u0435, \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043f\u043b\u0430\u0439\u043d\u043e\u0432 \u043f\u043e\u043b\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438\u043b\u0438 RBF.<\/p>\n<p>\u041f\u043e\u0434\u044b\u0442\u043e\u0436\u0438\u043c \u0432\u044b\u0448\u0435\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435: \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u044f\u0434\u0440\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0435\u0441\u0430 (\u0447\u0438\u0441\u043b\u0430), \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a KAN-\u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0443\u043d\u0430\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438: <\/p>\n<h2>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h2>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 KAN-\u0441\u0432\u0451\u0440\u0442\u043e\u043a, \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u0441\u0435\u0442\u0430\u043f\u043e\u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u043c\u043e\u0451\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438\u00a0<a href=\"https:\/\/github.com\/IvanDrokin\/torch-conv-kan\" rel=\"noopener noreferrer nofollow\"><u>torch-conv-kan<\/u><\/a>.<\/p>\n<h3>MNIST<\/h3>\n<p>\u0418\u0442\u0430\u043a, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u043d\u0451\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441\u043e \u0432\u0441\u0435\u043c \u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0433\u043e MNIST\u0430.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0411\u0435\u0439\u0437\u043b\u0430\u0439\u043d \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0451\u0432. \u0414\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0438 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>dilation=2<\/code>.<\/p>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0432 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: 32, 64, 128, 256. \u041f\u043e\u0441\u043b\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f Global Average Pooling, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u043b\u043e\u0439. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0434\u043b\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0438\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Dropout \u0441\u043b\u043e\u0439: \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>p = 0.25<\/code> \u0432 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0438 <code>p = 0.5<\/code> \u043f\u0435\u0440\u0435\u0434 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c Pytorch \u0438 torch-conv-kan<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import torch import torch.nn as nn  from kan_convs import KANConv2DLayer   class SimpleConvKAN(nn.Module):     def __init__(             self,             layer_sizes,             num_classes: int = 10,             input_channels: int = 1,             spline_order: int = 3,             groups: int = 1):         super(SimpleConvKAN, self).__init__()         self.layers = nn.Sequential(             KANConv2DLayer(input_channels, layer_sizes[0], spline_order, kernel_size=3, groups=1, padding=1, stride=1,                            dilation=1),             KANConv2DLayer(layer_sizes[0], layer_sizes[1], spline_order, kernel_size=3, groups=groups, padding=1,                            stride=2, dilation=1),             KANConv2DLayer(layer_sizes[1], layer_sizes[2], spline_order, kernel_size=3, groups=groups, padding=1,                            stride=2, dilation=1),             KANConv2DLayer(layer_sizes[2], layer_sizes[3], spline_order, kernel_size=3, groups=groups, padding=1,                            stride=1, dilation=1),             nn.AdaptiveAvgPool2d((1, 1))         )         self.output = nn.Linear(layer_sizes[3], num_classes)         self.drop =<\/code><\/pre>\n<\/div>\n<\/details>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-378719","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/378719","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=378719"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/378719\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=378719"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=378719"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=378719"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}