{"id":315159,"date":"2020-12-19T15:00:29","date_gmt":"2020-12-19T15:00:29","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=315159"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=315159","title":{"rendered":"\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0446\u0435\u043d\u043a\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439"},"content":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0442\u0440\u0435\u043d\u0434\u043e\u0432 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b \u0442\u0430\u043a\u0438\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u044f\u0434\u0435\u0440\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438, \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438. \u0412\u0441\u0435 \u044d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2002.06157\" rel=\"noopener noreferrer nofollow\">\u0420\u0430\u0431\u043e\u0442\u0430<\/a> \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0433\u0440\u0430\u0444\u043e\u0432, \u043d\u043e \u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b\u0445 \u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u0445, \u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0445 <abbr title=\"Graph Neural Network\">GNN<\/abbr>. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043e\u043d\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0442\u043e\u0447\u043d\u0435\u0435, \u0447\u0435\u043c VC-\u0433\u0440\u0430\u043d\u0438\u0446\u044b.<\/p>\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0413\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 &#8212; \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441 \u0433\u0440\u0430\u0444\u0430\u043c\u0438. \u041e\u043d\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. \u0422\u0438\u043f\u0438\u0447\u043d\u0430\u044f GNN \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0441\u043b\u043e\u0435\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0448\u0438\u043d \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440: <a href=\"https:\/\/arxiv.org\/abs\/1609.02907\" rel=\"noopener noreferrer nofollow\">GCN<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1706.02216\" rel=\"noopener noreferrer nofollow\">GraphSAGE<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1710.10903\" rel=\"noopener noreferrer nofollow\">GAT<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1810.00826\" rel=\"noopener noreferrer nofollow\">GIN<\/a>. <\/p>\n<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u0435\u0440\u0448\u0438\u043d \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 GNN-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u0434\u0432\u0443\u043c\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"a_v^{t+1} = AGG \\left(h_w^t: w \\in \\mathcal{N}\\left(v\\right)\\right) \\\\ h_v^{t+1} = COMBINE \\left(h_v^t, a_v^{t+1}\\right),\" alt=\"a_v^{t+1} = AGG \\left(h_w^t: w \\in \\mathcal{N}\\left(v\\right)\\right) \\\\ h_v^{t+1} = COMBINE \\left(h_v^t, a_v^{t+1}\\right),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f57\/9da\/84b\/f579da84b4140cfd94cfc26465d1e72b.svg\" width=\"731\" height=\"50\"><\/p>\n<p>\u0433\u0434\u0435 <em>AGG<\/em> &#8212; \u043e\u0431\u044b\u0447\u043d\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u0430\u044f \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c (<em>sum<\/em>, <em>mean<\/em>, <em>max<\/em> etc.), <em>COMBINE<\/em> &#8212; \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0438 \u0435\u0435 \u0441\u043e\u0441\u0435\u0434\u0435\u0439.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8bb\/15a\/dda\/8bb15adda769ff6480738d36c9b40fc7.png\" alt=\"\u0414\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u043e\u0439 GNN \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0443\u0437\u043b\u0430 A. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: https:\/\/eng.uber.com\/uber-eats-graph-learning\/\" title=\"\u0414\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u043e\u0439 GNN \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0443\u0437\u043b\u0430 A. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: https:\/\/eng.uber.com\/uber-eats-graph-learning\/\" width=\"696\" height=\"414\"><figcaption>\u0414\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u043e\u0439 GNN \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0443\u0437\u043b\u0430 A. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: https:\/\/eng.uber.com\/uber-eats-graph-learning\/<\/figcaption><\/figure>\n<p>\u0411\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0438\u0447\u0438 \u0440\u0435\u0431\u0435\u0440, \u0443\u0433\u043b\u044b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0431\u0440\u0430\u043c\u0438 \u0438 \u0442.\u0434.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441 GNN \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 graph classification. \u042d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0442\u0430\u043a:<\/p>\n<ol>\n<li>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0432\u0435\u0440\u0448\u0438\u043d \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <em>L<\/em> \u0448\u0430\u0433\u043e\u0432 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u0441\u0432\u0435\u0440\u0442\u043e\u043a<\/p>\n<\/li>\n<li>\n<p>\u0418\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u0435\u0440\u0448\u0438\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0444\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0439 \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <em>sum<\/em>, <em>mean<\/em>, <em>max<\/em>)<\/p>\n<\/li>\n<li>\n<p> \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0435\u0442\u043a\u0443 \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0433\u0440\u0430\u0444\u0430<\/p>\n<\/li>\n<\/ol>\n<h3>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439<\/h3>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u0440\u0435\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 GNN:<\/p>\n<ul>\n<li>\n<p>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 (<abbr title=\"Locally Unordered\">LU<\/abbr>-GNN). \u0421\u044e\u0434\u0430 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0435 GCN, GraphSAGE, GAT, GIN \u0438 \u0434\u0440\u0443\u0433\u0438\u0435<\/p>\n<\/li>\n<li>\n<p><abbr title=\"Consistent Port Numbering Graph Neural Network\">CPNGNN<\/abbr>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u0432\u043e\u0434\u0438\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u043d\u0443\u043c\u0435\u0440\u0443\u044f \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043e\u0442 1 \u0434\u043e <em>d<\/em>, \u0433\u0434\u0435 <em>d<\/em> &#8212; \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0432\u0435\u0440\u0448\u0438\u043d\u044b (\u0432 <a href=\"https:\/\/arxiv.org\/abs\/1905.10261\" rel=\"noopener noreferrer nofollow\">\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435<\/a> \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 port numbering)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2003.03123\" rel=\"noopener noreferrer nofollow\">DimeNet<\/a>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 3D-\u0433\u0440\u0430\u0444\u0430\u043c\u0438, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c\u0438 \u0438 \u0443\u0433\u043b\u044b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0431\u0440\u0430\u043c\u0438<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f LU-GNN<\/h4>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f11\/ff8\/d5a\/f11ff8d5a5cbd09551c0daaa0ad0dbf0.png\" width=\"592\" height=\"180\"><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0440\u0430\u0444\u044b <strong><em>G<\/em><\/strong> \u0438 <strong><em><u>G<\/u><\/em> <\/strong>\u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b LU-GNN, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c \u0434\u043b\u044f \u0443\u0437\u043b\u043e\u0432 \u043e\u0434\u043d\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u0430, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0439 \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c readout-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0431\u0443\u0434\u0443\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438. CPNGNN \u0441 \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0441\u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u043a\u0430\u043a \u043e\u0434\u043d\u043e\u0446\u0432\u0435\u0442\u043d\u044b\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0432 <strong><em>G<\/em><\/strong> \u0438 <strong><em><u>G<\/u><\/em><\/strong>, \u0442\u0430\u043a \u0438 \u0441\u0430\u043c\u0438 \u0433\u0440\u0430\u0444\u044b.<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f CPNGNN<\/h4>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a92\/3fa\/521\/a923fa521d5ecc1d4d7d2f93c6b2854d.png\" width=\"592\" height=\"152\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u201c\u043f\u043b\u043e\u0445\u043e\u0439\u201d \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438 CPNGNN \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u0432\u0435\u0440\u0448\u0438\u043d \u043e\u0434\u043d\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u0430.<\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9c\/320\/499\/c9c3204996339db882edb95528b10d5a.png\" width=\"746\" height=\"180\"><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0440\u0430\u0444 <strong><em>S<sub>8<\/sub><\/em><\/strong><em> <\/em>\u0438 \u0434\u0432\u0435 \u043a\u043e\u043f\u0438\u0438<em> <\/em><strong><em>S<sub>4<\/sub><\/em><\/strong> \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u0445, \u043a\u0430\u043a \u043e\u0431\u0445\u0432\u0430\u0442, \u043e\u043a\u0440\u0443\u0436\u043d\u043e\u0441\u0442\u044c (\u0434\u043b\u0438\u043d\u0430 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0446\u0438\u043a\u043b\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e), \u0440\u0430\u0434\u0438\u0443\u0441, \u0434\u0438\u0430\u043c\u0435\u0442\u0440 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0446\u0438\u043a\u043b\u043e\u0432, \u043d\u043e CPNGNN \u0441 \u0442\u0430\u043a\u0438\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c \u043f\u043e\u0440\u0442\u043e\u0432 \u0438 readout-\u043e\u043c, \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u044b\u043c \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u0442 \u0434\u043b\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, \u043f\u043e \u043d\u0438\u043c \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0433\u0440\u0430\u0444\u043e\u0432. <\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77b\/cbe\/f6f\/77bcbef6fd7a81dad2ecab682e931ca1.png\" width=\"681\" height=\"240\"><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c CPNGNN \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u0436\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438 \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u0430 <strong><em>G<sub>2 <\/sub><\/em><\/strong>\u0438 \u0434\u0432\u0443\u0445 \u043a\u043e\u043f\u0438\u0439 <strong><em>G<sub>1<\/sub><\/em><\/strong>. \u041e\u0434\u043d\u0430\u043a\u043e, DimeNet \u0441\u043c\u043e\u0436\u0435\u0442 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0443\u0433\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0432\u0435\u0437\u0434\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u0438\u0445 \u0433\u0440\u0430\u0444\u043e\u0432, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <img decoding=\"async\" class=\"formula inline\" source=\"\\angle A_1B_1C_1\" alt=\"\\angle A_1B_1C_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7c8\/cf8\/3e7\/7c8cf83e7a41e1d7bdd3528ce5d9472c.svg\">\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\angle \\underline{A}_1\\underline{B}_1\\underline{C}_1\" alt=\"\\angle \\underline{A}_1\\underline{B}_1\\underline{C}_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/245\/db7\/0d7\/245db70d78408327d7ef0371e56dcdbc.svg\">.<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f DimeNet<\/h4>\n<figure class=\"bordered\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d5\/42e\/3e3\/0d542e3e3fb3b10a3e13f2d9b1612234.png\" width=\"541\" height=\"190\"><figcaption><\/figcaption><\/figure>\n<p>DimeNet \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u044c <strong><em>G<sub>4<\/sub><\/em><\/strong><em> <\/em>\u0438 \u0433\u0440\u0430\u0444, \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043a\u043e\u043f\u0438\u0439<em> <\/em><strong><em>G<sub>3<\/sub><\/em><\/strong>, \u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u0443\u0433\u043b\u044b \u0432 \u044d\u0442\u0438\u0445 \u0433\u0440\u0430\u0444\u0430\u0445 \u0431\u0443\u0434\u0443\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b. \u0417\u043d\u0430\u0447\u0438\u0442, \u043e\u043d\u0430 \u0442\u0430\u043a \u0436\u0435 \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043e\u0431\u043e\u0438\u0445 \u0433\u0440\u0430\u0444\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e <strong><em>G<sub>4<\/sub><\/em><\/strong> \u0438 <strong><em>G<sub>3<\/sub><\/em><\/strong> \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0433\u0440\u0430\u0444\u0430\u043c\u0438 <strong><em>S<sub>4<\/sub><\/em><\/strong> \u0438 <strong><em>S<sub>8<\/sub><\/em><\/strong>, \u043d\u0430\u0442\u044f\u043d\u0443\u0442\u044b\u043c\u0438 \u043d\u0430 \u043a\u0443\u0431, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0434\u0430\u0436\u0435 \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f DimeNet \u0441 \u043d\u0443\u043c\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u043f\u043e\u0440\u0442\u043e\u0432 \u0438\u0437 <strong><em>S<sub>4<\/sub><\/em><\/strong> \u0438 <strong><em>S<sub>8<\/sub><\/em><\/strong> \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439.<\/p>\n<h4>\u0428\u0430\u0433 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0445 GNN<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0438\u0434\u0435\u0438 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0443\u0433\u043b\u044b \u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u0434\u0430\u043d\u044b \u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u0440\u0435\u0431\u0435\u0440.<\/p>\n<p>GNN, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a:<\/p>\n<ol>\n<li>\n<p>\u0428\u0430\u0433 DimeNet<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 message-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0440\u0435\u0431\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"m_{uv}^{\\left(l\\right)}\" alt=\"m_{uv}^{\\left(l\\right)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/acb\/007\/b1b\/acb007b1b2962b973c2ac1ee45ab3b71.svg\"> \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\Phi_{uv}\" alt=\"\\Phi_{uv}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c62\/377\/c9e\/c62377c9ecf08e83eab62dd68445d20c.svg\">\u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\underline{m}_{uv}^{\\left(l\\right)} = \\underline{f}\\left(m_{uv}^{\\left(l\\right)}, \\Phi_{uv}\\right)\" alt=\"\\underline{m}_{uv}^{\\left(l\\right)} = \\underline{f}\\left(m_{uv}^{\\left(l\\right)}, \\Phi_{uv}\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c4\/2ad\/435\/3c42ad435877f57bc1b7adff09cee553.svg\"><\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0432\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\left(c_v\\left(i\\right), t_{i, v}\\right)\" alt=\"\\left(c_v\\left(i\\right), t_{i, v}\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/442\/d8c\/a08\/442d8ca086b0d574200d4e7dc62400b0.svg\">, \u0433\u0434\u0435 <em>c<\/em> &#8212; <em>i<\/em>-\u044b\u0439 \u0441\u043e\u0441\u0435\u0434 \u0432\u0435\u0440\u0448\u0438\u043d\u044b <em>v<\/em>, <em>t<\/em> &#8212; \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0440\u044f\u0434\u043a\u0430. <\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u044b: <\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"h_{v}^{\\left( l + 1 \\right)} = f \\left( h_{v}^{\\left( l \\right)}, \\underline{m}_{c_v\\left( 1 \\right)v}^{\\left( l \\right )}, t_{1, v}, ..., \\underline{m}_{c_v\\left( d \\left( v \\right ) \\right)v}^{\\left( l \\right )}, t_{ d \\left( v \\right ), v} \\right )\" alt=\"h_{v}^{\\left( l + 1 \\right)} = f \\left( h_{v}^{\\left( l \\right)}, \\underline{m}_{c_v\\left( 1 \\right)v}^{\\left( l \\right )}, t_{1, v}, ..., \\underline{m}_{c_v\\left( d \\left( v \\right ) \\right)v}^{\\left( l \\right )}, t_{ d \\left( v \\right ), v} \\right )\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/194\/dc6\/405\/194dc640594e9d42071b365e2a9f27c5.svg\"><\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c readout-\u0430 <\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0438\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u043e\u0440 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0433\u0440\u0430\u0444\u044b \u0432\u043e \u0432\u0441\u0435\u0445 \u0432\u044b\u0448\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/p>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: LU-GNN, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"h_v^{l + 1} = \\phi \\left( W_1x_v + W_2 \\rho \\left( \\sum_{u \\in \\mathcal{N} \\left( v \\right)} g\\left( h_u^l \\right)\\right) \\right),\" alt=\"h_v^{l + 1} = \\phi \\left( W_1x_v + W_2 \\rho \\left( \\sum_{u \\in \\mathcal{N} \\left( v \\right)} g\\left( h_u^l \\right)\\right) \\right),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f88\/a4c\/f24\/f88a4cf242b31a3bfd2150f441380fdb.svg\" width=\"321\" height=\"61\"><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\phi,\\ g,\\ \\rho\" alt=\"\\phi,\\ g,\\ \\rho\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/78f\/12e\/ca0\/78f12eca0059c63438caebdabe46d28b.svg\"> &#8212; \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, <img decoding=\"async\" class=\"formula inline\" source=\"x_v\" alt=\"x_v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/277\/76d\/2ab\/27776d2abe7fea4d91e63ada94646439.svg\"> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u043b\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u044b <em>v, \u0442\u0430\u043a\u0438\u0435, \u0447\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\rho \\left(0\\right) = 0,\\ \\forall v:  \\lVert x_v \\rVert_2 \\le B_x,\\ \\forall x \\in \\mathbb{R}^r: \\lVert \\phi \\left( x \\right ) \\rVert_{\\infty} \\le b < \\infty,\\ \\phi\\left( 0 \\right ) = 0,\\ g\\left( 0 \\right ) = 0\" alt=\"\\rho \\left(0\\right) = 0,\\ \\forall v:  \\lVert x_v \\rVert_2 \\le B_x,\\ \\forall x \\in \\mathbb{R}^r: \\lVert \\phi \\left( x \\right ) \\rVert_{\\infty} \\le b < \\infty,\\ \\phi\\left( 0 \\right ) = 0,\\ g\\left( 0 \\right ) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8e3\/1e9\/e55\/8e31e9e558fe82c34381406a915c1a42.svg\">. <\/em>\u0422\u0430\u043a\u0436\u0435, <img decoding=\"async\" class=\"formula inline\" source=\"\\phi,\\ g,\\ \\rho \" alt=\"\\phi,\\ g,\\ \\rho \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/559\/bdb\/b42\/559bdbb425bab8402ce8656d431453b1.svg\"> \u043b\u0438\u043f\u0448\u0438\u0446\u0435\u0432\u044b \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C_{\\phi},\\ C_{g},\\ C_{\\rho}\" alt=\"C_{\\phi},\\ C_{g},\\ C_{\\rho}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2e5\/550\/a52\/2e5550a525691063388ce8f5821957d0.svg\">\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\lVert W_1 \\rVert_2 \\le B_1,\\ \\lVert W_2 \\rVert_2 \\le B_2\" alt=\"\\lVert W_1 \\rVert_2 \\le B_1,\\ \\lVert W_2 \\rVert_2 \\le B_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/010\/247\/ce0\/010247ce0c635e1de35633c0048b7b94.svg\">. <img decoding=\"async\" class=\"formula inline\" source=\"W_1,\\ W_2,\\ \\phi,\\ g,\\ \\rho\" alt=\"W_1,\\ W_2,\\ \\phi,\\ g,\\ \\rho\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/90a\/f23\/bb9\/90af23bb94e1d02eb5dd0ccc844b7657.svg\"> \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u043b\u043e\u044f\u0445 GNN.<br \/>\u0414\u0430\u043b\u0435\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e6\/c40\/7fa\/5e6c407fab22525a0716305e61f7551f.svg\"> \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\lVert \\beta \\rVert_2 \\le B_{\\beta}\" alt=\"\\lVert \\beta \\rVert_2 \\le B_{\\beta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/576\/f74\/fb5\/576f74fb5b2ef721a4eab70baddca3cd.svg\">.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"f\\left(G\\right)\" alt=\"f\\left(G\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fa1\/58a\/fd0\/fa158afd01558f559500202596796d60.svg\"> &#8212; \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f GNN \u043a \u0433\u0440\u0430\u0444\u0443 \u0441 \u043c\u0435\u0442\u043a\u043e\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"y \\in \\{0, 1\\}\" alt=\"y \\in \\{0, 1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/09d\/0e0\/12a\/09d0e012aa0acf0ad32348a8a6257cda.svg\">, <img decoding=\"async\" class=\"formula inline\" source=\"p\\left( f \\left( G \\right ), y \\right ) = y \\left( 2f \\left( G \\right ) - 1 \\right ) + \\left( 1 - y \\right ) \\left( 1 - 2 f \\left( G \\right ) \\right )\" alt=\"p\\left( f \\left( G \\right ), y \\right ) = y \\left( 2f \\left( G \\right ) - 1 \\right ) + \\left( 1 - y \\right ) \\left( 1 - 2 f \\left( G \\right ) \\right )\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6d\/458\/07a\/d6d45807a8a82b16d7c97f349090f76d.svg\"> &#8212; \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0438 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043b\u0435\u0439\u0431\u043b\u0430, <img decoding=\"async\" class=\"formula inline\" source=\"p\\left( f \\left( G \\right ), y \\right ) < 0\" alt=\"p\\left( f \\left( G \\right ), y \\right ) < 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/341\/522\/0f9\/3415220f97efbd13d32474405bbf15db.svg\"> \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. <\/p>\n<p>\u0424\u0443\u043a\u043d\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"a = -p\\left( f \\left( G \\right ), y \\right )\" alt=\"a = -p\\left( f \\left( G \\right ), y \\right )\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/711\/cb8\/522\/711cb8522f6ab0b537ac4ae933ccd078.svg\">, <img class=\"formula inline\" source=\"\\mathbb{I}\\left[\\right]\" alt=\"\\mathbb{I}\\left[\\right]\"> &#8212; \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f:<\/p>\n<p><img class=\"formula\" source=\"loss_{\\gamma}\\left( a \\right ) = \\mathbb{I}\\left[ a > 0\\right ] + (1 + \\frac{a}{\\gamma})\\mathbb{I}\\left[ a \\in \\left[ \\gamma, 0 \\right ] \\right].&#187; alt=&#187;loss_{\\gamma}\\left( a \\right ) = \\mathbb{I}\\left[ a > 0\\right ] + (1 + \\frac{a}{\\gamma})\\mathbb{I}\\left[ a \\in \\left[ \\gamma, 0 \\right ] \\right].&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10f\/f87\/63c\/10ff8763ced82f8bcc4a3f1514442cd6.svg&#187; width=&#187;315&#8243; height=&#187;38&#8243;><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0420\u0430\u0434\u0435\u043c\u0430\u0445\u0435\u0440\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f GNN <img decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7f\/db0\/fba\/c7fdb0fba3b75d5017c1fa00dd2de3bc.svg\">\u043d\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\{G_j, y_j\\}_{j=1}^m\" alt=\"\\{G_j, y_j\\}_{j=1}^m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a6c\/5a3\/bf0\/a6c5a3bf0b77b0a222e49b90da1bf1a1.svg\">:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat{\\mathcal{R}}\\left( f \\right) = \\frac{1}{m} \\sum_{j = 1}^m loss_{\\gamma} \\left( -p\\left( f \\left(G_j\\right), y_j \\right) \\right)\" alt=\"\\hat{\\mathcal{R}}\\left( f \\right) = \\frac{1}{m} \\sum_{j = 1}^m loss_{\\gamma} \\left( -p\\left( f \\left(G_j\\right), y_j \\right) \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f71\/e49\/dc0\/f71e49dc0ad364eeaca8f166b26d4737.svg\" width=\"277\" height=\"52\"><\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0440\u043e\u044f\u0442 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e, \u043f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c <a href=\"https:\/\/mitpress.mit.edu\/books\/foundations-machine-learning\" rel=\"noopener noreferrer nofollow\">\u043b\u0435\u043c\u043c\u043e\u0439<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e, \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u043b\u044f GNN \u043c\u043e\u0436\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c \u0441\u0443\u043c\u043c\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0441 \u043f\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 \u0433\u0440\u0430\u0444\u0430. \u0414\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430, \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 (GNN, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043c\u0435\u0442\u043a\u0443 \u0433\u0440\u0430\u0444\u0430 \u043f\u043e \u043c\u0435\u0442\u043a\u0430\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0432\u0435\u0440\u0448\u0438\u043d), \u0432\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0441 \u043f\u043e \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f.<\/p>\n<p>\u0412\u0441\u0435 \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0435 \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0430 \u0444\u0430\u043a\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u0434\u0435\u0440\u0435\u0432\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0434\u0434\u0435\u0440\u0435\u0432\u044c\u044f<\/p>\n<\/li>\n<li>\n<p>\u041c\u0430\u043b\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u0435\u0441\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a \u0436\u0435 \u0432\u043d\u043e\u0441\u044f\u0442 \u043c\u0430\u043b\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u0430 (\u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435)<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 <a href=\"https:\/\/arxiv.org\/abs\/1910.12947\" rel=\"noopener noreferrer nofollow\">RNN<\/a> <\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d40\/0b6\/fb1\/d400b6fb1fb1aa95895c442e28653b1d.png\" alt=\"C\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 RNN, \u0432\u0438\u0434\u043d\u043e \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e\" title=\"C\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 RNN, \u0432\u0438\u0434\u043d\u043e \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e\" width=\"656\" height=\"247\"><figcaption>C\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 RNN, \u0432\u0438\u0434\u043d\u043e \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e<\/figcaption><\/figure>\n<p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{C}\" alt=\"\\mathcal{C}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3f4\/a14\/5e2\/3f4a145e2f2d1fec02ae79f7438d1fb1.svg\">&#8212; \u201c\u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u043a\u043e\u043b\u044f\u0446\u0438\u0438\u201d: <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{C} = C_{\\phi}C_gC_{\\rho}B_2\" alt=\"\\mathcal{C} = C_{\\phi}C_gC_{\\rho}B_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a0\/c9c\/c30\/8a0c9cc3017a5658e785710eab0c3a83.svg\">, <em>r<\/em> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430, <em>d<\/em> &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0432\u0435\u0440\u0448\u0438\u043d\u044b, <em>m<\/em> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, <em>L<\/em> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432, <img decoding=\"async\" class=\"formula inline\" source=\"\\gamma\" alt=\"\\gamma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/196\/3aa\/b33\/1963aab33332c2d7209d41130c17c791.svg\">&#8212; \u0437\u0430\u0437\u043e\u0440, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0439 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<p>\u042d\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 <a href=\"https:\/\/pubmed.ncbi.nlm.nih.gov\/30219742\/\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0431\u043e\u0442\u043e\u0439<\/a>, \u0433\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0446\u0435\u043d\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\tilde{\\mathcal{O}} \\left(r^3N \/ \\sqrt{m} \\right)\" alt=\"\\tilde{\\mathcal{O}} \\left(r^3N \/ \\sqrt{m} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ab\/627\/c23\/5ab627c23b50c5d382e7a21e2d047aae.svg\"><\/p>\n<p>\u0412\u0430\u0436\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c \u0432\u043d\u0443\u0442\u0440\u0438 GNN, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0439 (\u0432 readout-\u0435), \u043a\u0430\u043a \u0432 <a href=\"https:\/\/arxiv.org\/abs\/1910.06552\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u043e\u0439<\/a> \u0438 <a href=\"http:\/\/proceedings.mlr.press\/v54\/sokolic17a.html\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u043e\u0439<\/a> \u0441\u0442\u0430\u0442\u044c\u044f\u0445. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0433\u0440\u0430\u0444\u0430.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u0412\u0430\u0436\u043d\u0430 \u043a\u0430\u043a \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 (\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043f\u0430\u0440\u044b \u0433\u0440\u0430\u0444\u043e\u0432), \u0442\u0430\u043a \u0438 \u0435\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c. \u041e\u0434\u043d\u0430\u043a\u043e, \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u044b \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442 \u0431\u0430\u043b\u0430\u043d\u0441, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432.<\/p>\n<p>\u0421 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u043c\u0438 \u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0432 <a href=\"https:\/\/arxiv.org\/abs\/2002.06157\" rel=\"noopener noreferrer nofollow\">\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/a> \u0438\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0432 <a href=\"https:\/\/www.youtube.com\/watch?v=Ltu3vgCdbwg\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u043a\u043b\u0430\u0434<\/a> \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0430\u0432\u0442\u043e\u0440\u043e\u0432.<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/533942\/\"> https:\/\/habr.com\/ru\/post\/533942\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0442\u0440\u0435\u043d\u0434\u043e\u0432 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b \u0442\u0430\u043a\u0438\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u044f\u0434\u0435\u0440\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438, \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438. \u0412\u0441\u0435 \u044d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2002.06157\" rel=\"noopener noreferrer nofollow\">\u0420\u0430\u0431\u043e\u0442\u0430<\/a> \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0433\u0440\u0430\u0444\u043e\u0432, \u043d\u043e \u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b\u0445 \u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u0445, \u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0445 <abbr title=\"Graph Neural Network\">GNN<\/abbr>. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043e\u043d\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0442\u043e\u0447\u043d\u0435\u0435, \u0447\u0435\u043c VC-\u0433\u0440\u0430\u043d\u0438\u0446\u044b.<\/p>\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0413\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 &#8212; \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441 \u0433\u0440\u0430\u0444\u0430\u043c\u0438. \u041e\u043d\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. \u0422\u0438\u043f\u0438\u0447\u043d\u0430\u044f GNN \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0441\u043b\u043e\u0435\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0448\u0438\u043d \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440: <a href=\"https:\/\/arxiv.org\/abs\/1609.02907\" rel=\"noopener noreferrer nofollow\">GCN<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1706.02216\" rel=\"noopener noreferrer nofollow\">GraphSAGE<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1710.10903\" rel=\"noopener noreferrer nofollow\">GAT<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1810.00826\" rel=\"noopener noreferrer nofollow\">GIN<\/a>. <\/p>\n<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u0435\u0440\u0448\u0438\u043d \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 GNN-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u0434\u0432\u0443\u043c\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438:<\/p>\n<p>\u0433\u0434\u0435 <em>AGG<\/em> &#8212; \u043e\u0431\u044b\u0447\u043d\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u0430\u044f \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c (<em>sum<\/em>, <em>mean<\/em>, <em>max<\/em> etc.), <em>COMBINE<\/em> &#8212; \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0438 \u0435\u0435 \u0441\u043e\u0441\u0435\u0434\u0435\u0439.<\/p>\n<figure class=\"full-width\"><figcaption>\u0414\u0435\u0440\u0435\u0432\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u043e\u0439 GNN \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0443\u0437\u043b\u0430 A. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: https:\/\/eng.uber.com\/uber-eats-graph-learning\/<\/figcaption><\/figure>\n<p>\u0411\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0438\u0447\u0438 \u0440\u0435\u0431\u0435\u0440, \u0443\u0433\u043b\u044b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0431\u0440\u0430\u043c\u0438 \u0438 \u0442.\u0434.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441 GNN \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 graph classification. \u042d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0442\u0430\u043a:<\/p>\n<ol>\n<li>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0432\u0435\u0440\u0448\u0438\u043d \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <em>L<\/em> \u0448\u0430\u0433\u043e\u0432 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u0441\u0432\u0435\u0440\u0442\u043e\u043a<\/p>\n<\/li>\n<li>\n<p>\u0418\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u0435\u0440\u0448\u0438\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0444\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0439 \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <em>sum<\/em>, <em>mean<\/em>, <em>max<\/em>)<\/p>\n<\/li>\n<li>\n<p> \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0435\u0442\u043a\u0443 \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0433\u0440\u0430\u0444\u0430<\/p>\n<\/li>\n<\/ol>\n<h3>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439<\/h3>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u0440\u0435\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 GNN:<\/p>\n<ul>\n<li>\n<p>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 (<abbr title=\"Locally Unordered\">LU<\/abbr>-GNN). \u0421\u044e\u0434\u0430 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0435 GCN, GraphSAGE, GAT, GIN \u0438 \u0434\u0440\u0443\u0433\u0438\u0435<\/p>\n<\/li>\n<li>\n<p><abbr title=\"Consistent Port Numbering Graph Neural Network\">CPNGNN<\/abbr>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u0432\u043e\u0434\u0438\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u043d\u0443\u043c\u0435\u0440\u0443\u044f \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043e\u0442 1 \u0434\u043e <em>d<\/em>, \u0433\u0434\u0435 <em>d<\/em> &#8212; \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0432\u0435\u0440\u0448\u0438\u043d\u044b (\u0432 <a href=\"https:\/\/arxiv.org\/abs\/1905.10261\" rel=\"noopener noreferrer nofollow\">\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435<\/a> \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 port numbering)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2003.03123\" rel=\"noopener noreferrer nofollow\">DimeNet<\/a>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 3D-\u0433\u0440\u0430\u0444\u0430\u043c\u0438, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c\u0438 \u0438 \u0443\u0433\u043b\u044b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0431\u0440\u0430\u043c\u0438<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f LU-GNN<\/h4>\n<figure class=\"bordered full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0440\u0430\u0444\u044b <strong><em>G<\/em><\/strong> \u0438 <strong><em><u>G<\/u><\/em> <\/strong>\u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b LU-GNN, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c \u0434\u043b\u044f \u0443\u0437\u043b\u043e\u0432 \u043e\u0434\u043d\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u0430, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0439 \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c readout-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0431\u0443\u0434\u0443\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438. CPNGNN \u0441 \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0441\u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u043a\u0430\u043a \u043e\u0434\u043d\u043e\u0446\u0432\u0435\u0442\u043d\u044b\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0432 <strong><em>G<\/em><\/strong> \u0438 <strong><em><u>G<\/u><\/em><\/strong>, \u0442\u0430\u043a \u0438 \u0441\u0430\u043c\u0438 \u0433\u0440\u0430\u0444\u044b.<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f CPNGNN<\/h4>\n<figure class=\"bordered full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u201c\u043f\u043b\u043e\u0445\u043e\u0439\u201d \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438 CPNGNN \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u0432\u0435\u0440\u0448\u0438\u043d \u043e\u0434\u043d\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u0430.<\/p>\n<figure class=\"bordered full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0440\u0430\u0444 <strong><em>S<sub>8<\/sub><\/em><\/strong><em> <\/em>\u0438 \u0434\u0432\u0435 \u043a\u043e\u043f\u0438\u0438<em> <\/em><strong><em>S<sub>4<\/sub><\/em><\/strong> \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u0445, \u043a\u0430\u043a \u043e\u0431\u0445\u0432\u0430\u0442, \u043e\u043a\u0440\u0443\u0436\u043d\u043e\u0441\u0442\u044c (\u0434\u043b\u0438\u043d\u0430 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0446\u0438\u043a\u043b\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e), \u0440\u0430\u0434\u0438\u0443\u0441, \u0434\u0438\u0430\u043c\u0435\u0442\u0440 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0446\u0438\u043a\u043b\u043e\u0432, \u043d\u043e CPNGNN \u0441 \u0442\u0430\u043a\u0438\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c \u043f\u043e\u0440\u0442\u043e\u0432 \u0438 readout-\u043e\u043c, \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u044b\u043c \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u0442 \u0434\u043b\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, \u043f\u043e \u043d\u0438\u043c \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0433\u0440\u0430\u0444\u043e\u0432. <\/p>\n<figure class=\"bordered full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c CPNGNN \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u0436\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438 \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u0430 <strong><em>G<sub>2 <\/sub><\/em><\/strong>\u0438 \u0434\u0432\u0443\u0445 \u043a\u043e\u043f\u0438\u0439 <strong><em>G<sub>1<\/sub><\/em><\/strong>. \u041e\u0434\u043d\u0430\u043a\u043e, DimeNet \u0441\u043c\u043e\u0436\u0435\u0442 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0443\u0433\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0432\u0435\u0437\u0434\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u0438\u0445 \u0433\u0440\u0430\u0444\u043e\u0432, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438 .<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f DimeNet<\/h4>\n<figure class=\"bordered\"><figcaption><\/figcaption><\/figure>\n<p>DimeNet \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u044c <strong><em>G<sub>4<\/sub><\/em><\/strong><em> <\/em>\u0438 \u0433\u0440\u0430\u0444, \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043a\u043e\u043f\u0438\u0439<em> <\/em><strong><em>G<sub>3<\/sub><\/em><\/strong>, \u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u0443\u0433\u043b\u044b \u0432 \u044d\u0442\u0438\u0445 \u0433\u0440\u0430\u0444\u0430\u0445 \u0431\u0443\u0434\u0443\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b. \u0417\u043d\u0430\u0447\u0438\u0442, \u043e\u043d\u0430 \u0442\u0430\u043a \u0436\u0435 \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043e\u0431\u043e\u0438\u0445 \u0433\u0440\u0430\u0444\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e <strong><em>G<sub>4<\/sub><\/em><\/strong> \u0438 <strong><em>G<sub>3<\/sub><\/em><\/strong> \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0433\u0440\u0430\u0444\u0430\u043c\u0438 <strong><em>S<sub>4<\/sub><\/em><\/strong> \u0438 <strong><em>S<sub>8<\/sub><\/em><\/strong>, \u043d\u0430\u0442\u044f\u043d\u0443\u0442\u044b\u043c\u0438 \u043d\u0430 \u043a\u0443\u0431, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0434\u0430\u0436\u0435 \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f DimeNet \u0441 \u043d\u0443\u043c\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u043f\u043e\u0440\u0442\u043e\u0432 \u0438\u0437 <strong><em>S<sub>4<\/sub><\/em><\/strong> \u0438 <strong><em>S<sub>8<\/sub><\/em><\/strong> \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439.<\/p>\n<h4>\u0428\u0430\u0433 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0445 GNN<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0438\u0434\u0435\u0438 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0443\u0433\u043b\u044b \u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u0434\u0430\u043d\u044b \u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u0440\u0435\u0431\u0435\u0440.<\/p>\n<p>GNN, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a:<\/p>\n<ol>\n<li>\n<p>\u0428\u0430\u0433 DimeNet<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 message-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0440\u0435\u0431\u0440\u0430  \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0432\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 , \u0433\u0434\u0435 <em>c<\/em> &#8212; <em>i<\/em>-\u044b\u0439 \u0441\u043e\u0441\u0435\u0434 \u0432\u0435\u0440\u0448\u0438\u043d\u044b <em>v<\/em>, <em>t<\/em> &#8212; \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u043e\u0440\u044f\u0434\u043a\u0430. <\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u044b: <\/p>\n<p><\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c readout-\u0430 <\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0438\u043b\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u043e\u0440 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0433\u0440\u0430\u0444\u044b \u0432\u043e \u0432\u0441\u0435\u0445 \u0432\u044b\u0448\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/p>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: LU-GNN, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e<\/p>\n<p>\u0433\u0434\u0435  &#8212; \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438,  &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u043b\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u044b <em>v, \u0442\u0430\u043a\u0438\u0435, \u0447\u0442\u043e . <\/em>\u0422\u0430\u043a\u0436\u0435,  \u043b\u0438\u043f\u0448\u0438\u0446\u0435\u0432\u044b \u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430\u043c\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0430 .  \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u043b\u043e\u044f\u0445 GNN.<br \/>\u0414\u0430\u043b\u0435\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440  \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c .<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c  &#8212; \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f GNN \u043a \u0433\u0440\u0430\u0444\u0443 \u0441 \u043c\u0435\u0442\u043a\u043e\u0439 ,  &#8212; \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0438 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043b\u0435\u0439\u0431\u043b\u0430,  \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. <\/p>\n<p>\u0424\u0443\u043a\u043d\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u0433\u0434\u0435 ,  &#8212; \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f:<\/p>\n<p> 0\\right ] + (1 + \\frac{a}{\\gamma})\\mathbb{I}\\left[ a \\in \\left[ \\gamma, 0 \\right ] \\right].&#187; alt=&#187;loss_{\\gamma}\\left( a \\right ) = \\mathbb{I}\\left[ a > 0\\right ] + (1 + \\frac{a}{\\gamma})\\mathbb{I}\\left[ a \\in \\left[ \\gamma, 0 \\right ] \\right].&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10f\/f87\/63c\/10ff8763ced82f8bcc4a3f1514442cd6.svg&#187; width=&#187;315&#8243; height=&#187;38&#8243;><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0420\u0430\u0434\u0435\u043c\u0430\u0445\u0435\u0440\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f GNN \u043d\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 :<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0440\u043e\u044f\u0442 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e, \u043f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c <a href=\"https:\/\/mitpress.mit.edu\/books\/foundations-machine-learning\" rel=\"noopener noreferrer nofollow\">\u043b\u0435\u043c\u043c\u043e\u0439<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e, \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u043b\u044f GNN \u043c\u043e\u0436\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c \u0441\u0443\u043c\u043c\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0441 \u043f\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 \u0433\u0440\u0430\u0444\u0430. \u0414\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430, \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 (GNN, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043c\u0435\u0442\u043a\u0443 \u0433\u0440\u0430\u0444\u0430 \u043f\u043e \u043c\u0435\u0442\u043a\u0430\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0432\u0435\u0440\u0448\u0438\u043d), \u0432\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0441 \u043f\u043e \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u044c\u044f\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f.<\/p>\n<p>\u0412\u0441\u0435 \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0435 \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0430 \u0444\u0430\u043a\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u0434\u0435\u0440\u0435\u0432\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0434\u0434\u0435\u0440\u0435\u0432\u044c\u044f<\/p>\n<\/li>\n<li>\n<p>\u041c\u0430\u043b\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u0435\u0441\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a \u0436\u0435 \u0432\u043d\u043e\u0441\u044f\u0442 \u043c\u0430\u043b\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u0430 (\u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435)<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0448\u0438\u0431\u043a\u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 <a href=\"https:\/\/arxiv.org\/abs\/1910.12947\" rel=\"noopener noreferrer nofollow\">RNN<\/a> <\/p>\n<figure class=\"bordered full-width\"><figcaption>C\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 RNN, \u0432\u0438\u0434\u043d\u043e \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e<\/figcaption><\/figure>\n<p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 &#8212; \u201c\u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u043a\u043e\u043b\u044f\u0446\u0438\u0438\u201d: , <em>r<\/em> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430, <em>d<\/em> &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0432\u0435\u0440\u0448\u0438\u043d\u044b, <em>m<\/em> &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, <em>L<\/em> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432, &#8212; \u0437\u0430\u0437\u043e\u0440, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0439 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<p>\u042d\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 <a href=\"https:\/\/pubmed.ncbi.nlm.nih.gov\/30219742\/\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0431\u043e\u0442\u043e\u0439<\/a>, \u0433\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0446\u0435\u043d\u043a\u0443 <\/p>\n<p>\u0412\u0430\u0436\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c \u0432\u043d\u0443\u0442\u0440\u0438 GNN, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0439 (\u0432 readout-\u0435), \u043a\u0430\u043a \u0432 <a href=\"https:\/\/arxiv.org\/abs\/1910.06552\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u043e\u0439<\/a> \u0438 <a href=\"http:\/\/proceedings.mlr.press\/v54\/sokolic17a.html\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u043e\u0439<\/a> \u0441\u0442\u0430\u0442\u044c\u044f\u0445. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0433\u0440\u0430\u0444\u0430.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u0412\u0430\u0436\u043d\u0430 \u043a\u0430\u043a \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 (\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043f\u0430\u0440\u044b \u0433\u0440\u0430\u0444\u043e\u0432), \u0442\u0430\u043a \u0438 \u0435\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c. \u041e\u0434\u043d\u0430\u043a\u043e, \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u044b \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442 \u0431\u0430\u043b\u0430\u043d\u0441, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432.<\/p>\n<p>\u0421 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u043c\u0438 \u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0432 <a href=\"https:\/\/arxiv.org\/abs\/2002.06157\" rel=\"noopener noreferrer nofollow\">\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/a> \u0438\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0432 <a href=\"https:\/\/www.youtube.com\/watch?v=Ltu3vgCdbwg\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u043a\u043b\u0430\u0434<\/a> \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0430\u0432\u0442\u043e\u0440\u043e\u0432.<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/533942\/\"> https:\/\/habr.com\/ru\/post\/533942\/<\/a><br \/><\/br><\/br><\/br><\/br><\/p>\n<\/li>\n<\/ol>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-315159","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/315159","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=315159"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/315159\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=315159"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=315159"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=315159"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}