{"id":503889,"date":"2026-11-19T11:15:50","date_gmt":"2026-11-19T08:15:50","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=503889"},"modified":"2026-11-19T11:15:50","modified_gmt":"2026-11-19T08:15:50","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=503889","title":{"rendered":"\u041a\u0430\u043a\u00a0\u043d\u0430\u0443\u0447\u0438\u0442\u044c BERT \u00ab\u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c\u00bb \u043d\u0430\u0443\u043a\u0443: \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043d\u0430\u0443\u0447\u043d\u043e\u2011\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0441\u00a0\u0433\u0440\u0430\u0444\u0430\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u0439"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h4>\u0421\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u043e\u0433\u0430\u0442\u0438\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0431\u0435\u0437\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u043e\u0442\u0435\u0440\u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430<\/h4>\n<p>\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u044f\u043c\u0438: \u043e\u043d\u0438 \u043d\u0435\u00a0\u0437\u043d\u0430\u044e\u0442 \u044f\u0432\u043d\u043e, \u0447\u0442\u043e \u00ab\u043c\u0435\u0442\u043e\u0434 \u043e\u043f\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432\u00bb\u00a0\u2014 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043f\u0440\u044f\u043c\u043e\u0439 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439 \u0432\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a\u00a0K\u2011BERT \u0438\u043b\u0438\u00a0ERNIE) \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"O(N^2)\" alt=\"O(N^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e9\/8e9c5fee65a4f32abccd0e83ff203e39.svg\" width=\"53\" height=\"21\" data-width=\"6.606\" data-height=\"2.565\" data-vertical-align=\"-0.566\" style=\"width: 6.606ex; height: 2.565ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e9\/8e9c5fee65a4f32abccd0e83ff203e39.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e9\/8e9c5fee65a4f32abccd0e83ff203e39.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0432\u043d\u043e\u0441\u044f\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0448\u0443\u043c \u0438 \u0436\u0435\u0441\u0442\u043a\u043e \u0443\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043b\u0438\u043c\u0438\u0442 \u0432 512\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e\u00a0\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f\u00a0\u043e\u0431\u044a\u0435\u043c\u043d\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439. \u0412\u00a0\u0434\u0430\u043d\u043d\u043e\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0443\u0442\u044c. \u0418\u0434\u0435\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0443\u0437\u043b\u043e\u0432 \u0433\u0440\u0430\u0444\u0430 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 TransE, RotatE \u0438\u043b\u0438\u00a0node2vec, \u0430\u00a0\u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0438\u0445 \u043f\u043e\u00a0\u043a\u043b\u044e\u0447\u0443 \u0437\u0430\u00a0\u0432\u0440\u0435\u043c\u044f <img decoding=\"async\" class=\"formula inline\" source=\"O(1)\" alt=\"O(1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e0\/5e079a28737d5dd019a3b8f6133ee55e.svg\" width=\"37\" height=\"18\" data-width=\"4.618\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.618ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e0\/5e079a28737d5dd019a3b8f6133ee55e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e0\/5e079a28737d5dd019a3b8f6133ee55e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0442\u044c \u0441\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c RuBERT \u043f\u0435\u0440\u0435\u0434 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c. \u041d\u0438\u0436\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0443 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u043e\u043f\u0438\u0448\u0435\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/e2\/82\/7f\/e2827f997b5b00241942cfbfaf3e7424.png\" alt=\"\u0420\u0438\u0441.1 \u0411\u043b\u043e\u043a-\u0441\u0445\u0435\u043c\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430: \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 RuBERT \u0438 \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0434 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c MLP-\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c.     \" title=\"\u0420\u0438\u0441.1 \u0411\u043b\u043e\u043a-\u0441\u0445\u0435\u043c\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430: \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 RuBERT \u0438 \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0434 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c MLP-\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c.     \" width=\"2560\" height=\"1837\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/e2\/82\/7f\/e2827f997b5b00241942cfbfaf3e7424.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/e2\/82\/7f\/e2827f997b5b00241942cfbfaf3e7424.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441.1\u00a0\u0411\u043b\u043e\u043a\u2011\u0441\u0445\u0435\u043c\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430: \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 RuBERT \u0438 \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0434 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c MLP\u2011\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c. <\/figcaption><\/div>\n<\/figure>\n<h3>\u0417\u0430\u0447\u0435\u043c \u0432\u0441\u0451 \u044d\u0442\u043e<\/h3>\n<p>\u041d\u0430\u0443\u0447\u043d\u044b\u0445 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0439 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u0412\u0440\u0443\u0447\u043d\u0443\u044e \u0440\u0443\u0431\u0440\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0443\u0436\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u0442\u0440\u0430\u044f \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044c \u0432\u00a0\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c\u00a0\u0431\u044b, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 BERT, \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430\u00a0\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0414\u043b\u044f\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043e\u0431\u0449\u0435\u0439 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0442\u0430\u043a \u0438 \u0435\u0441\u0442\u044c. \u041d\u043e\u00a0\u043d\u0430\u0443\u0447\u043d\u043e\u2011\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438\u043d\u0430\u0447\u0435: \u043e\u043d\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044e, \u0440\u0435\u0434\u043a\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u0430\u0431\u043e \u043e\u0442\u0440\u0430\u0436\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0439 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0432.<\/p>\n<p>\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041e\u043d \u043c\u043e\u0436\u0435\u0442 \u00ab\u0437\u043d\u0430\u0442\u044c\u00bb, \u0447\u0442\u043e \u00ab\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a\u00bb \u0438 \u00ab\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u00bb \u0447\u0430\u0441\u0442\u043e \u0441\u0442\u043e\u044f\u0442 \u0440\u044f\u0434\u043e\u043c, \u043d\u043e\u00a0\u044f\u0432\u043d\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u0442\u043e\u0440\u043e\u0433\u043e, \u0443\u00a0\u043d\u0435\u0433\u043e \u043d\u0435\u0442. \u041f\u0440\u0438\u00a0\u0441\u0442\u043e\u043b\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u0438 \u0441\u00a0\u043c\u0435\u0436\u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u0430\u0440\u043d\u044b\u043c\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043c\u0438 \u0438\u043b\u0438\u00a0\u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u0441\u00a0\u0434\u0435\u0444\u0438\u0446\u0438\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043e\u0434\u043d\u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 \u043d\u0435\u00a0\u0445\u0432\u0430\u0442\u0430\u0435\u0442. \u0413\u0440\u0430\u0444 \u0437\u043d\u0430\u043d\u0438\u0439, \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u0445\u0440\u0430\u043d\u0438\u0442 \u0442\u0430\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438 \u044f\u0432\u043d\u043e \u0432\u00a0\u0432\u0438\u0434\u0435 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u043e\u0432, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u0438\u0437\u00a0\u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0430, \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0439 \u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u0441\u043b\u0435\u043f\u043e\u0442\u0443 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u043a\u00a0\u0444\u0430\u043a\u0442\u0430\u043c. \u0412\u043e\u043f\u0440\u043e\u0441 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0432\u00a0\u0442\u043e\u043c, \u043a\u0430\u043a\u00a0\u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u044d\u0442\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0435\u00a0\u043f\u043e\u0442\u0435\u0440\u044f\u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u043d\u0435\u00a0\u043e\u0431\u0440\u0435\u0437\u0430\u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u0437\u2011\u0437\u0430 \u043b\u0438\u043c\u0438\u0442\u043e\u0432 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 1. \u0427\u0442\u043e\u00a0\u0443\u0436\u0435 \u0435\u0441\u0442\u044c (\u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442)<\/h3>\n<h4>1.1. SciBERT \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438<\/h4>\n<p>\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 BERT \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f \u043d\u0430\u00a0\u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u0438 \u0438 BookCorpus, \u0447\u0442\u043e\u00a0\u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0431\u0449\u0443\u044e \u043b\u0435\u043a\u0441\u0438\u043a\u0443. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0433\u043e \u043a\u00a0\u043d\u0430\u0443\u043a\u0435 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 \u0441\u0434\u0432\u0438\u0433 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 (domain shift). \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 WordPiece \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0435\u0440\u043c\u0438\u043d\u044b \u043d\u0430\u00a0\u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b, \u0442\u0435\u0440\u044f\u044f \u0438\u0445 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443. \u0412\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d SciBERT, \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 1,14\u00a0\u043c\u043b\u043d \u043f\u043e\u043b\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439. \u0415\u0433\u043e \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435\u00a0\u2014 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c SciVocab, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0441\u00a0\u043d\u0443\u043b\u044f \u043d\u0430\u00a0\u043d\u0430\u0443\u0447\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u041e\u043d \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432, \u0434\u0430\u0432\u0430\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043c\u0435\u0442\u0440\u0438\u043a \u0432\u00a0\u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0443\u00a0SciBERT \u0435\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f. \u0412\u043e\u2011\u043f\u0435\u0440\u0432\u044b\u0445, \u044d\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u044f\u0437\u044b\u043a\u0430 \u0438 \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438: \u0434\u043b\u044f\u00a0\u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u043e\u2011\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c RuBERT, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438 \u043d\u0430\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u0412\u043e\u2011\u0432\u0442\u043e\u0440\u044b\u0445, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u2011\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0438 \u043d\u0435\u00a0\u0438\u043c\u0435\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u044f\u043c.<\/p>\n<h4>1.2. K\u2011BERT: \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u0440\u044f\u043c\u043e \u0432\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/h4>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 K\u2011BERT \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0436\u0435\u043a\u0446\u0438\u044e \u0437\u043d\u0430\u043d\u0438\u0439 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0445 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u044b \u0438\u0437\u00a0\u0433\u0440\u0430\u0444\u0430 \u0438 \u043f\u043e\u0434\u0448\u0438\u0432\u0430\u0435\u0442 \u043a\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044e, \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044f \u0435\u0433\u043e \u0432\u00a0\u0434\u0435\u0440\u0435\u0432\u043e. \u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f soft\u2011position embedding, \u0433\u0434\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u043d\u0430\u043d\u0438\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0449\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430, \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438 (visible matrix), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u043c\u043a\u0430\u043c\u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0442\u0432\u0438 \u0437\u043d\u0430\u043d\u0438\u0439, \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0430\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0448\u0443\u043c.<\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c, \u0434\u043b\u044f\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0438\u043d\u0443\u0441\u044b. \u0420\u043e\u0441\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u043e\u0432 \u0434\u0435\u043b\u0430\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c self\u2011attention <img decoding=\"async\" class=\"formula inline\" source=\"O(N^2)\" alt=\"O(N^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e9\/8e9c5fee65a4f32abccd0e83ff203e39.svg\" width=\"53\" height=\"21\" data-width=\"6.606\" data-height=\"2.565\" data-vertical-align=\"-0.566\" style=\"width: 6.606ex; height: 2.565ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e9\/8e9c5fee65a4f32abccd0e83ff203e39.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e9\/8e9c5fee65a4f32abccd0e83ff203e39.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0435\u043f\u043e\u0434\u044a\u0435\u043c\u043d\u043e\u0439. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043b\u0438\u043c\u0438\u0442 \u0432 512\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e, \u0432\u044b\u043d\u0443\u0436\u0434\u0430\u044f \u043e\u0431\u0440\u0435\u0437\u0430\u0442\u044c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u0442\u0430\u0442\u044c\u0438. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Entity Linking: \u0435\u0441\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d \u043f\u0440\u0438\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u00a0\u043d\u0435\u0432\u0435\u0440\u043d\u043e\u043c\u0443 \u0443\u0437\u043b\u0443 \u0433\u0440\u0430\u0444\u0430, \u044d\u0442\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0442\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/89\/6a\/04\/896a0434f9a0e5ebcf4235e8198be08d.png\" alt=\" \u0420\u0438\u0441.2 \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u0413\u0440\u0430\u0444\u0430 \u0417\u043d\u0430\u043d\u0438\u0439 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 (Sentence Tree). \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate.  \" title=\" \u0420\u0438\u0441.2 \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u0413\u0440\u0430\u0444\u0430 \u0417\u043d\u0430\u043d\u0438\u0439 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 (Sentence Tree). \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate.  \" width=\"645\" height=\"155\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/89\/6a\/04\/896a0434f9a0e5ebcf4235e8198be08d.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/89\/6a\/04\/896a0434f9a0e5ebcf4235e8198be08d.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441.2\u00a0\u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u0413\u0440\u0430\u0444\u0430 \u0417\u043d\u0430\u043d\u0438\u0439 \u0432\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 (Sentence Tree). \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate. <\/figcaption><\/div>\n<\/figure>\n<h4>1.3. ERNIE: \u0437\u043d\u0430\u043d\u0438\u044f \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h4>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c ERNIE \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u0442 \u0437\u043d\u0430\u043d\u0438\u044f \u0438\u043d\u0430\u0447\u0435. \u0412\u043c\u0435\u0441\u0442\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e\u0433\u0440\u0430\u043d\u043d\u043e\u0435 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0446\u0435\u043b\u044b\u0445 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0414\u043b\u044f\u00a0\u0438\u0445 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c \u0438\u0437\u00a0\u0431\u0430\u0437\u044b \u0437\u043d\u0430\u043d\u0438\u0439, \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0434\u043b\u044f\u00a0\u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u00a0\u2014 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438 \u0433\u0440\u0430\u0444\u0430. \u0421\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0436\u0430\u0442 \u043b\u0438\u0448\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u00a0\u0438\u0435\u0440\u0430\u0440\u0445\u0438\u044f \u0438 \u0442\u0438\u043f\u044b \u0441\u0432\u044f\u0437\u0435\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043b\u0438\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432) \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u043c\u0438. \u041a\u00a0\u0442\u043e\u043c\u0443\u00a0\u0436\u0435 \u0432\u00a0\u0443\u0437\u043a\u0438\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u0443\u00a0\u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 \u043f\u043e\u043f\u0440\u043e\u0441\u0442\u0443 \u043d\u0435\u0442 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u044d\u043d\u0446\u0438\u043a\u043b\u043e\u043f\u0435\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0434\u043b\u044f\u00a0\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0418\u0437\u00a0\u043a\u0440\u0430\u0442\u043a\u043e\u0433\u043e \u043e\u0431\u0437\u043e\u0440\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u044f\u0441\u043d\u043e, \u0447\u0442\u043e\u00a0\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0444\u043e\u0432 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043d\u0443\u0442\u0440\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u00a0\u2014 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0438 \u0445\u0440\u0443\u043f\u043a\u0438\u0439. \u0413\u043e\u0440\u0430\u0437\u0434\u043e \u0446\u0435\u043b\u0435\u0441\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0443\u0445\u043f\u043e\u0442\u043e\u0447\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443: \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043f\u043e\u043a\u043e\u0435 \u0438 \u043e\u0431\u043e\u0433\u0430\u0449\u0430\u0442\u044c \u0435\u0435 \u0432\u044b\u0445\u043e\u0434 \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438.<\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 2. \u041a\u0430\u043a\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u0440\u0430\u0444 \u0437\u043d\u0430\u043d\u0438\u0439 (KGE)<\/h3>\n<p>\u0418\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0443\u0437\u043b\u043e\u0432 \u0433\u0440\u0430\u0444\u0430. \u041d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u00a0\u043a\u043b\u044e\u0447\u0443 (lookup), \u0447\u0442\u043e\u00a0\u0434\u0430\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"O(1)\" alt=\"O(1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e0\/5e079a28737d5dd019a3b8f6133ee55e.svg\" width=\"37\" height=\"18\" data-width=\"4.618\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.618ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e0\/5e079a28737d5dd019a3b8f6133ee55e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e0\/5e079a28737d5dd019a3b8f6133ee55e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u00a0\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u0437\u00a0\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 (GNN) \u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/2a\/66\/71\/2a66716f2e15a701dbb69ae30cf25536.png\" alt=\"\u0420\u0438\u0441.3 \u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439: \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 (\u0443\u0437\u043b\u044b) \u0438 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 (\u0440\u0435\u0431\u0440\u0430) \u0437\u0430\u0434\u0430\u043d\u044b \u044f\u0432\u043d\u043e.  \" title=\"\u0420\u0438\u0441.3 \u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439: \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 (\u0443\u0437\u043b\u044b) \u0438 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 (\u0440\u0435\u0431\u0440\u0430) \u0437\u0430\u0434\u0430\u043d\u044b \u044f\u0432\u043d\u043e.  \" width=\"1024\" height=\"989\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/2a\/66\/71\/2a66716f2e15a701dbb69ae30cf25536.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/2a\/66\/71\/2a66716f2e15a701dbb69ae30cf25536.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441.3\u00a0\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439: \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 (\u0443\u0437\u043b\u044b) \u0438 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 (\u0440\u0435\u0431\u0440\u0430) \u0437\u0430\u0434\u0430\u043d\u044b \u044f\u0432\u043d\u043e. <\/figcaption><\/div>\n<\/figure>\n<h4>2.1. TransE<\/h4>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c TransE \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u00a0\u0442\u0440\u0430\u043d\u0441\u043b\u044f\u0446\u0438\u044e (\u0441\u0434\u0432\u0438\u0433) \u0432\u00a0\u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0414\u043b\u044f\u00a0\u0442\u0440\u0438\u043f\u043b\u0435\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"(h, r, t)\" alt=\"(h, r, t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b01\/b01d2a13945274314137c514bb8297c0.svg\" width=\"55\" height=\"18\" data-width=\"6.913\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.913ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b01\/b01d2a13945274314137c514bb8297c0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b0\/b01\/b01d2a13945274314137c514bb8297c0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u043e\u0441\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{h} + \\mathbf{r} \\approx \\mathbf{t}\" alt=\"\\mathbf{h} + \\mathbf{r} \\approx \\mathbf{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44f\/44fdfb572061d891764a0f6e6ba8ed3e.svg\" width=\"74\" height=\"18\" data-width=\"9.312\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.312ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44f\/44fdfb572061d891764a0f6e6ba8ed3e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44f\/44fdfb572061d891764a0f6e6ba8ed3e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u00a0\u0437\u0430\u0437\u043e\u0440\u043e\u043c (margin\u2011based ranking), \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L} = \\sum_{(h,r,t) \\in S} \\sum_{(h',r,t') \\in S'} \\max(0, \\gamma + \\Vert{}\\mathbf{h}+\\mathbf{r}-\\mathbf{t}\\Vert{} - \\Vert{}\\mathbf{h}'+\\mathbf{r}-\\mathbf{t}'\\Vert{})\" alt=\"\\mathcal{L} = \\sum_{(h,r,t) \\in S} \\sum_{(h',r,t') \\in S'} \\max(0, \\gamma + \\Vert{}\\mathbf{h}+\\mathbf{r}-\\mathbf{t}\\Vert{} - \\Vert{}\\mathbf{h}'+\\mathbf{r}-\\mathbf{t}'\\Vert{})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/09\/098\/09842caee2b0cec6fda6b73331bf5152.svg\" width=\"467\" height=\"43\" data-width=\"58.423\" data-height=\"5.371\" data-vertical-align=\"-2.12\" style=\"width: 58.423ex; height: 5.371ex; vertical-align: -2.12ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/09\/098\/09842caee2b0cec6fda6b73331bf5152.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/09\/098\/09842caee2b0cec6fda6b73331bf5152.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\gamma\" alt=\"\\gamma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg\" width=\"12\" height=\"18\" data-width=\"1.229\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.229ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ae\/ae5\/ae539dfcc999c28e25a0f3ae65c1de79.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u044d\u0442\u043e margin (\u0437\u0430\u0437\u043e\u0440), \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\Vert{}\\cdot\\Vert{}\" alt=\"\\Vert{}\\cdot\\Vert{}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/43\/43b\/43b8cee7f0e1b7f349a742893cae650b.svg\" width=\"31\" height=\"18\" data-width=\"3.897\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 3.897ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/43\/43b\/43b8cee7f0e1b7f349a742893cae650b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/43\/43b\/43b8cee7f0e1b7f349a742893cae650b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u043d\u043e\u0440\u043c\u0430 (\u043e\u0431\u044b\u0447\u043d\u043e <img decoding=\"async\" class=\"formula inline\" source=\"L_1\" alt=\"L_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2c\/2c6\/2c6f3b6c16df97a1b00e04ff17e4906e.svg\" width=\"20\" height=\"15\" data-width=\"2.528\" data-height=\"1.885\" data-vertical-align=\"-0.339\" style=\"width: 2.528ex; height: 1.885ex; vertical-align: -0.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2c\/2c6\/2c6f3b6c16df97a1b00e04ff17e4906e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2c\/2c6\/2c6f3b6c16df97a1b00e04ff17e4906e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/07\/07c\/07cbd6c155424e110559a84df364be5a.svg\" width=\"20\" height=\"15\" data-width=\"2.528\" data-height=\"1.885\" data-vertical-align=\"-0.339\" style=\"width: 2.528ex; height: 1.885ex; vertical-align: -0.339ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/07\/07c\/07cbd6c155424e110559a84df364be5a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/07\/07c\/07cbd6c155424e110559a84df364be5a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>).<\/p>\n<h4>2.2. RotatE<\/h4>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434 RotatE \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432\u00a0\u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbb{C}^d\" alt=\"\\mathbb{C}^d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b5\/1b53c7d644de6ca175e18648306d652d.svg\" width=\"21\" height=\"21\" data-width=\"2.653\" data-height=\"2.61\" data-vertical-align=\"-0.74\" style=\"width: 2.653ex; height: 2.61ex; vertical-align: -0.74ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b5\/1b53c7d644de6ca175e18648306d652d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b5\/1b53c7d644de6ca175e18648306d652d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0432\u00a0\u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0433\u043e\u043b\u043e\u0432\u044b \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0410\u0434\u0430\u043c\u0430\u0440\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathbf{t} = \\mathbf{h} \\circ \\mathbf{r}\" alt=\"\\mathbf{t} = \\mathbf{h} \\circ \\mathbf{r}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f96\/f96025157966023f496447046960bd37.svg\" width=\"69\" height=\"18\" data-width=\"8.683\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 8.683ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f96\/f96025157966023f496447046960bd37.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f96\/f96025157966023f496447046960bd37.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u0430\u00a0\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\vert{}\\mathbf{r}_i\\vert{} = 1\" alt=\"\\vert{}\\mathbf{r}_i\\vert{} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/752\/752b06383193dc975c9ff942ebcacacf.svg\" width=\"58\" height=\"18\" data-width=\"7.218\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.218ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/752\/752b06383193dc975c9ff942ebcacacf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/752\/752b06383193dc975c9ff942ebcacacf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0447\u0435\u0440\u0435\u0437 \u0444\u0430\u0437\u043e\u0432\u044b\u0435 \u0443\u0433\u043b\u044b \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{r}_i = e^{i\\theta_{r,i}}\" alt=\"\\mathbf{r}_i = e^{i\\theta_{r,i}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4da\/4da4047cc1165fd992b2712bbe7839dd.svg\" width=\"70\" height=\"21\" data-width=\"8.721\" data-height=\"2.628\" data-vertical-align=\"-0.748\" style=\"width: 8.721ex; height: 2.628ex; vertical-align: -0.748ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4da\/4da4047cc1165fd992b2712bbe7839dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4da\/4da4047cc1165fd992b2712bbe7839dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0442\u0440\u0430\u0436\u0430\u0442\u044c \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 (\u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\pi\" alt=\"\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4f0\/4f08e3dba63dc6d40b22952c7a9dac6d.svg\" width=\"12\" height=\"18\" data-width=\"1.29\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.29ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4f0\/4f08e3dba63dc6d40b22952c7a9dac6d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4f0\/4f08e3dba63dc6d40b22952c7a9dac6d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>), \u0430\u043d\u0442\u0438\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435, \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0438 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0446\u0435\u043f\u043e\u0447\u043a\u0438, \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0439 \u0438 \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u0439 \u0438\u043c\u0435\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<h4>2.3. node2vec<\/h4>\n<p>\u0412\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0\u0442\u0440\u0430\u043d\u0441\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c node2vec \u043e\u0442\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438. \u041e\u043d \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0443\u0437\u043b\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0431\u043b\u0443\u0436\u0434\u0430\u043d\u0438\u044f \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 Skip\u2011gram \u0434\u043b\u044f\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043b\u043e\u0442\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u0432\u00a0\u0448\u0438\u0440\u0438\u043d\u0443 (BFS) \u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 (DFS) \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.138ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u0432\u00a0\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0443\u0437\u0435\u043b, \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg\" width=\"12\" height=\"12\" data-width=\"1.041\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.041ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u044f\u0432\u043d\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0442\u0438\u043f\u043e\u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f\u00a0\u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0442\u0435\u0441\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u043e\u0432 \u0432\u00a0\u0433\u0440\u0430\u0444\u0430\u0445 \u0441\u043e \u0441\u043b\u0430\u0431\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439.<\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 3. \u041a\u0430\u043a\u00a0\u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/h3>\n<p>\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a\u00a0\u0442\u0430\u043a\u0441\u043e\u043d\u043e\u043c\u0438\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0418\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u043e\u0436\u0438\u043b\u0438\u0441\u044c \u0442\u0440\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a\u00a0\u0441\u043b\u0438\u044f\u043d\u0438\u044e (fusion). \u0420\u0430\u043d\u043d\u0435\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0441\u044b\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e\u00a0\u0447\u0430\u0441\u0442\u043e \u043b\u043e\u043c\u0430\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432. \u041f\u043e\u0437\u0434\u043d\u0435\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u00a0\u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438\u0445 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0438\u0437\u2011\u0437\u0430 \u0447\u0435\u0433\u043e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043b\u0438\u0448\u0435\u043d\u044b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (feature\u2011level fusion). \u041f\u0440\u0438\u00a0\u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0442\u0440\u043e\u043d\u0443\u0442\u044b\u043c\u0438, \u0430\u00a0\u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0434 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u043c \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d\u043e\u043c (MLP). \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0443 \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u0433\u0440\u0430\u0444\u0430. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442, \u0447\u0442\u043e\u00a0\u043e\u0431\u043e\u0433\u0430\u0449\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 <code>[CLS]<\/code> \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u0437\u00a0\u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/87\/96\/07\/87960714296d532e0e579298a3f3f989.png\" alt=\"\u0420\u0438\u0441.4 \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u0441\u043b\u0438\u044f\u043d\u0438\u044e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate.  \" title=\"\u0420\u0438\u0441.4 \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u0441\u043b\u0438\u044f\u043d\u0438\u044e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate.  \" width=\"476\" height=\"420\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/87\/96\/07\/87960714296d532e0e579298a3f3f989.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/87\/96\/07\/87960714296d532e0e579298a3f3f989.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441.4\u00a0\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a\u00a0\u0441\u043b\u0438\u044f\u043d\u0438\u044e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate. <\/figcaption><\/div>\n<\/figure>\n<h3>\u0427\u0430\u0441\u0442\u044c 4. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u0435\u0442\u043e\u0434\u0430<\/h3>\n<h4>4.1. \u041e\u0431\u0449\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/h4>\n<p>\u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c\u00a0\u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{D}\" alt=\"\\mathcal{D}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eef\/eefecd9cb0345697ddaac0281588a08d.svg\" width=\"14\" height=\"18\" data-width=\"1.744\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.744ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eef\/eefecd9cb0345697ddaac0281588a08d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eef\/eefecd9cb0345697ddaac0281588a08d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{C}\" alt=\"\\mathcal{C}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg\" width=\"12\" height=\"18\" data-width=\"1.192\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.192ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dcf\/dcf5a9d1d0921e88bbbb7524c84d99af.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u0430\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0438 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a\u0438.<\/p>\n<h4>4.2. \u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a<\/h4>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u043c RuBERT \u0441\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{X} = \\{[CLS], x_1, x_2, \\dots, x_N, [SEP]\\}\" alt=\"\\mathbf{X} = \\{[CLS], x_1, x_2, \\dots, x_N, [SEP]\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/83f\/83f0badeb62f02d2c50a231937686abb.svg\" width=\"279\" height=\"18\" data-width=\"34.893\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 34.893ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/83f\/83f0badeb62f02d2c50a231937686abb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/83f\/83f0badeb62f02d2c50a231937686abb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg\" width=\"16\" height=\"12\" data-width=\"2.009\" data-height=\"1.545\" style=\"width: 2.009ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d9\/8d9c307cb7f3c4a32822a51922d1ceaa.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0435\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{H} \\in \\mathbb{R}^{N \\times d}\" alt=\"\\mathbf{H} \\in \\mathbb{R}^{N \\times d}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ecb\/ecb355cbddc3e34eae026b2a20f31041.svg\" width=\"81\" height=\"21\" data-width=\"10.121\" data-height=\"2.61\" data-vertical-align=\"-0.74\" style=\"width: 10.121ex; height: 2.61ex; vertical-align: -0.74ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ecb\/ecb355cbddc3e34eae026b2a20f31041.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ecb\/ecb355cbddc3e34eae026b2a20f31041.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0415\u0434\u0438\u043d\u043e\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0438\u0437\u00a0\u0442\u043e\u043a\u0435\u043d\u0430 <code>[CLS]<\/code>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathbf{v}_{text} = \\mathbf{H}_{[CLS]}\" alt=\"\\mathbf{v}_{text} = \\mathbf{H}_{[CLS]}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/121\/121ae4bdf28c46c92ee65b6d91b44d26.svg\" width=\"111\" height=\"20\" data-width=\"13.844\" data-height=\"2.497\" data-vertical-align=\"-0.683\" style=\"width: 13.844ex; height: 2.497ex; vertical-align: -0.683ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/121\/121ae4bdf28c46c92ee65b6d91b44d26.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/121\/121ae4bdf28c46c92ee65b6d91b44d26.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0434\u0443\u043b\u044c NER \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437\u00a0\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"E = \\{e_1, e_2, \\dots, e_k\\}\" alt=\"E = \\{e_1, e_2, \\dots, e_k\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f2489994e96f5e90c8e89c1720d418.svg\" width=\"154\" height=\"18\" data-width=\"19.214\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 19.214ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f2489994e96f5e90c8e89c1720d418.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9f\/b9f2489994e96f5e90c8e89c1720d418.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/ad\/e1\/4f\/ade14fec30698894d65a0d4b00470f59.png\" alt=\" \u0420\u0438\u0441.5 \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 BERT: \u043e\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043a \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate.  \" title=\" \u0420\u0438\u0441.5 \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 BERT: \u043e\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043a \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate.  \" width=\"420\" height=\"238\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/ad\/e1\/4f\/ade14fec30698894d65a0d4b00470f59.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/ad\/e1\/4f\/ade14fec30698894d65a0d4b00470f59.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441.5\u00a0\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 BERT: \u043e\u0442\u00a0\u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043a\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate. <\/figcaption><\/div>\n<\/figure>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 RuBERT \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430\u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e BERT (\u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440). \u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438 \u0432\u0435\u0441\u0430\u0445, \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 DeepPavlov. \u0422\u043e\u043a\u0435\u043d [CLS], \u043f\u0440\u043e\u0445\u043e\u0434\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u00a0\u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0434\u043b\u044f\u00a0\u0441\u043b\u0438\u044f\u043d\u0438\u044f \u0441\u00a0\u0433\u0440\u0430\u0444\u043e\u043c. <\/p>\n<h4>4.3. \u0413\u0440\u0430\u0444\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a<\/h4>\n<p>\u0413\u0440\u0430\u0444 \u0437\u043d\u0430\u043d\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"G\" alt=\"G\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/dfc\/dfcf28d0734569a6a693bc8194de62bf.svg\" width=\"14\" height=\"13\" data-width=\"1.778\" data-height=\"1.645\" data-vertical-align=\"-0.05\" style=\"width: 1.778ex; height: 1.645ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/dfc\/dfcf28d0734569a6a693bc8194de62bf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/df\/dfc\/dfcf28d0734569a6a693bc8194de62bf.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u043e\u0432\u0430\u043d \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\phi: V \\to \\mathbb{R}^{d_{kg}}\" alt=\"\\phi: V \\to \\mathbb{R}^{d_{kg}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/afb\/afb0837ec48bf8480a1f486a99133032.svg\" width=\"99\" height=\"21\" data-width=\"12.408\" data-height=\"2.61\" data-vertical-align=\"-0.74\" style=\"width: 12.408ex; height: 2.61ex; vertical-align: -0.74ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/afb\/afb0837ec48bf8480a1f486a99133032.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/af\/afb\/afb0837ec48bf8480a1f486a99133032.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0414\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"e_i \\in E\" alt=\"e_i \\in E\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bce\/bce47e9280c5dc229b020f612a2e39c3.svg\" width=\"50\" height=\"18\" data-width=\"6.288\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.288ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bce\/bce47e9280c5dc229b020f612a2e39c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bc\/bce\/bce47e9280c5dc229b020f612a2e39c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u043d\u0438\u0435 \u0441\u00a0\u0443\u0437\u043b\u043e\u043c \u0433\u0440\u0430\u0444\u0430 (Entity Linking). \u0418\u0437\u00a0\u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0443\u0442\u0435\u043c \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u044f (mean pooling):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathbf{v}_{graph} = \\frac{1}{\\vert{}E\\vert{}} \\sum_{i=1}^{\\vert{}E\\vert{}} \\phi(e_i)\" alt=\"\\mathbf{v}_{graph} = \\frac{1}{\\vert{}E\\vert{}} \\sum_{i=1}^{\\vert{}E\\vert{}} \\phi(e_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/782\/782f76cae3c408ee202d5e93626e2b76.svg\" width=\"172\" height=\"56\" data-width=\"21.541\" data-height=\"7.044\" data-vertical-align=\"-2.956\" style=\"width: 21.541ex; height: 7.044ex; vertical-align: -2.956ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/782\/782f76cae3c408ee202d5e93626e2b76.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/78\/782\/782f76cae3c408ee202d5e93626e2b76.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0435\u00a0\u043d\u0430\u0439\u0434\u0435\u043d\u043e, \u0432\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{v}_{graph}\" alt=\"\\mathbf{v}_{graph}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c1\/8c133c5ada4537c6f1ff07ee906d18ff.svg\" width=\"45\" height=\"19\" data-width=\"5.618\" data-height=\"2.364\" data-vertical-align=\"-0.616\" style=\"width: 5.618ex; height: 2.364ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c1\/8c133c5ada4537c6f1ff07ee906d18ff.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c1\/8c133c5ada4537c6f1ff07ee906d18ff.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{0}\" alt=\"\\mathbf{0}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e45\/e45b8bb3cfcf35d5b90ce71294ac321d.svg\" width=\"12\" height=\"18\" data-width=\"1.301\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.301ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e45\/e45b8bb3cfcf35d5b90ce71294ac321d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e45\/e45b8bb3cfcf35d5b90ce71294ac321d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0433\u0438\u0431\u043a\u043e \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u043b\u0430\u0435\u0442 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043e\u0442\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<h4>4.4. \u0421\u043b\u0438\u044f\u043d\u0438\u0435 \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f<\/h4>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f (<img decoding=\"async\" class=\"formula inline\" source=\"\\oplus\" alt=\"\\oplus\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61a\/61a41642d26f221806dcbccfcebc2ef8.svg\" width=\"14\" height=\"18\" data-width=\"1.76\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.76ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61a\/61a41642d26f221806dcbccfcebc2ef8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61a\/61a41642d26f221806dcbccfcebc2ef8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u0432\u00a0\u0435\u0434\u0438\u043d\u043e\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathbf{v} = \\mathbf{v}_{text} \\oplus \\mathbf{v}_{graph}\" alt=\"\\mathbf{v} = \\mathbf{v}_{text} \\oplus \\mathbf{v}_{graph}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/32\/329\/32901c445e9b327447eb0638b5ad4368.svg\" width=\"137\" height=\"19\" data-width=\"17.151\" data-height=\"2.364\" data-vertical-align=\"-0.616\" style=\"width: 17.151ex; height: 2.364ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/32\/329\/32901c445e9b327447eb0638b5ad4368.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/32\/329\/32901c445e9b327447eb0638b5ad4368.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 MLP \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043b\u043e\u0435\u043c (\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 ReLU \u0438 \u0441\u043b\u043e\u0435\u043c Dropout) \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c Softmax:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\hat{\\mathbf{y}} = \\text{Softmax}(\\mathbf{W}_2 \\cdot \\text{Dropout}(\\text{ReLU}(\\mathbf{W}_1 \\mathbf{v} + \\mathbf{b}_1)) + \\mathbf{b}_2)\" alt=\"\\hat{\\mathbf{y}} = \\text{Softmax}(\\mathbf{W}_2 \\cdot \\text{Dropout}(\\text{ReLU}(\\mathbf{W}_1 \\mathbf{v} + \\mathbf{b}_1)) + \\mathbf{b}_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71b\/71b707901f75d18ccab2282f55623a67.svg\" width=\"421\" height=\"19\" data-width=\"52.659\" data-height=\"2.403\" data-vertical-align=\"-0.636\" style=\"width: 52.659ex; height: 2.403ex; vertical-align: -0.636ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71b\/71b707901f75d18ccab2282f55623a67.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/71\/71b\/71b707901f75d18ccab2282f55623a67.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043a\u0440\u043e\u0441\u0441\u2011\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 AdamW.<\/p>\n<h4>4.5\u00a0\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u00a0PyTorch<\/h4>\n<p>\u0414\u043b\u044f\u00a0\u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043d\u0430\u0431\u0440\u043e\u0441\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<pre><code class=\"python\">import torchimport torch.nn as nnfrom transformers import AutoModelclass HybridClassifier(nn.Module):    def __init__(self, kg_embeddings: torch.Tensor, num_classes: int,                 hidden: int = 256, p: float = 0.3,                 bert_name: str = \"DeepPavlov\/rubert-base-cased\"):        super().__init__()        self.bert = AutoModel.from_pretrained(bert_name)                # \u041f\u0440\u0435\u0434\u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0443\u0437\u043b\u043e\u0432 \u0433\u0440\u0430\u0444\u0430: \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u044b, O(1) lookup        self.kg = nn.Embedding.from_pretrained(kg_embeddings, freeze=True, padding_idx=0)        d_kg = kg_embeddings.size(1)                self.fc1 = nn.Linear(768 + d_kg, hidden)        self.drop = nn.Dropout(p)        self.fc2 = nn.Linear(hidden, num_classes)    def forward(self, input_ids, attention_mask, entity_ids, entity_mask):        # \u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a: \u0432\u0435\u043a\u0442\u043e\u0440 \u0442\u043e\u043a\u0435\u043d\u0430 [CLS]        v_text = self.bert(input_ids=input_ids,                           attention_mask=attention_mask).last_hidden_state[:, 0]                # \u0413\u0440\u0430\u0444\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a: lookup + mean pooling        emb = self.kg(entity_ids)                       # [B, K, d_kg]        mask = entity_mask.unsqueeze(-1).float()        # [B, K, 1]        summed = (emb * mask).sum(dim=1)        count = mask.sum(dim=1).clamp(min=1.0)        v_graph = summed \/ count                        # \u041d\u0443\u043b\u0438, \u0435\u0441\u043b\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0435\u0442                # Feature-level fusion \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f        v = torch.cat([v_text, v_graph], dim=-1)        h = torch.relu(self.fc1(v))        return self.fc2(self.drop(h))<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<h3>\u0427\u0430\u0441\u0442\u044c 5. \u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u043b\u0430\u043d \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0438\u043c\u0435\u0435\u0442 \u0440\u044f\u0434 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432. \u0412\u043e\u2011\u043f\u0435\u0440\u0432\u044b\u0445, \u044d\u0442\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c: \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u0444\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"O(1)\" alt=\"O(1)\" src=\"https:\/\/habrastorage.org\/extt\/f5\/a0\/e0\/f5a0e0ed431b432899ff58c88184c470.svg\" width=\"38\" height=\"19\" data-width=\"4.618\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.618ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/f5\/a0\/e0\/f5a0e0ed431b432899ff58c88184c470.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/f5\/a0\/e0\/f5a0e0ed431b432899ff58c88184c470.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u00a0\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0438\u0437\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0442\u00a0\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u044f\u0436\u0435\u043b\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u043b\u0438\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c GNN \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u0412\u043e\u2011\u0432\u0442\u043e\u0440\u044b\u0445, \u043c\u0435\u0442\u043e\u0434 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u043d\u043a\u0430\u043f\u0441\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u043d\u0430\u0443\u043a\u0438 \u043f\u0440\u044f\u043c\u043e \u0432\u00a0\u043f\u043b\u043e\u0442\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440. \u0412\u2011\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u043e\u043d \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a\u00a0\u043e\u0448\u0438\u0431\u043a\u0430\u043c. \u041d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u00a0\u043c\u043e\u0434\u0443\u043b\u0435 Entity Linking \u0434\u043b\u044f\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u00a0\u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u0430\u00a0\u043d\u0435\u00a0\u043b\u043e\u043c\u0430\u0435\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043a\u0430\u043a\u00a0\u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0441\u00a0\u043f\u0440\u044f\u043c\u043e\u0439 \u0438\u043d\u0436\u0435\u043a\u0446\u0438\u0435\u0439 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a\u00a0\u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0435\u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b, \u0432\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f Macro F1-score, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a\u00a0\u043c\u0438\u043d\u043e\u0440\u0438\u0442\u0430\u0440\u043d\u044b\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f Micro F1, Accuracy \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 (\u0432 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445 \u043d\u0430\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442). \u0412\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043b\u0430\u0439\u043d\u043e\u0432 \u0434\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u044b\u0441\u0442\u0443\u043f\u044f\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b (TF\u2011IDF \u0432\u00a0\u0441\u0432\u044f\u0437\u043a\u0435 \u0441\u00a0Logistic Regression \u0438\u043b\u0438\u00a0SVM), \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c RuBERT (\u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u0432\u043a\u043b\u0430\u0434\u0430 \u0433\u0440\u0430\u0444\u0430), \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 K\u2011BERT \u0438 ERNIE (\u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0431\u0430\u043b\u0430\u043d\u0441\u0430 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430). \u0413\u043b\u0430\u0432\u043d\u044b\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c \u0443\u0441\u043f\u0435\u0445\u0430 \u0441\u0442\u0430\u043d\u0435\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 Macro F1\u00a0\u043f\u043e\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u00a0\u0431\u0430\u0437\u043e\u0432\u044b\u043c RuBERT \u043f\u0440\u0438\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0449\u0435\u043c \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043d\u0430\u0443\u0447\u043d\u043e\u2011\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0438, \u0447\u0435\u0433\u043e \u043b\u0438\u0448\u0435\u043d\u044b \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u0430\u0437\u043e\u0432\u044b\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b, \u0434\u0430\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u043f\u044b \u043a\u00a0\u0441\u0442\u0440\u043e\u0433\u0438\u043c \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u0432\u044f\u0437\u044f\u043c. \u041f\u043e\u043f\u044b\u0442\u043a\u0438\u00a0\u0436\u0435 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0441\u0432\u044f\u0437\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043e\u0431\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u0442\u0430\u0441\u0442\u0440\u043e\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0440\u043e\u0441\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u043d\u0435\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b \u0441\u00a0\u043e\u0431\u044a\u0435\u043c\u043d\u044b\u043c\u0438 \u0441\u0442\u0430\u0442\u044c\u044f\u043c\u0438.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u0430\u044f \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u044b\u0439 \u0438 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441. \u041e\u043d\u0430 \u0431\u0430\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0441\u0442\u0440\u043e\u0433\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0442\u0440\u0443\u0434\u0430: \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u0430\u00a0\u0433\u0440\u0430\u0444 \u0437\u043d\u0430\u043d\u0438\u0439 \u0441\u043d\u0430\u0431\u0436\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u0435\u0448\u0435\u0432\u043e\u0439 \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u043f\u0440\u0435\u0434\u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 KGE\u2011\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u0421\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u044d\u0442\u0438 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0434 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439 \u0431\u0435\u0437\u00a0\u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0437\u043a\u0438 self\u2011attention. \u0412\u00a0\u0442\u0435\u043e\u0440\u0438\u0438 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435\u0435 \u043e\u0442\u00a0\u043e\u0431\u043e\u0438\u0445: \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0438 \u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0441\u0442\u0440\u043e\u0433\u043e\u0441\u0442\u044c \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u0439. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043e\u0431\u0435\u0449\u0430\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0439 \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0434\u043b\u044f\u00a0\u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u0432\u00a0\u0432\u044b\u0441\u043e\u043a\u043e\u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a. \u041e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u0442 \u0441\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1109736\/\">https:\/\/habr.com\/ru\/articles\/1109736\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0421\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u043e\u0433\u0430\u0442\u0438\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0431\u0435\u0437\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u043e\u0442\u0435\u0440\u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u044f\u043c\u0438: \u043e\u043d\u0438 \u043d\u0435\u00a0\u0437\u043d\u0430\u044e\u0442 \u044f\u0432\u043d\u043e, \u0447\u0442\u043e \u00ab\u043c\u0435\u0442\u043e\u0434 \u043e\u043f\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432\u00bb\u00a0\u2014 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043f\u0440\u044f\u043c\u043e\u0439 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439 \u0432\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (\u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a\u00a0K\u2011BERT \u0438\u043b\u0438\u00a0ERNIE) \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e , \u0432\u043d\u043e\u0441\u044f\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0448\u0443\u043c \u0438 \u0436\u0435\u0441\u0442\u043a\u043e \u0443\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043b\u0438\u043c\u0438\u0442 \u0432 512\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e\u00a0\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f\u00a0\u043e\u0431\u044a\u0435\u043c\u043d\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439. \u0412\u00a0\u0434\u0430\u043d\u043d\u043e\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0443\u0442\u044c. \u0418\u0434\u0435\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0443\u0437\u043b\u043e\u0432 \u0433\u0440\u0430\u0444\u0430 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 TransE, RotatE \u0438\u043b\u0438\u00a0node2vec, \u0430\u00a0\u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0438\u0445 \u043f\u043e\u00a0\u043a\u043b\u044e\u0447\u0443 \u0437\u0430\u00a0\u0432\u0440\u0435\u043c\u044f  \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0442\u044c \u0441\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c RuBERT \u043f\u0435\u0440\u0435\u0434 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c. \u041d\u0438\u0436\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0443 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u043e\u043f\u0438\u0448\u0435\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439.\u0420\u0438\u0441.1\u00a0\u0411\u043b\u043e\u043a\u2011\u0441\u0445\u0435\u043c\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430: \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 RuBERT \u0438 \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0434 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c MLP\u2011\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c. \u0417\u0430\u0447\u0435\u043c \u0432\u0441\u0451 \u044d\u0442\u043e\u041d\u0430\u0443\u0447\u043d\u044b\u0445 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0439 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u0412\u0440\u0443\u0447\u043d\u0443\u044e \u0440\u0443\u0431\u0440\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0443\u0436\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u0442\u0440\u0430\u044f \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044c \u0432\u00a0\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c\u00a0\u0431\u044b, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 BERT, \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430\u00a0\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0414\u043b\u044f\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043e\u0431\u0449\u0435\u0439 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0442\u0430\u043a \u0438 \u0435\u0441\u0442\u044c. \u041d\u043e\u00a0\u043d\u0430\u0443\u0447\u043d\u043e\u2011\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438\u043d\u0430\u0447\u0435: \u043e\u043d\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044e, \u0440\u0435\u0434\u043a\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u0430\u0431\u043e \u043e\u0442\u0440\u0430\u0436\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0439 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0432.\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041e\u043d \u043c\u043e\u0436\u0435\u0442 \u00ab\u0437\u043d\u0430\u0442\u044c\u00bb, \u0447\u0442\u043e \u00ab\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a\u00bb \u0438 \u00ab\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u00bb \u0447\u0430\u0441\u0442\u043e \u0441\u0442\u043e\u044f\u0442 \u0440\u044f\u0434\u043e\u043c, \u043d\u043e\u00a0\u044f\u0432\u043d\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u0442\u043e\u0440\u043e\u0433\u043e, \u0443\u00a0\u043d\u0435\u0433\u043e \u043d\u0435\u0442. \u041f\u0440\u0438\u00a0\u0441\u0442\u043e\u043b\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u0438 \u0441\u00a0\u043c\u0435\u0436\u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u0430\u0440\u043d\u044b\u043c\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043c\u0438 \u0438\u043b\u0438\u00a0\u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u0441\u00a0\u0434\u0435\u0444\u0438\u0446\u0438\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043e\u0434\u043d\u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 \u043d\u0435\u00a0\u0445\u0432\u0430\u0442\u0430\u0435\u0442. \u0413\u0440\u0430\u0444 \u0437\u043d\u0430\u043d\u0438\u0439, \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u0445\u0440\u0430\u043d\u0438\u0442 \u0442\u0430\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438 \u044f\u0432\u043d\u043e \u0432\u00a0\u0432\u0438\u0434\u0435 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u043e\u0432, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u0438\u0437\u00a0\u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0430, \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0439 \u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u0441\u043b\u0435\u043f\u043e\u0442\u0443 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u043a\u00a0\u0444\u0430\u043a\u0442\u0430\u043c. \u0412\u043e\u043f\u0440\u043e\u0441 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0432\u00a0\u0442\u043e\u043c, \u043a\u0430\u043a\u00a0\u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u044d\u0442\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0435\u00a0\u043f\u043e\u0442\u0435\u0440\u044f\u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u043d\u0435\u00a0\u043e\u0431\u0440\u0435\u0437\u0430\u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u0437\u2011\u0437\u0430 \u043b\u0438\u043c\u0438\u0442\u043e\u0432 \u043f\u0430\u043c\u044f\u0442\u0438.\u0427\u0430\u0441\u0442\u044c 1. \u0427\u0442\u043e\u00a0\u0443\u0436\u0435 \u0435\u0441\u0442\u044c (\u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442)1.1. SciBERT \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0434\u0432\u0438\u0433\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 BERT \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f \u043d\u0430\u00a0\u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u0438 \u0438 BookCorpus, \u0447\u0442\u043e\u00a0\u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0431\u0449\u0443\u044e \u043b\u0435\u043a\u0441\u0438\u043a\u0443. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0433\u043e \u043a\u00a0\u043d\u0430\u0443\u043a\u0435 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 \u0441\u0434\u0432\u0438\u0433 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 (domain shift). \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 WordPiece \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0435\u0440\u043c\u0438\u043d\u044b \u043d\u0430\u00a0\u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b, \u0442\u0435\u0440\u044f\u044f \u0438\u0445 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443. \u0412\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d SciBERT, \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 1,14\u00a0\u043c\u043b\u043d \u043f\u043e\u043b\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439. \u0415\u0433\u043e \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435\u00a0\u2014 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c SciVocab, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0441\u00a0\u043d\u0443\u043b\u044f \u043d\u0430\u00a0\u043d\u0430\u0443\u0447\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u041e\u043d \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432, \u0434\u0430\u0432\u0430\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043c\u0435\u0442\u0440\u0438\u043a \u0432\u00a0\u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.\u041e\u0434\u043d\u0430\u043a\u043e \u0443\u00a0SciBERT \u0435\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f. \u0412\u043e\u2011\u043f\u0435\u0440\u0432\u044b\u0445, \u044d\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u044f\u0437\u044b\u043a\u0430 \u0438 \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438: \u0434\u043b\u044f\u00a0\u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u043e\u2011\u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c RuBERT, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438 \u043d\u0430\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u0412\u043e\u2011\u0432\u0442\u043e\u0440\u044b\u0445, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u2011\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0438 \u043d\u0435\u00a0\u0438\u043c\u0435\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u044f\u043c.1.2. K\u2011BERT: \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u0440\u044f\u043c\u043e \u0432\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 K\u2011BERT \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0436\u0435\u043a\u0446\u0438\u044e \u0437\u043d\u0430\u043d\u0438\u0439 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0445 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u044b \u0438\u0437\u00a0\u0433\u0440\u0430\u0444\u0430 \u0438 \u043f\u043e\u0434\u0448\u0438\u0432\u0430\u0435\u0442 \u043a\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044e, \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044f \u0435\u0433\u043e \u0432\u00a0\u0434\u0435\u0440\u0435\u0432\u043e. \u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f soft\u2011position embedding, \u0433\u0434\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u043d\u0430\u043d\u0438\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0449\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430, \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438 (visible matrix), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u043c\u043a\u0430\u043c\u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0442\u0432\u0438 \u0437\u043d\u0430\u043d\u0438\u0439, \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0430\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0448\u0443\u043c.\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c, \u0434\u043b\u044f\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0438\u043d\u0443\u0441\u044b. \u0420\u043e\u0441\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u0442\u0440\u0438\u043f\u043b\u0435\u0442\u043e\u0432 \u0434\u0435\u043b\u0430\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c self\u2011attention  \u043d\u0435\u043f\u043e\u0434\u044a\u0435\u043c\u043d\u043e\u0439. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043b\u0438\u043c\u0438\u0442 \u0432 512\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e, \u0432\u044b\u043d\u0443\u0436\u0434\u0430\u044f \u043e\u0431\u0440\u0435\u0437\u0430\u0442\u044c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u0442\u0430\u0442\u044c\u0438. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Entity Linking: \u0435\u0441\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d \u043f\u0440\u0438\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u00a0\u043d\u0435\u0432\u0435\u0440\u043d\u043e\u043c\u0443 \u0443\u0437\u043b\u0443 \u0433\u0440\u0430\u0444\u0430, \u044d\u0442\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0442\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.\u0420\u0438\u0441.2\u00a0\u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u0413\u0440\u0430\u0444\u0430 \u0417\u043d\u0430\u043d\u0438\u0439 \u0432\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 (Sentence Tree). \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate. 1.3. ERNIE: \u0437\u043d\u0430\u043d\u0438\u044f \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u041c\u043e\u0434\u0435\u043b\u044c ERNIE \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u0442 \u0437\u043d\u0430\u043d\u0438\u044f \u0438\u043d\u0430\u0447\u0435. \u0412\u043c\u0435\u0441\u0442\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e\u0433\u0440\u0430\u043d\u043d\u043e\u0435 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0446\u0435\u043b\u044b\u0445 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0414\u043b\u044f\u00a0\u0438\u0445 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u043c \u0438\u0437\u00a0\u0431\u0430\u0437\u044b \u0437\u043d\u0430\u043d\u0438\u0439, \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0434\u043b\u044f\u00a0\u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438\u00a0\u2014 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438 \u0433\u0440\u0430\u0444\u0430. \u0421\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0436\u0430\u0442 \u043b\u0438\u0448\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u00a0\u0438\u0435\u0440\u0430\u0440\u0445\u0438\u044f \u0438 \u0442\u0438\u043f\u044b \u0441\u0432\u044f\u0437\u0435\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043b\u0438\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432) \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u043c\u0438. \u041a\u00a0\u0442\u043e\u043c\u0443\u00a0\u0436\u0435 \u0432\u00a0\u0443\u0437\u043a\u0438\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u0443\u00a0\u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 \u043f\u043e\u043f\u0440\u043e\u0441\u0442\u0443 \u043d\u0435\u0442 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u044d\u043d\u0446\u0438\u043a\u043b\u043e\u043f\u0435\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0434\u043b\u044f\u00a0\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.\u0418\u0437\u00a0\u043a\u0440\u0430\u0442\u043a\u043e\u0433\u043e \u043e\u0431\u0437\u043e\u0440\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u044f\u0441\u043d\u043e, \u0447\u0442\u043e\u00a0\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0444\u043e\u0432 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043d\u0443\u0442\u0440\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u00a0\u2014 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0438 \u0445\u0440\u0443\u043f\u043a\u0438\u0439. \u0413\u043e\u0440\u0430\u0437\u0434\u043e \u0446\u0435\u043b\u0435\u0441\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0443\u0445\u043f\u043e\u0442\u043e\u0447\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443: \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043f\u043e\u043a\u043e\u0435 \u0438 \u043e\u0431\u043e\u0433\u0430\u0449\u0430\u0442\u044c \u0435\u0435 \u0432\u044b\u0445\u043e\u0434 \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u0438 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438.\u0427\u0430\u0441\u0442\u044c 2. \u041a\u0430\u043a\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u0440\u0430\u0444 \u0437\u043d\u0430\u043d\u0438\u0439 (KGE)\u0418\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0443\u0437\u043b\u043e\u0432 \u0433\u0440\u0430\u0444\u0430. \u041d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u00a0\u043a\u043b\u044e\u0447\u0443 (lookup), \u0447\u0442\u043e\u00a0\u0434\u0430\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c  \u043d\u0430\u00a0\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u0437\u00a0\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 (GNN) \u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.\u0420\u0438\u0441.3\u00a0\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u0437\u043d\u0430\u043d\u0438\u0439: \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 (\u0443\u0437\u043b\u044b) \u0438 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 (\u0440\u0435\u0431\u0440\u0430) \u0437\u0430\u0434\u0430\u043d\u044b \u044f\u0432\u043d\u043e. 2.1. TransE\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c TransE \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u00a0\u0442\u0440\u0430\u043d\u0441\u043b\u044f\u0446\u0438\u044e (\u0441\u0434\u0432\u0438\u0433) \u0432\u00a0\u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0414\u043b\u044f\u00a0\u0442\u0440\u0438\u043f\u043b\u0435\u0442\u0430  \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u043e\u0441\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 . \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u00a0\u0437\u0430\u0437\u043e\u0440\u043e\u043c (margin\u2011based ranking), \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c:\u0433\u0434\u0435 \u00a0\u2014 \u044d\u0442\u043e margin (\u0437\u0430\u0437\u043e\u0440), \u0430 \u00a0\u2014 \u043d\u043e\u0440\u043c\u0430 (\u043e\u0431\u044b\u0447\u043d\u043e  \u0438\u043b\u0438 ).2.2. RotatE\u041f\u043e\u0434\u0445\u043e\u0434 RotatE \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432\u00a0\u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e . \u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0432\u00a0\u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0433\u043e\u043b\u043e\u0432\u044b \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0410\u0434\u0430\u043c\u0430\u0440\u0430:\u041d\u0430\u00a0\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 . \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0447\u0435\u0440\u0435\u0437 \u0444\u0430\u0437\u043e\u0432\u044b\u0435 \u0443\u0433\u043b\u044b \u043a\u0430\u043a . \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0442\u0440\u0430\u0436\u0430\u0442\u044c \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 (\u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u043d\u0430 ), \u0430\u043d\u0442\u0438\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435, \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0438 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0446\u0435\u043f\u043e\u0447\u043a\u0438, \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0439 \u0438 \u043e\u043d\u0442\u043e\u043b\u043e\u0433\u0438\u0439 \u0438\u043c\u0435\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.2.3. node2vec\u0412\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0\u0442\u0440\u0430\u043d\u0441\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c node2vec \u043e\u0442\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438. \u041e\u043d \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0443\u0437\u043b\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0431\u043b\u0443\u0436\u0434\u0430\u043d\u0438\u044f \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 Skip\u2011gram \u0434\u043b\u044f\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043b\u043e\u0442\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u0432\u00a0\u0448\u0438\u0440\u0438\u043d\u0443 (BFS) \u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 (DFS) \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 , \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u0432\u00a0\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0443\u0437\u0435\u043b, \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 , \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u044f\u0432\u043d\u043e\u0433\u043e \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u0442\u0438\u043f\u043e\u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f\u00a0\u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0442\u0435\u0441\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u043e\u0432 \u0432\u00a0\u0433\u0440\u0430\u0444\u0430\u0445 \u0441\u043e \u0441\u043b\u0430\u0431\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439.\u0427\u0430\u0441\u0442\u044c 3. \u041a\u0430\u043a\u00a0\u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a\u00a0\u0442\u0430\u043a\u0441\u043e\u043d\u043e\u043c\u0438\u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0418\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u043e\u0436\u0438\u043b\u0438\u0441\u044c \u0442\u0440\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a\u00a0\u0441\u043b\u0438\u044f\u043d\u0438\u044e (fusion). \u0420\u0430\u043d\u043d\u0435\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0441\u044b\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e\u00a0\u0447\u0430\u0441\u0442\u043e \u043b\u043e\u043c\u0430\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432. \u041f\u043e\u0437\u0434\u043d\u0435\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u00a0\u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438\u0445 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0438\u0437\u2011\u0437\u0430 \u0447\u0435\u0433\u043e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043b\u0438\u0448\u0435\u043d\u044b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.\u0414\u043b\u044f\u00a0\u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (feature\u2011level fusion). \u041f\u0440\u0438\u00a0\u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0442\u0440\u043e\u043d\u0443\u0442\u044b\u043c\u0438, \u0430\u00a0\u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0434 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u043c \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d\u043e\u043c (MLP). \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0443 \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u0433\u0440\u0430\u0444\u0430. \u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442, \u0447\u0442\u043e\u00a0\u043e\u0431\u043e\u0433\u0430\u0449\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 [CLS] \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0431\u0435\u0437\u00a0\u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.\u0420\u0438\u0441.4\u00a0\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a\u00a0\u0441\u043b\u0438\u044f\u043d\u0438\u044e \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate. \u0427\u0430\u0441\u0442\u044c 4. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u0435\u0442\u043e\u0434\u04304.1. \u041e\u0431\u0449\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c\u00a0\u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0433\u0434\u0435 \u00a0\u2014 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0430 \u00a0\u2014 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u0430\u00a0\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0438 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a\u0438.4.2. \u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a\u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u043c RuBERT \u0441\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c , \u0433\u0434\u0435 \u00a0\u2014 \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0435\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 . \u0415\u0434\u0438\u043d\u043e\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0438\u0437\u00a0\u0442\u043e\u043a\u0435\u043d\u0430 [CLS]:\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0434\u0443\u043b\u044c NER \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437\u00a0\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u043e\u0432 .\u0420\u0438\u0441.5\u00a0\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 BERT: \u043e\u0442\u00a0\u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043a\u00a0\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: ResearchGate. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 RuBERT \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430\u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e BERT (\u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u044d\u043d\u043a\u043e\u0434\u0435\u0440). \u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438 \u0432\u0435\u0441\u0430\u0445, \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 DeepPavlov. \u0422\u043e\u043a\u0435\u043d [CLS], \u043f\u0440\u043e\u0445\u043e\u0434\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u00a0\u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0434\u043b\u044f\u00a0\u0441\u043b\u0438\u044f\u043d\u0438\u044f \u0441\u00a0\u0433\u0440\u0430\u0444\u043e\u043c. 4.3. \u0413\u0440\u0430\u0444\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a\u0413\u0440\u0430\u0444 \u0437\u043d\u0430\u043d\u0438\u0439  \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u043e\u0432\u0430\u043d \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0432\u043b\u043e\u0436\u0435\u043d\u0438\u044f . \u0414\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438  \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u043d\u0438\u0435 \u0441\u00a0\u0443\u0437\u043b\u043e\u043c \u0433\u0440\u0430\u0444\u0430&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-503889","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/503889","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=503889"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/503889\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=503889"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=503889"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=503889"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}