{"id":306271,"date":"2020-07-02T09:00:17","date_gmt":"2020-07-02T09:00:17","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=306271"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=306271","title":{"rendered":"\u0420\u0430\u0437\u0431\u043e\u0440 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u0441\u043c\u044b\u0441\u043b\u044b \u0438\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/509092\/\">\n<p>tl;dr: \u0423\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u0440\u043e\u0440 \u0441\u0442\u0430\u0442\u044c\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0430\u0432\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0434\u0432\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b, \u043d\u0430 \u0431\u0430\u0437\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043d\u0430\u0448\u0435\u043b \u0441\u043f\u043e\u0441\u043e\u0431 \u043a\u0430\u043a \u0438\u0437 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u043c\u044b\u0441\u043b\u043e\u0432. \u041f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u0433\u0430\u0439\u0434 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u043e\u0443\u0442\u0431\u0443\u043a \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043d\u0430 <a href=\"https:\/\/github.com\/Astromis\/ksvd-on-embeddings\" rel=\"nofollow\">\u0433\u0438\u0442\u0445\u0430\u0431\u0435<\/a>. <\/p>\n<p>  <\/p>\n<h2 id=\"vvedenie\">\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>  <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0442\u0440\u044f\u0441\u043d\u043e\u0439 \u0432\u0435\u0449\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0448\u0435\u043b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0421\u0430\u043d\u0434\u0436\u0435\u0432 \u0410\u0440\u043e\u0440\u0430 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/abs\/1601.03764\" rel=\"nofollow\">Linear Algebraic Structure of Word Senses, with Applications to Polysemy<\/a>. \u041e\u043d\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0441\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0442\u0435\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0441\u043b\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435 \u0410\u0440\u043e\u0440\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a word2vec \u0438\u043b\u0438 Glove, \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432 \u0441\u0435\u0431\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0438\u0445 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c. \u041f\u043e \u0445\u043e\u0434\u0443 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f \u0431\u0443\u0434\u0443 \u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<br \/>  \u0411\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0437\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ecf\/540\/4b3\/ecf5404b39015f6707364ea65e01f67d.svg\" alt=\"$\\upsilon_{tie}$\" data-tex=\"inline\"><\/math> \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043d\u0435\u043a\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0430 \u0441\u043b\u043e\u0432\u0430 <em>tie<\/em>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0437\u043d\u0430\u0447\u043d\u0438\u0435 \u0443\u0437\u043b\u0430 \u0438\u043b\u0438 \u0433\u0430\u043b\u0441\u0442\u0443\u043a\u0430, \u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0433\u043b\u0430\u0433\u043e\u043b\u043e\u043c &quot;\u0437\u0430\u0432\u044f\u0437\u0430\u0442\u044c&quot;. \u0410\u0440\u043e\u0440\u0430 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c, \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e <\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ffc\/c63\/146\/ffcc63146c620d282923b71412c0edbd.svg\" alt=\"$ \\upsilon_{tie} \\approx \\alpha_1 \\upsilon_{tie1} + \\alpha_2 \\upsilon_{tie2} + \\alpha_3 \\upsilon_{tie3}+... $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d02\/e8b\/d6e\/d02e8bd6efcdb49ae49b7441e502a11f.svg\" alt=\"$\\upsilon_{tien}$\" data-tex=\"inline\"><\/math> \u044d\u0442\u043e \u043e\u0434\u043d\u043e \u0438\u0437 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432\u0430 <em>tie<\/em>, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/723\/4a5\/2ba\/7234a52ba041cdb09b9328a047048fb2.svg\" alt=\"$\\alpha$\" data-tex=\"inline\"><\/math> \u2014 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u0436\u0435 \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<h2 id=\"teoriya\">\u0422\u0435\u043e\u0440\u0438\u044f<\/h2>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0414\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<p>\u041d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u043d\u0435\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u043e\u043c, \u043f\u0440\u043e\u0441\u044c\u0431\u0430 \u0441\u043e\u043e\u0431\u0449\u0430\u0442\u044c \u043e\u0431\u043e \u0432\u0441\u0435\u0445 \u043e\u0448\u0438\u0431\u043a\u0430\u0445, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u043c\u0430\u0442. \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043d\u043e\u043b\u043e\u0433\u0438\u0438.<\/p>\n<\/div><\/div>\n<p>  <\/p>\n<h3 id=\"nebolshaya-zametka-o-teorii-arory\">\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0437\u0430\u043c\u0435\u0442\u043a\u0430 \u043e \u0442\u0435\u043e\u0440\u0438\u0438 \u0410\u0440\u043e\u0440\u044b<\/h3>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0410\u0440\u043e\u0440\u044b \u043a\u0443\u0434\u0430 \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u044d\u0442\u0430, \u044f \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b \u043e\u0431\u0437\u043e\u0440 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e. \u041e\u0434\u043d\u0430\u043a\u043e, \u043c\u044b \u0432 \u043a\u0440\u0430\u0442\u0446\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0438\u0437 \u0441\u0435\u0431\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442.<br \/>  \u0418\u0442\u0430\u043a, \u0410\u0440\u043e\u0440\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0434\u0435\u044e, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043b\u044e\u0431\u043e\u0439 \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c \u0448\u0430\u0433\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9b0\/012\/4e4\/9b00124e411362185d05b841bc32695f.svg\" alt=\"$t$\" data-tex=\"inline\"><\/math> \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u043e\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1b8\/54d\/440\/1b854d44003f175d56fe476eed7a5275.svg\" alt=\"$\u0441$\" data-tex=\"inline\"><\/math> \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/4f6\/1ea\/16d4f61ea54b35cfbc61361cba07f7f7.svg\" alt=\"$u_w$\" data-tex=\"inline\"><\/math>. \u0412 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445(dimensions), \u0438\u043b\u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445, \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0438 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b \u0441\u043b\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u044f\u0442\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u043c\u0443\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c (\u043c\u0443\u0436\u0447\u0438\u043d\u0430, \u043a\u043e\u0440\u043e\u043b\u044c), \u0430 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u2014 \u0437\u0430 \u0436\u0435\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c(\u0436\u0435\u043d\u0449\u0438\u043d\u0430, \u043a\u043e\u0440\u043e\u043b\u0435\u0432\u0430), \u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u0442\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0441\u043b\u043e\u0432\u043e \u0431\u0443\u0434\u0435\u0442 \u0433\u043b\u0430\u0433\u043e\u043b\u043e\u043c, \u0430 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u2014 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c.<br \/>  \u0412\u0435\u043a\u0442\u043e\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0435 <em>\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435<\/em> \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0431\u043b\u0443\u0436\u0434\u0430\u043d\u0438\u0435, \u0442.\u0435. \u0441 \u0442\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0435\u0433\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u0438\u0437\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440, \u0441\u0435\u043c\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u0437 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u043b\u0435\u0435\u043d\u0438\u044f. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e <em>\u043e \u0447\u0435\u043c<\/em> \u0432 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u0434\u0435\u0442 \u0440\u0435\u0447\u044c. \u0423\u0441\u043b\u043e\u0432\u0438\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043d\u0443\u0436\u043d\u044b \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043b\u043e\u0432\u0430 \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0438\u043c\u0435\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0431\u044b\u0442\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u043c\u0435\u0441\u0442\u0435. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u044d\u0442\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u043e\u0432 &quot;\u0414\u0435\u0432\u0443\u0448\u043a\u0430 \u0440\u0430\u0441\u0447\u0435\u0441\u044b\u0432\u0430\u043b\u0430 \u0441\u0432\u043e\u044e \u043a\u043e\u0441\u0443&quot; \u0438\u043c\u0435\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0431\u044b\u0442\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439, \u0447\u0435\u043c &quot;\u041c\u0443\u0436\u0447\u0438\u043d\u0430 \u0440\u0430\u0441\u0447\u0435\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u044e \u043a\u043e\u0441\u0443&quot;. \u041e\u0434\u043d\u0430\u043a\u043e, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043d\u0430\u043b\u0430\u0433\u0435\u0442 \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u0437\u0430\u043f\u0440\u0435\u0442 \u043d\u0430 &quot;\u043f\u0440\u044b\u0436\u043a\u0438&quot;: \u0432 \u043a\u043e\u043d\u0446\u0435\u0432 \u043a\u043e\u043d\u0446\u043e\u0432, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0443\u0436\u0447\u0438\u043d\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0441\u044f\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0432\u043e\u043b\u043e\u0441\u044b.<br \/>  \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u043e\u0432 \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u044b. \u041f\u043e \u0441\u0443\u0442\u0438, \u044d\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043b\u043e\u0432\u043e \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432.<br \/>  \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442: \u0434\u0432\u0438\u0433\u0430\u044f\u0441\u044c \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043b\u0438\u0436\u0435 \u0442\u043e \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u043b\u043e\u0432\u0443, \u0442\u043e \u043a \u0434\u0440\u0443\u0433\u043e\u043c\u0443. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u0430 \u0448\u0430\u0433\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9b0\/012\/4e4\/9b00124e411362185d05b841bc32695f.svg\" alt=\"$t$\" data-tex=\"inline\"><\/math> \u0431\u0443\u0434\u0435\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0441\u043b\u043e\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/21b\/2a0\/884\/21b2a088491cfeb8ddbae408a62d209f.svg\" alt=\"$ P(w|c_t) = \\frac{1}{Z_c}\\exp{&lt;c_t, \\upsilon_w&gt;} $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f7e\/ab5\/000\/f7eab5000a19720375a5604c4e631f03.svg\" alt=\"$c_t$\" data-tex=\"inline\"><\/math> \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0432\u0440\u0435\u043c\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9b0\/012\/4e4\/9b00124e411362185d05b841bc32695f.svg\" alt=\"$t$\" data-tex=\"inline\"><\/math>, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/25a\/bd6\/7a7\/25abd67a71ddbef9b40f587161313820.svg\" alt=\"$\\upsilon_w$\" data-tex=\"inline\"><\/math> \u2014 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0441\u043b\u043e\u0432\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ffc\/979\/3cd\/ffc9793cdf453a2150f94205a132361c.svg\" alt=\"$Z_c = \\sum_w\\exp&lt;c,\\upsilon_w&gt;$\" data-tex=\"inline\"><\/math> \u2014 \u044d\u0442\u043e partition function. \u041e\u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u043e\u043b\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u0437\u0430\u0442\u043e\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0430\u0435\u0442 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u0430\u043b\u0438\u0434\u043d\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043f\u043e\u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u044d\u0442\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u0441\u0435\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u0441\u043b\u043e\u0432: <em>\u043a\u043e\u0440\u043e\u043b\u0435\u0432\u0430, \u043a\u043e\u0440\u043e\u043b\u044c, \u0436\u0435\u043d\u0449\u0438\u043d\u0430, \u043c\u0443\u0436\u0447\u0438\u043d\u0430<\/em>. \u041c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u043f\u043e \u043e\u0441\u0438 Y, \u0430 \u043f\u043e X \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b. \u0422\u043e\u0433\u0434\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043c\u043e\u0433\u043b\u044b \u0431\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c<br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vj\/cu\/pb\/vjcupbizndlbwqravvzr5khzene.png\"><br \/>  \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043e\u043a\u043e\u043b\u043e \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0442\u0430\u043c \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c \u0448\u0430\u0433\u0435. \u0412\u043e\u0442 \u043e\u043d\u0430<br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vd\/uz\/bi\/vduzbiycptkgsfnxincjsiwyhcc.png\"><br \/>  \u0422\u0435\u043f\u0435\u0440\u044c, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043e\u043d \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f. \u0423\u0441\u043b\u043e\u0432\u0438\u043c\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043e\u043d \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430 \u043e\u0442\u0441\u0447\u0435\u0442 \u043f\u0440\u043e\u0439\u0442\u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u0437 &quot;\u043f\u0440\u044b\u0436\u043a\u043e\u0432&quot;. \u0422\u043e\u0433\u0434\u0430 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u043c\u043e\u0433\u043b\u0430 \u0431\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0442\u0430\u043a:<br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ps\/gb\/ox\/psgbox2xrcwasww0-gelqxs00n0.png\"><br \/>  \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043e\u0431\u0445\u043e\u0434 \u043f\u043e \u043a\u043e\u043d\u0442\u0443\u0440\u0443 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u043c \u0442\u0435\u043a\u0441\u0442 &quot;\u041a\u043e\u0440\u043e\u043b\u0435\u0432\u0430, \u043a\u043e\u0440\u043e\u043b\u044c, \u043c\u0443\u0436\u0447\u0438\u043d\u0430, \u0436\u0435\u043d\u0449\u0438\u043d\u0430&quot;. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0442\u0435\u043a\u0441\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u043c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u043d\u0430 \u0435\u0434\u0438\u043d\u0438\u0446\u0443, \u0437\u043d\u0430\u0447\u0438\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 &quot;\u043a\u043e\u0440\u043e\u043b\u0435\u0432\u0430, \u043c\u0443\u0436\u0447\u0438\u043d\u0430, \u0436\u0435\u043d\u0449\u0438\u043d\u0430, \u043a\u043e\u0440\u043e\u043b\u044c&quot; \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0438 &quot;\u043a\u0430\u043a \u0431\u044b&quot; \u043d\u0435 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438. <\/p>\n<p>  <\/p>\n<h3 id=\"vozvraschaemsya\">\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u0441\u044f<\/h3>\n<p>  <\/p>\n<p>\u0410\u0440\u043e\u0440\u0430 \u043d\u0430\u0447\u0430\u043b \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u043d\u0451\u0441 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0432 \u0435\u0433\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438. \u0412 \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0413\u0430\u0443\u0441\u043e\u0432\u0441\u043a\u0438\u043c. \u042d\u0442\u043e \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u044f \u0432 \u0432\u044b\u043a\u043b\u0430\u0434\u043a\u0430\u0445 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438, \u043d\u043e \u043c\u044b \u0438\u0445 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c(\u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u0432\u043e \u0432\u0441\u044f\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435). \u0414\u0430\u043b\u0435\u0435, \u0431\u0430\u0437\u0438\u0440\u0443\u044f\u0441\u044c \u043d\u0430 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u043d \u0432\u044b\u0434\u0432\u0438\u0433\u0430\u0435\u0442 \u0438 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b. \u042f \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u0438\u0445 \u0437\u0434\u0435\u0441\u044c \u0431\u0435\u0437 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430.<\/p>\n<p>  <\/p>\n<h3 id=\"teorema-1\">\u0422\u0435\u043e\u0440\u0435\u043c\u0430 1<\/h3>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044f \u0432\u044b\u0448\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0443\u0441\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9d\/da2\/695\/f9dda26950cb67bd3ecef956c5341c14.svg\" alt=\"$s$\" data-tex=\"inline\"><\/math> \u044d\u0442\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043e\u043a\u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/08d\/9fa\/efb\/08d9faefbe272bdf8fbb80773542e343.svg\" alt=\"$n$\" data-tex=\"inline\"><\/math> \u0441\u043b\u043e\u0432. \u0422\u043e\u0433\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/493\/c1c\/008\/493c1c008018df9bed4910321f29ff00.svg\" alt=\"$A$\" data-tex=\"inline\"><\/math> \u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3b2\/0c4\/634\/3b20c46348ce4023862618647ffc094e.svg\" alt=\"$ \\upsilon_w \\approx A \\mathbb{E}[\\frac{1}{n}\\sum_{w_i\\in s}\\upsilon_{w_i}|w \\in s] $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043d\u0435\u043a\u0438\u043c \u0441\u043b\u043e\u0432\u043e\u043c \u0438 \u0435\u0433\u043e \u043e\u043a\u043d\u043e\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0435\u043a\u043e\u0435 \u0441\u043b\u043e\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math> \u0438 \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432\u0441\u0435 \u043e\u043a\u043d\u0430. \u041c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u043e\u043a\u043e\u043d \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0437\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cb6\/d45\/cf9\/cb6d45cf916546ae1085088c0c5dcd09.svg\" alt=\"$S$\" data-tex=\"inline\"><\/math>. \u0417\u0430\u0442\u0435\u043c, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/03b\/066\/e5a\/03b066e5a0c46257de34f69ec62b43dc.svg\" alt=\"$\\upsilon_s$\" data-tex=\"inline\"><\/math> \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u043a\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/721\/14d\/91f\/72114d91f6983c0b15580041f88b13ea.svg\" alt=\"$s \\in S$\" data-tex=\"inline\"><\/math>, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043e\u0442 \u0432\u0441\u0435\u0445 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u043f\u043e \u043e\u043a\u043d\u0430\u043c \u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u044d\u0442\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/784\/f98\/db3\/784f98db37a499162c1479600e8465ed.svg\" alt=\"$u$\" data-tex=\"inline\"><\/math>. \u0422\u043e\u0433\u0434\u0430, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0442\u0435\u043e\u0440\u0435\u043c\u0435, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0442\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/784\/f98\/db3\/784f98db37a499162c1479600e8465ed.svg\" alt=\"$u$\" data-tex=\"inline\"><\/math> \u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/25a\/bd6\/7a7\/25abd67a71ddbef9b40f587161313820.svg\" alt=\"$\\upsilon_w$\" data-tex=\"inline\"><\/math> \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043d\u0435\u043a\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/493\/c1c\/008\/493c1c008018df9bed4910321f29ff00.svg\" alt=\"$A$\" data-tex=\"inline\"><\/math> (\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0435\u0449\u0435 \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0434\u043e). \u0422\u0443\u0442 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0442\u0430\u043a\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043d\u0430\u0439\u0442\u0438, \u0442\u043e \u044d\u0442\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u043e \u0431\u044b \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b out-of-vocabulary \u0441\u043b\u043e\u0432, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043e\u0442 \u0432\u0441\u0435\u0445 \u043e\u043a\u043e\u043d \u0438 \u043f\u043e\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u044d\u0442\u043e \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u044f\u0432\u043d\u043e \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441 \u043d\u0443\u043b\u044f.<br \/>  \u0410\u0440\u043e\u0440\u0430 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u0440\u0442, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e. \u0414\u043b\u044f \u0435\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u043d\u044f\u0442\u0438\u0435 SIF \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u0425\u043e\u0442\u044f \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u043e \u043d\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043a\u0430, \u0432\u043e\u043e\u0431\u0449\u0435, \u0438\u043c \u043f\u043e\u0441\u0432\u0435\u0449\u0435\u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0442\u043e\u0436\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0443 \u043f\u043e\u0437\u0436\u0435. \u0421\u0435\u0439\u0447\u0430\u0441 \u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e SIF \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/682\/da1\/34e\/682da134eab571664ef7eb70ce96a62b.svg\" alt=\"$\\upsilon_{SIF}$\" data-tex=\"inline\"><\/math> \u044d\u0442\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u043e\u043a\u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 k, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043e\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432, \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432 \u044d\u0442\u043e \u043e\u043a\u043d\u043e \u0441\u043b\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0438\u0445 TF-IDF.<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4b8\/284\/ba3\/4b8284ba3770f6a149ca233324c87871.svg\" alt=\"$ \\upsilon_{SIF}=\\frac{1}{k}\\sum^k_{n=1}\\upsilon_n*tf\\_idf(w_n) $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u041a \u0441\u043b\u043e\u0432\u0443, \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0441 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0442\u0435\u043e\u0440\u0435\u043c\u044b 1, \u044d\u0442\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e1a\/229\/081\/e1a229081e8db6ee98dfb79797b987dd.svg\" alt=\"$c$\" data-tex=\"inline\"><\/math>. \u041a\u0430\u043a \u0432\u044b \u043c\u043e\u0433\u043b\u0438 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u044d\u0442\u043e \u0438 \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u043a\u0443\u0441\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<br \/>  \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043a \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0443. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u044d\u043c\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0438 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0441\u043b\u043e\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/25a\/bd6\/7a7\/25abd67a71ddbef9b40f587161313820.svg\" alt=\"$\\upsilon_w$\" data-tex=\"inline\"><\/math> \u0432 \u043c\u0430\u0442\u0440\u0438\u0446\u0435, \u043d\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0435\u0433\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <\/p>\n<ol>\n<li>\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u0433\u0440\u0430\u0444\u043e\u0432 \u0438\u0437 \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u0438. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432\u0441\u0435\u0433\u043e \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u043a\u043e\u0440\u043f\u0443\u0441\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/836\/e59\/247\/836e59247dee9dc566df40f0f1d606e8.svg\" alt=\"$V$\" data-tex=\"inline\"><\/math>. <\/li>\n<li>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/85c\/3e5\/554\/85c3e5554ed7b1ac940f2447a81f5963.svg\" alt=\"$w' \\in V$\" data-tex=\"inline\"><\/math>, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u0438 \u0432\u0441\u0435\u0445 \u0438\u0445 \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0439 \u0441\u0440\u0435\u0434\u0438 \u043f\u0430\u0440\u0430\u0433\u0440\u0430\u0444\u043e\u0432 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c SIF \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u043e\u043a\u043e\u043d \u0432 20 \u0441\u043b\u043e\u0432 \u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u043c \u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0ea\/81e\/f70\/0ea81ef7051481b746565c3339f1eec6.svg\" alt=\"$w'$\" data-tex=\"inline\"><\/math>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043d\u0430\u0448\u0443 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/85c\/3e5\/554\/85c3e5554ed7b1ac940f2447a81f5963.svg\" alt=\"$w' \\in V$\" data-tex=\"inline\"><\/math> \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/30a\/5b5\/245\/30a5b52450fd5351ae2ef5c013d24da6.svg\" alt=\"$(\\nu_{w'}^1, \\nu_{w'}^2,, ... \\nu_{w'}^n,)$\" data-tex=\"inline\"><\/math>, \u0433\u0434\u0435 n \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0445\u043e\u0434\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0ea\/81e\/f70\/0ea81ef7051481b746565c3339f1eec6.svg\" alt=\"$w'$\" data-tex=\"inline\"><\/math> \u0432 \u043f\u043e\u0434\u043a\u043e\u0440\u043f\u0443\u0441\u0435.<\/li>\n<li>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1ef\/d93\/216\/1efd932168055e8c73c7a12fad2fdc29.svg\" alt=\"$u_{w'}$\" data-tex=\"inline\"><\/math> \u0432\u0441\u0435\u0445 SIF \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/85c\/3e5\/554\/85c3e5554ed7b1ac940f2447a81f5963.svg\" alt=\"$w' \\in V$\" data-tex=\"inline\"><\/math> \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ea7\/326\/03b\/ea732603bcf92888322729c4055c3442.svg\" alt=\"$ u_{w'}=\\frac{1}{n}\\sum_{t=1}^n\\nu_{w'}^t$\" data-tex=\"inline\"><\/math>.<\/li>\n<li>\u0420\u0435\u0448\u0430\u0435\u043c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9ed\/98c\/7e2\/9ed98c7e26215e271ab69c94617c470d.svg\" alt=\"$argmin_A\\sum_A||Au_{w'}-\\upsilon_{w'}||^2_2$\" data-tex=\"inline\"><\/math><\/li>\n<li>\u0411\u0435\u0440\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0441\u0435\u0445 SIF \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/45c\/97b\/d09\/45c97bd0943647731dcbb56dafc8d62f.svg\" alt=\"$\\upsilon_w=Au_w$\" data-tex=\"inline\"><\/math><\/li>\n<\/ol>\n<p>  <\/p>\n<p>\u0410\u0440\u043e\u0440\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u0438 \u0442.\u043d. \u0438\u043d\u0434\u0443\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u044b \u043a \u0441\u0432\u043e\u0438\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430\u043c. \u041e\u043d \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u043b \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f 1\/3 \u0441\u043b\u043e\u0432 \u043e\u0442 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b A \u043d\u0430 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f 2\\3 \u0447\u0430\u0441\u0442\u0438. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b. \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u0433\u0440\u0430\u0444\u043e\u0432.<\/p>\n<p>  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<th>#paragraphs<\/th>\n<th>250k<\/th>\n<th>500k<\/th>\n<th>750k<\/th>\n<th>1 million<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>cos similarity<\/td>\n<td>0.94<\/td>\n<td>0.95<\/td>\n<td>0.96<\/td>\n<td>0.96<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <\/p>\n<h3 id=\"teorema-2\">\u0422\u0435\u043e\u0440\u0435\u043c\u0430 2<\/h3>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u043a\u043e\u0435 \u0441\u043b\u043e\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math> \u0441 \u0434\u0432\u0443\u043c\u044f \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4d0\/157\/a1e\/4d0157a1e523904e8e7e587a7bef0105.svg\" alt=\"$s_1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b12\/f58\/b6f\/b12f58b6f216c409a23ecc7d781f375b.svg\" alt=\"$s_2$\" data-tex=\"inline\"><\/math>. \u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/25a\/bd6\/7a7\/25abd67a71ddbef9b40f587161313820.svg\" alt=\"$\\upsilon_w$\" data-tex=\"inline\"><\/math> \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u043d\u0438\u0431\u0443\u0434\u044c \u043a\u043e\u0440\u043f\u0443\u0441\u0435, \u0433\u0434\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043e\u0431\u0430 \u044d\u0442\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0417\u0430\u0442\u0435\u043c, \u0432 \u044d\u0442\u043e\u043c \u0436\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0440\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043c\u0435\u0442\u043a\u0438 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u0442.\u0435. \u0438\u0441\u043a\u0443\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u043b\u043e\u0432\u0430 \u0432 \u043f\u0441\u0435\u0432\u0434\u043e\u0441\u043b\u043e\u0432\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, tie_1 \u0438 tie_2, \u0433\u0434\u0435 \u0441\u043b\u043e\u0432\u043e tie_1 \u2014 \u044d\u0442\u043e \u0434\u043b\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0433\u0430\u043b\u0441\u0442\u0443\u043a\u0430, \u0430 tie<em>2 \u2014 \u0434\u043b\u044f \u0443\u0437\u043b\u0430.<br \/>  \u0414\u043b\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0441 \u043d\u0430\u0448\u0438\u043c\u0438 \u043f\u0441\u0435\u0434\u043e\u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u0445, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0432\u0435\u043d\u043d\u043e, $&lt;!&#8212; math&gt;$inline$ \\upsilon<\/em>{w<em>{s1} } $inline$&lt;\/math &#8212;&gt;$ \u0438 $&lt;!&#8212; math&gt;$inline$\\upsilon<\/em>{w_{s2} } $inline$&lt;\/math &#8212;&gt;$. \u0412\u043d\u043e\u0432\u044c, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044f \u043d\u0430\u0448\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0431\u0443\u0434\u0443\u0442 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6c5\/fed\/bfa\/6c5fedbfa531430572509026d4e50abc.svg\" alt=\"$\\lVert\\upsilon_w - \\upsilon^- \\rVert \\rightarrow 0$\" data-tex=\"inline\"><\/math>, \u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/dd7\/599\/111\/dd7599111dd12270dfb6b9d2a3e2a247.svg\" alt=\"$\\upsilon^-$\" data-tex=\"inline\"><\/math> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fa3\/943\/8fa\/fa39438fa6430d356a5484a02265aa4e.svg\" alt=\"$ \\upsilon_w^- = \\frac{f_1}{f_1+f_2} * \\upsilon_{s1} + \\frac{f_2}{f_1+f_2} * \\upsilon_{s2} = \\alpha\\upsilon_{s1} + \\beta\\upsilon_{s2} $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/67f\/8fe\/ca2\/67f8feca2875c82b7c342086f9326d14.svg\" alt=\"$f_1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a37\/c89\/3c7\/a37c893c70bb48132e8bdbbda5c4bbb7.svg\" alt=\"$f_2$\" data-tex=\"inline\"><\/math> \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4d0\/157\/a1e\/4d0157a1e523904e8e7e587a7bef0105.svg\" alt=\"$s_1$\" data-tex=\"inline\"><\/math> and <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b12\/f58\/b6f\/b12f58b6f216c409a23ecc7d781f375b.svg\" alt=\"$s_2$\" data-tex=\"inline\"><\/math> \u0432 \u043a\u043e\u0440\u043f\u0443\u0441. \u041a\u0430\u043a \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0438\u0434\u0435\u0442\u044c, \u044d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0436\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u0438 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>  <\/p>\n<p>\u041e\u043a\u0435\u0439, \u0432\u0441\u0435 \u044d\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u043a\u0430\u043a \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u044d\u0442\u0443 \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432\u0430? \u0418\u0445 \u043c\u043e\u0436\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0436\u0435 \u0433\u0438\u0433\u0430\u043d\u0441\u043a\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0437\u043d\u0430\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c99\/2fe\/2cc\/c992fe2ccb6638eface7f793121aba5d.svg\" alt=\"$alpha$\" data-tex=\"inline\"><\/math>. \u041d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043d\u0430\u043c \u0441\u043d\u043e\u0432\u0430 \u043f\u0440\u0438\u0434\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e1a\/229\/081\/e1a229081e8db6ee98dfb79797b987dd.svg\" alt=\"$c$\" data-tex=\"inline\"><\/math> \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c \u0441 \u0442\u0435\u043c\u043e\u0439 \u043e \u0434\u0435\u0432\u0443\u0448\u0435\u043a\u0430\u0445 \u0438 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e \u043d\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0431\u0443\u0434\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442. \u0422\u043e\u0433\u0434\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0441\u043b\u043e\u0432\u043e \u043a\u043e\u0441\u0430, \u0442\u043e \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>\u043f\u0440\u0438\u0447\u0435\u0441\u043a\u0438<\/em>. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0442\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430, \u043a\u0430\u043a <em>\u0433\u043b\u0430\u0437\u0430, \u043d\u0430\u0440\u044f\u0434, \u043a\u0440\u0430\u0441\u0438\u0432\u0430\u044f, \u043f\u043b\u0430\u0442\u044c\u0435<\/em> \u0434\u043e\u043b\u0436\u043d\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e. \u0422\u0430\u043a\u0436\u0435, \u0441\u043e\u043b\u0433\u0430\u0441\u043d\u043e \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u044d\u0442\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f, \u043a\u0430\u043a \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435(inner product) \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u043e\u0432\u0430. \u0422\u043e\u0433\u0434\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e-\u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 (<em>\u0433\u043b\u0430\u0437\u0430, \u043d\u0430\u0440\u044f\u0434, \u043a\u0440\u0430\u0441\u0438\u0432\u0430\u044f, \u043f\u043b\u0430\u0442\u044c\u0435<\/em>), \u0438 \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3de\/429\/7c7\/3de4297c7ca275d83f273693401e9095.svg\" alt=\"$\\upsilon_{tie1}$\" data-tex=\"inline\"><\/math> \u043a\u043e\u0441\u044b, \u043a\u0430\u043a \u0436\u0435\u043d\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0447\u0435\u0441\u043a\u0438! \u041e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u0432\u0435\u043b\u0435\u0447\u044c \u044d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b.<br \/>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u0438\u0433\u0440\u0430\u0435\u043c \u0432 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u043e\u0432. \u0427\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c? \u0418\u043c\u0435\u044f \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0441\u043b\u043e\u0432 \u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/29e\/042\/95e\/29e04295ef894caa063ebd429d2e6d06.svg\" alt=\"$\\Re^d$\" data-tex=\"inline\"><\/math> \u0438 \u0434\u0432\u0430 \u0446\u0435\u043b\u044b\u0445 \u0447\u0438\u0441\u043b\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/dc2\/f7b\/1eb\/dc2f7b1eb106e35597b1a6b6ab4d368f.svg\" alt=\"$k, n$\" data-tex=\"inline\"><\/math>. \u0442\u0430\u043a\u0438\u0445 \u0447\u0442\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/558\/050\/4f9\/5580504f9d6cd5b77b79726532719f30.svg\" alt=\"$ k &lt; n$\" data-tex=\"inline\"><\/math>, \u043c\u044b \u0437\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/581\/036\/2a6\/5810362a63379ea3e722e6dc2acfb14f.svg\" alt=\"$A_1, A_2, ..., A_m$\" data-tex=\"inline\"><\/math>, \u0442\u0430\u043a\u0438\u0445, \u0447\u0442\u043e\u0431\u044b <\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9e\/387\/a6c\/f9e387a6c1ca3a1c152fa8b1afdd2efc.svg\" alt=\"$ \\upsilon_w = \\sum_{j=1}^m\\alpha_{w,j}A_j + \\mu_w $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u0433\u0434\u0435 \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/16d\/a50\/7b2\/16da507b2fc389688ef0659939dcc647.svg\" alt=\"$k$\" data-tex=\"inline\"><\/math> \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/723\/4a5\/2ba\/7234a52ba041cdb09b9328a047048fb2.svg\" alt=\"$\\alpha$\" data-tex=\"inline\"><\/math> \u043d\u0435 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/94b\/16d\/c26\/94b16dc2692e8a04a12966da57c923e3.svg\" alt=\"$\\mu_w$\" data-tex=\"inline\"><\/math> \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u043e\u0448\u0438\u0431\u043e\u043a. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435<\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a52\/b22\/de7\/a52b22de714078e65f0771137e287820.svg\" alt=\"$ \\sum_w \\lVert\\upsilon_w - \\sum_{j=1}^m\\alpha_{w,j}A_j \\rVert^2_2 $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u0430 \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0433\u0434\u0435 k \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438(sparsity parameter), \u0430 m \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442.\u043d. \u0430\u0442\u043e\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u0435\u043c\u0438 \u0441\u0430\u043c\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 k-SVD. \u0421\u0442\u043e\u0438\u0442 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u0447\u0438\u0441\u0442\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0434\u0435\u044f\u0442\u044c\u0441\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/493\/c1c\/008\/493c1c008018df9bed4910321f29ff00.svg\" alt=\"$A$\" data-tex=\"inline\"><\/math> \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043e\u0441\u044c, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u0442\u0435\u043c\u0430\u043c(\u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/493\/c1c\/008\/493c1c008018df9bed4910321f29ff00.svg\" alt=\"$A$\" data-tex=\"inline\"><\/math> \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443). \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c\u044b, \u0447\u0442\u043e \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0430\u0442\u043e\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/346\/e7c\/209\/346e7c209b4ae3f845f15519ddcbb7c8.svg\" alt=\"$A_i$\" data-tex=\"inline\"><\/math> \u0443\u0447\u0430\u0432\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430 \u0438\u043b\u0438 \u0442\u0435\u043c\u044b \u0432 \u0441\u043b\u043e\u0432\u0430\u0445, \u0432\u044b\u0440\u0430\u0436\u0430\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0430 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u0432\u0430\u043d\u043e\u0447\u043d\u043e\u0439 \u043e\u0441\u044c\u044e, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e2e\/33f\/15a\/e2e33f15a96008ca33579599483c4531.svg\" alt=\"$m$\" data-tex=\"inline\"><\/math> \u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u043b \u044d\u0442\u043e \u0430\u0442\u043e\u043c\u0430\u043c\u0438 \u0434\u0438\u0441\u043a\u0443\u0440\u0441\u0430.<\/p>\n<p>  <\/p>\n<h2 id=\"praktika\">\u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430<\/h2>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u0437\u0430\u043a\u043e\u0434\u0438\u043c \u044d\u0442\u043e \u0438 \u043f\u043e\u0441\u043c\u0442\u043e\u0440\u0438\u043c \u043d\u0430 \u044d\u0442\u0438 \u0430\u0442\u043e\u043c\u044b \u0441\u0432\u043e\u0438\u043c\u0438 \u0433\u043b\u0430\u0437\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<pre><code class=\"python\">import numpy as np  from gensim.test.utils import datapath, get_tmpfile from gensim.models import KeyedVectors from gensim.scripts.glove2word2vec import glove2word2vec from scipy.spatial.distance import cosine import warnings warnings.filterwarnings('ignore')<\/code><\/pre>\n<p>  <\/p>\n<p><strong>1. \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Gensim<\/strong><br \/>  \u0417\u0434\u0435\u0441\u044c \u044f \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u044e \u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u044b GloVe. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0445 <a href=\"https:\/\/nlp.stanford.edu\/projects\/glove\/\" rel=\"nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a><br \/>  \u041e\u0431\u0440\u0430\u0449\u0430\u044e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u044f \u0438 \u0430\u0432\u0442\u043e\u0440 \u0438\u043c\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432 300\u043c\u0435\u0442\u0440\u043e\u0432\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.<\/p>\n<p>  <\/p>\n<pre><code class=\"python\">tmp_file = get_tmpfile(&quot;test_word2vec.txt&quot;) _ = glove2word2vec(&quot;\/home\/astromis\/Embeddings\/glove.6B.300d.txt&quot;, tmp_file) model = KeyedVectors.load_word2vec_format(tmp_file)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings = model.wv  index2word = embeddings.index2word embedds = embeddings.vectors<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">print(embedds.shape)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">(400000, 300)<\/code><\/pre>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 400000 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432.<\/p>\n<p>  <\/p>\n<p><strong>2. \u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0438 \u043f\u0440\u0438\u043c\u0438\u043d\u044f\u0435\u043c k-svd \u043a \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432<\/strong><br \/>  \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u0442\u043e\u043c\u044b \u0434\u0438\u0441\u043a\u0443\u0440\u0441\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f. \u041c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u043a\u0435\u0442 ksvd.<\/p>\n<p>  <\/p>\n<pre><code class=\"python\">!pip install ksvd from ksvd import ApproximateKSVD<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">Requirement already satisfied: ksvd in \/home\/astromis\/anaconda3\/lib\/python3.6\/site-packages (0.0.3) Requirement already satisfied: numpy in \/home\/astromis\/anaconda3\/lib\/python3.6\/site-packages (from ksvd) (1.14.5) Requirement already satisfied: scikit-learn in \/home\/astromis\/anaconda3\/lib\/python3.6\/site-packages (from ksvd) (0.19.1)<\/code><\/pre>\n<p>  <\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u0432\u0442\u043e\u0440 \u0432\u044b\u0431\u0440\u0430\u043b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u0442\u043e\u043c\u043e\u0432, \u0440\u0430\u0432\u043d\u043e\u0435 2000 \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0432\u043d\u044b\u0439 5.<br \/>  \u042f \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b \u0434\u0432\u0435 \u0432\u0435\u0440\u0441\u0438\u0438: \u043f\u0435\u0440\u0432\u0430\u044f \u0434\u043b\u044f 10000 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0438 \u0432\u0442\u043e\u0440\u0430\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0445. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0430\u0442\u044b, \u0447\u0442\u043e\u0431\u044b \u0432\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0445 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c.<\/p>\n<p>  <\/p>\n<pre><code class=\"python\">%time aksvd = ApproximateKSVD(n_components=2000,transform_n_nonzero_coefs=5, ) embedding_trans = embeddings.vectors dictionary = aksvd.fit(embedding_trans).components_ gamma = aksvd.transform(embedding_trans)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">CPU times: user 4 \u00b5s, sys: 0 ns, total: 4 \u00b5s Wall time: 9.54 \u00b5s<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">#gamma = np.load('.\/data\/mats\/.npz') # dictionary_glove6b_300d.np.npz - whole matrix file dictionary = np.load('.\/data\/mats\/dictionary_glove6b_300d_10000.np.npz') dictionary = dictionary[dictionary.keys()[0]]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">#print(gamma.shape) print(dictionary.shape)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">(2000, 300)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">#np.savez_compressed('gamma_glove6b_300d.npz', gamma) #np.savez_compressed('dictionary_glove6b_300d.npz', dictionary)<\/code><\/pre>\n<p>  <\/p>\n<p><strong>3. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0430\u0442\u043e\u043c\u0430\u043c\u0438 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439<\/strong><\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0438\u0433\u0440\u0430\u0435\u043c \u0441 \u043d\u0430\u0448\u0438\u043c\u0438 \u0430\u0442\u043e\u043c\u0430\u043c\u0438 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0430\u0442\u043e\u043c\u043e\u0432.<\/p>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings.similar_by_vector(dictionary[1354,:])<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[('slave', 0.8417330980300903),  ('slaves', 0.7482961416244507),  ('plantation', 0.6208109259605408),  ('slavery', 0.5356900095939636),  ('enslaved', 0.4814416170120239),  ('indentured', 0.46423888206481934),  ('fugitive', 0.4226764440536499),  ('laborers', 0.41914862394332886),  ('servitude', 0.41276970505714417),  ('plantations', 0.4113745093345642)]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings.similar_by_vector(dictionary[1350,:])<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[('transplant', 0.7767853736877441),  ('marrow', 0.699995219707489),  ('transplants', 0.6998592615127563),  ('kidney', 0.6526087522506714),  ('transplantation', 0.6381147503852844),  ('tissue', 0.6344675421714783),  ('liver', 0.6085026860237122),  ('blood', 0.5676015615463257),  ('heart', 0.5653558969497681),  ('cells', 0.5476219058036804)]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings.similar_by_vector(dictionary[1546,:])<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[('commons', 0.7160810828208923),  ('house', 0.6588335037231445),  ('parliament', 0.5054076910018921),  ('capitol', 0.5014163851737976),  ('senate', 0.4895153343677521),  ('hill', 0.48859673738479614),  ('inn', 0.4566132128238678),  ('congressional', 0.4341348707675934),  ('congress', 0.42997264862060547),  ('parliamentary', 0.4264637529850006)]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings.similar_by_vector(dictionary[1850,:])<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[('okano', 0.2669774889945984),  ('erythrocytes', 0.25755012035369873),  ('windir', 0.25621023774147034),  ('reapportionment', 0.2507009208202362),  ('qurayza', 0.2459488958120346),  ('taschen', 0.24417680501937866),  ('pfaffenbach', 0.2437630295753479),  ('boldt', 0.2394050508737564),  ('frucht', 0.23922981321811676),  ('rulebook', 0.23821482062339783)]<\/code><\/pre>\n<p>  <\/p>\n<p>\u0412\u043e\u0441\u0445\u0438\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442! \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u043e\u0445\u043e\u0436\u0435, \u0447\u0442\u043e \u0430\u0442\u043e\u043c\u044b \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0446\u0435\u0442\u0440\u0430\u043c\u0438 \u0434\u043b\u044f \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0441\u043b\u043e\u0432. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043f\u0430\u0440\u0443 \u043c\u043d\u043e\u0433\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u0438 \u043d\u0430\u0439\u0434\u0435\u043c \u0434\u043b\u044f \u043d\u0438\u0445 \u0431\u043b\u0438\u0436\u0430\u0439\u0438\u0449\u0435 \u0430\u0442\u043e\u043c. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u0442\u043e\u043c\u0430 \u0432\u044b\u0432\u043e\u0434\u0442\u0438\u0441\u044f \u0441\u043f\u0438\u0441\u043e\u043a \u0434\u043b\u0438\u0436\u0430\u0439\u0449\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u044d\u0442\u043e\u0442 \u0430\u0442\u043e\u043c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442. \u0414\u043b\u044f \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u0437\u044f\u0442\u044c &quot;tie&quot; \u0438 &quot;spring&quot; \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>  <\/p>\n<pre><code class=\"python\">itie = index2word.index('tie') ispring = index2word.index('spring')  tie_emb = embedds[itie] string_emb = embedds[ispring]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">simlist = []  for i, vector in enumerate(dictionary):     simlist.append( (cosine(vector, tie_emb), i) )  simlist = sorted(simlist, key=lambda x: x[0]) six_atoms_ind = [ins[1] for ins in simlist[:15]]  for atoms_idx in six_atoms_ind:     nearest_words = embeddings.similar_by_vector(dictionary[atoms_idx,:])     nearest_words = [word[0] for word in nearest_words]     print(&quot;Atom #{}: {}&quot;.format(atoms_idx, ' '.join(nearest_words)))<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">Atom #162: win victory winning victories wins won 2-1 scored 3-1 scoring Atom #58: game play match matches games played playing tournament players stadium Atom #237: 0-0 1-1 2-2 3-3 draw 0-1 4-4 goalless 1-0 1-2 Atom #622: wrapped wrap wrapping holding placed attached tied hold plastic held Atom #1899: struggles tying tied inextricably fortunes struggling tie intertwined redefine define Atom #1941: semifinals quarterfinals semifinal quarterfinal finals semis semi-finals berth champions quarter-finals Atom #1074: qualifier quarterfinals semifinal semifinals semi finals quarterfinal champion semis champions Atom #1914: wearing wore jacket pants dress wear worn trousers shirt jeans Atom #281: black wearing man pair white who girl young woman big Atom #1683: overtime extra seconds ot apiece 20-17 turnovers 3-2 halftime overtimes Atom #369: snap picked snapped pick grabbed picks knocked picking bounced pulled Atom #98: first team start final second next time before test after Atom #1455: after later before when then came last took again but Atom #1203: competitions qualifying tournaments finals qualification matches qualifiers champions competition competed Atom #1602: hat hats mask trick wearing wears sunglasses trademark wig wore<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">simlist = []  for i, vector in enumerate(dictionary):     simlist.append( (cosine(vector, string_emb), i) )  simlist = sorted(simlist, key=lambda x: x[0]) six_atoms_ind = [ins[1] for ins in simlist[:15]]  for atoms_idx in six_atoms_ind:     nearest_words = embeddings.similar_by_vector(dictionary[atoms_idx,:])     nearest_words = [word[0] for word in nearest_words]     print(&quot;Atom #{}: {}&quot;.format(atoms_idx, ' '.join(nearest_words)))<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">Atom #528: autumn spring summer winter season rainy seasons fall seasonal during Atom #1070: start begin beginning starting starts begins next coming day started Atom #931: holiday christmas holidays easter thanksgiving eve celebrate celebrations weekend festivities Atom #1455: after later before when then came last took again but Atom #754: but so not because even only that it this they Atom #688: yankees yankee mets sox baseball braves steinbrenner dodgers orioles torre Atom #1335: last ago year months years since month weeks week has Atom #252: upcoming scheduled preparations postponed slated forthcoming planned delayed preparation preparing Atom #619: cold cool warm temperatures dry cooling wet temperature heat moisture Atom #1775: garden gardens flower flowers vegetable ornamental gardeners gardening nursery floral Atom #21: dec. nov. oct. feb. jan. aug. 27 28 29 june Atom #84: celebrations celebration marking festivities occasion ceremonies celebrate celebrated celebrating ceremony Atom #98: first team start final second next time before test after Atom #606: vacation lunch hour spend dinner hours time ramadan brief workday Atom #384: golden moon hemisphere mars twilight millennium dark dome venus magic<\/code><\/pre>\n<p>  <\/p>\n<p>\u0412\u0435\u0441\u044c\u043c\u0430 \u043d\u0435\u043f\u043b\u043e\u0445\u043e! \u041c\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0445\u043e\u0442\u044c \u0438 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438, \u0432\u0438\u0434\u0438\u043c \u0430\u0442\u043e\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0440\u0430\u0436\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432.<br \/>  \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435, \u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u0443\u0434\u0435\u0442 \u0433\u043e\u0440\u0430\u0434\u043e \u043c\u0435\u043d\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c. \u042f \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u044e, \u0442\u0443\u0442 \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u043e\u0441\u044c \u0440\u0430\u043d\u0435\u0435. <\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u043e\u0437\u044c\u043c\u0435\u043c fastText, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 <a href=\"http:\/\/rusvectores.org\" rel=\"nofollow\">RusVectores<\/a>. \u041e\u043d\u0438 \u0431\u044b\u043b\u0438 \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u041d\u041a\u0420\u042f \u0441 \u0440\u0430\u0437\u043c\u0435\u043d\u0440\u043e\u0441\u0442\u044c\u044e 300.<\/p>\n<p>  <\/p>\n<pre><code class=\"python\">fasttext_model = KeyedVectors.load('\/home\/astromis\/Embeddings\/fasttext\/model.model')<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings = fasttext_model.wv  index2word = embeddings.index2word embedds = embeddings.vectors<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embedds.shape<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">(164996, 300)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">%time aksvd = ApproximateKSVD(n_components=2000,transform_n_nonzero_coefs=5, ) embedding_trans = embeddings.vectors[:10000] dictionary = aksvd.fit(embedding_trans).components_ gamma = aksvd.transform(embedding_trans)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">CPU times: user 1 \u00b5s, sys: 2 \u00b5s, total: 3 \u00b5s Wall time: 6.2 \u00b5s<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">dictionary = np.load('.\/data\/mats\/dictionary_rus_fasttext_300d.npz') dictionary = dictionary[dictionary.keys()[0]]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings.similar_by_vector(dictionary[1024,:], 20)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[('\u0438\u0441\u0447\u0435\u0437\u0430\u0442\u044c', 0.6854609251022339),  ('\u0431\u0435\u0441\u0441\u043b\u0435\u0434\u043d\u043e', 0.6593252420425415),  ('\u0438\u0441\u0447\u0435\u0437\u0430\u0432\u0448\u0438\u0439', 0.6360634565353394),  ('\u0431\u0435\u0441\u0441\u043b\u0435\u0434\u043d\u044b\u0439', 0.5998549461364746),  ('\u0438\u0441\u0447\u0435\u0437\u043b\u0438', 0.5971367955207825),  ('\u0438\u0441\u0447\u0435\u0437', 0.5862340927124023),  ('\u043f\u0440\u043e\u043f\u0430\u0434\u0430\u0442\u044c', 0.5788886547088623),  ('\u0438\u0441\u0447\u0435\u0437\u043b\u043e\u0442\u0435\u0446', 0.5788123607635498),  ('\u0438\u0441\u0447\u0435\u0437\u043d\u0443\u0432\u0448\u0438\u0439', 0.5623885989189148),  ('\u0438\u0441\u0447\u0435\u0437\u0438\u043d\u0430\u0442\u044c', 0.5610565543174744),  ('\u043b\u0438\u043a\u0432\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f', 0.5551878809928894),  ('\u0438\u0441\u0447\u0435\u0437\u043d\u0443\u0442\u044c', 0.551397442817688),  ('\u0438\u0441\u0447\u0435\u0437\u043d\u0435\u0442', 0.5356274247169495),  ('\u0438\u0441\u0447\u0435\u0437\u0430\u043d\u0438\u0435', 0.531707227230072),  ('\u0443\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c\u0441\u044f', 0.5174376368522644),  ('\u043b\u0438\u043a\u0432\u0438\u0434\u0438\u0440\u0443\u0442\u044c', 0.5131562948226929),  ('\u043b\u0438\u043a\u0432\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c', 0.5120065212249756),  ('\u043f\u043e\u0433\u043b\u043e\u0449\u0430\u0442\u044c\u0441\u044f', 0.5077806115150452),  ('\u0438\u0441\u0447\u0435\u0437\u0430\u043d\u0438\u0439', 0.5074601173400879),  ('\u0443\u043b\u0435\u0442\u0443\u0447\u0438\u0442\u044c\u0441\u044f', 0.5068254470825195)]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings.similar_by_vector(dictionary[1582,:], 20)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[('\u043f\u0440\u043e\u0441\u0442\u043e\u0439', 0.45191124081611633),  ('\u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044c', 0.4515378475189209),  ('\u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0430', 0.4478364586830139),  ('\u043d\u0430\u0438\u0431\u043e\u043b', 0.4280813932418823),  ('\u043f\u0440\u043e\u0441\u0442\u043e\u0442\u043e\u0442\u044c', 0.41220104694366455),  ('\u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439', 0.40772825479507446),  ('\u043f\u0440\u043e\u0441\u0442\u043e\u0442\u043e\u0435', 0.4047147035598755),  ('\u043d\u0430\u0438\u0431\u043e\u043b\u044c', 0.4030646085739136),  ('\u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435', 0.39368513226509094),  ('\u0444\u043e\u0440\u043c\u0443\u043b\u0430', 0.39012178778648376),  ('\u043f\u0440\u043e\u0441\u0442\u043e\u0435', 0.3866344690322876),  ('\u043f\u0440\u043e\u0441\u0442\u043e', 0.37968817353248596),  ('\u043d\u0430\u0433\u043b\u044f\u0434\u043d\u0430', 0.3728911876678467),  ('\u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u0435', 0.3663109242916107),  ('\u043f\u0435\u0440\u0432\u043e\u043e\u0441\u043d\u043e\u0432\u0430', 0.3640827238559723),  ('\u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439', 0.3474290072917938),  ('\u043f\u0435\u0440\u0432\u043e\u0440\u043e\u0434\u0441\u0442\u0432\u043e', 0.3473641574382782),  ('\u043b\u0435\u0433\u043a\u043e', 0.3468908369541168),  ('\u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439', 0.34586742520332336),  ('\u0430\u0432\u043e\u0441\u044c', 0.34555742144584656)]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">embeddings.similar_by_vector(dictionary[500,:], 20)<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[('\u0444\u043e\u043d\u0434', 0.6874514222145081),  ('-\u0444\u043e\u043d\u0434', 0.5172050595283508),  ('\u0444\u043e\u043d\u0434\u044e', 0.46720415353775024),  ('\u0436\u0438\u043b\u0444\u043e\u043d\u0434', 0.44713956117630005),  ('\u0433\u043e\u0441\u0444\u043e\u043d\u0434', 0.4144558310508728),  ('\u0444\u0438\u043b\u044c\u043c\u043e\u0444\u043e\u043d\u0434', 0.40545403957366943),  ('\u0433\u0432\u0430\u0440\u0434\u0438\u044f', 0.4030636250972748),  ('\u0445\u0435\u0434\u0436-\u0444\u043e\u043d\u0434', 0.4016447067260742),  ('\u0433\u0435\u043d\u043e\u0444\u043e\u043d\u0434', 0.38331469893455505),  ('\u043b\u0438\u0442\u0444\u043e\u043d\u0434', 0.37292781472206116),  ('\u0433\u043e\u0441\u0444\u0438\u043b\u044c\u043c\u043e\u0444\u043e\u043d\u0434', 0.3625457286834717),  ('\u0444\u043e\u043d\u0434\u0430\u043d', 0.35121074318885803),  ('\u0441\u0442\u0430\u0431\u0444\u043e\u043d\u0434', 0.3504621088504791),  ('\u0444\u043e\u043d\u0434\u044a', 0.34097471833229065),  ('\u0442\u043e\u043d\u0434', 0.33320850133895874),  ('\u0431\u043e\u043d\u0434', 0.3277249336242676),  ('\u044d\u0445\u043e', 0.3266661763191223),  ('\u0440\u0436\u043e\u043d\u0434', 0.31865227222442627),  ('\u044e\u0440\u0438\u0439::\u043b\u0435\u0432\u0430\u0434\u0430', 0.30150306224823),  ('\u0440\u0433\u0432\u0430', 0.2975207567214966)]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">itie = index2word.index('\u043a\u043e\u0441\u0430') ispring = index2word.index('\u043a\u043b\u044e\u0447')  tie_emb = embedds[itie] string_emb = embedds[ispring]<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">simlist = []  for i, vector in enumerate(dictionary):     simlist.append( (cosine(vector, string_emb), i) )  simlist = sorted(simlist, key=lambda x: x[0]) six_atoms_ind = [ins[1] for ins in simlist[:10]]  for atoms_idx in six_atoms_ind:     nearest_words = embeddings.similar_by_vector(dictionary[atoms_idx,:])     nearest_words = [word[0] for word in nearest_words]     print(&quot;Atom #{}: {}&quot;.format(atoms_idx, ' '.join(nearest_words)))<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">Atom #185: \u0437\u0430\u0433\u0430\u0434\u043a\u0430 \u0437\u0430\u0433\u0430\u0434\u043a \u0437\u0430\u0433\u0430\u0434\u043a\u0430\u0439 \u0437\u0430\u0433\u0430\u0434 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0440\u0430\u0437\u0433\u0430\u0434\u043a\u0430 \u0437\u0430\u0433\u0430\u0434\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u0434\u043e\u043a\u0441 \u0437\u0430\u0434\u0430\u0447\u0430 Atom #1217: \u0434\u0432\u0435\u0440\u044c \u0434\u0432\u0435\u0440\u044c\u044e \u0434\u0432\u0435\u0440\u0438 \u0434\u0432\u0435\u0440\u043a\u0430 \u0434\u0432\u0435\u0440\u043d\u043e\u0439 \u043a\u0430\u043b\u0438\u0442\u043a\u0430 \u0441\u0442\u0430\u0432\u0435\u043d\u044c \u0437\u0430\u043f\u0435\u0440\u0435\u0442\u044c \u0434\u0432\u0435\u0440\u044c-\u0442\u043e \u043d\u0430\u0441\u0442\u0435\u0436\u044c Atom #1213: \u043f\u0430\u043f\u043a\u0430 \u0431\u0443\u043c\u0430\u0436\u043d\u0438\u043a \u0441\u0435\u0439\u0444 \u0441\u0443\u043d\u0434\u0443\u043a \u043f\u043e\u0440\u0442\u0444\u0435\u043b\u044c \u0447\u0435\u043c\u043e\u0434\u0430\u043d \u044f\u0449\u0438\u043a \u0441\u0443\u043d\u0434\u0443\u0447\u043a \u043f\u0430\u0447\u043a\u0430 \u0441\u0443\u043d\u0434\u0443\u0447\u043e\u043a Atom #1978: \u043a\u0440\u0430\u043d \u043f\u043b\u0438\u0442\u0430 \u043a\u0440\u044b\u0448\u043a\u0430 \u0432\u0435\u043d\u0442\u0438\u043b\u044c \u043a\u043b\u0430\u043f\u0430\u043d \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043f\u043b\u0438\u0442\u0430 \u043a\u043e\u0442\u0435\u043b \u043f\u043b\u0438\u0442\u043a\u0430 \u0440\u0430\u043a\u043e\u0432\u0438\u043d\u0430 \u043f\u043e\u0441\u0443\u0434\u0430 Atom #1796: \u043a\u0430\u0440\u043c\u0430\u043d \u043f\u0430\u0437\u0443\u0445\u0430 \u043a\u0430\u0440\u043c\u0430\u0448\u0435\u043a \u0431\u0443\u043c\u0430\u0436\u043d\u0438\u043a \u043a\u0430\u0440\u043c\u0430\u043d\u0443\u0442\u0430 \u043a\u0430\u0440\u043c\u0430\u043d\u0431\u044b\u0442\u044c \u043f\u0430\u0437\u0443\u0445 \u043a\u0430\u0440\u043c\u0430\u043d\u0447\u0438\u043a \u043a\u0430\u0440\u043c\u0430\u043d\u044c\u043e\u043b \u043a\u0430\u0440\u043c\u0430\u0448\u043a\u0430 Atom #839: \u043a\u043d\u043e\u043f\u043a\u0430 \u043a\u043d\u043e\u043f\u0444 \u043d\u0430\u0436\u0438\u043c\u0430\u0442\u044c \u043a\u043d\u043e\u043f \u043a\u043b\u0430\u0432\u0438\u0448\u0430 \u043d\u0430\u0436\u0430\u0442\u044c \u043a\u043d\u043e\u043f\u0430 \u043a\u043d\u043e\u043f\u043e\u0447\u043a\u0430 \u0440\u044b\u0447\u0430\u0436\u043e\u043a \u043d\u0430\u0436\u0430\u0442\u0438\u0435 Atom #989: \u043e\u0442\u044b\u0441\u043a\u0438\u0432\u0430\u0442\u044c \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u0442\u044b\u0441\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0438\u0441\u043a\u0430\u0442\u044c \u0440\u0430\u0437\u044b\u0441\u043a\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u044b\u0441\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0438\u0441\u043a \u043f\u043e\u0438\u0441\u043a\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u044b\u0441\u043a\u0430\u0442\u044c \u043e\u0442\u044b\u0441\u043a\u0430\u0442\u044c\u0441\u044f Atom #414: \u043c\u043e\u043b\u043e\u0442\u043e\u043a \u043c\u043e\u043b\u043e\u0442 \u0442\u043e\u043f\u043e\u0440 \u043f\u0438\u043b\u0430 \u043a\u043e\u043b\u043e\u0442 \u043c\u043e\u043b\u043e\u0442\u043e\u0431\u043e\u0435\u0446 \u043c\u043e\u043b\u043e\u0442\u043e\u0439 \u043a\u0443\u0432\u0430\u043b\u0434\u0430 \u043c\u043e\u043b\u043e\u0442\u0430 \u0443\u043c\u043e\u043b\u043e\u0442 Atom #1140: \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u0435\u0446 \u043a\u0430\u043f\u0438\u0442\u0430\u043b \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u043e\u0432\u0435\u043a \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u0438\u0441\u0442 \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u044c\u043d\u043e \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u0438\u0437\u043c -\u043a\u0430\u043f\u0438\u0442\u0430\u043b\u0438\u0441\u0442 \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u043e\u0435\u043c\u043a\u0438\u0439 \u043a\u0430\u043f\u0438\u0442\u0430\u043b\u043e\u0432\u043b\u043e\u0436\u0435\u043d\u0438\u0435 Atom #878: \u0445\u0440\u0430\u043d\u0438\u0442\u0435\u043b\u044c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u0445\u0440\u0430\u043d\u0438\u0432\u0448\u0438\u0439 \u0445\u0440\u0430\u043d\u0438\u0432\u0430\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0439 \u0445\u0440\u0430\u043d\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0445\u0440\u0430\u043d\u0435\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u0432\u0448\u0438\u0439\u0441\u044f<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">simlist = []  for i, vector in enumerate(dictionary):     simlist.append( (cosine(vector, tie_emb), i) )  simlist = sorted(simlist, key=lambda x: x[0]) six_atoms_ind = [ins[1] for ins in simlist[:10]]  for atoms_idx in six_atoms_ind:     nearest_words = embeddings.similar_by_vector(dictionary[atoms_idx,:])     nearest_words = [word[0] for word in nearest_words]     print(&quot;Atom #{}: {}&quot;.format(atoms_idx, ' '.join(nearest_words)))<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">Atom #883: \u043a\u043e\u0441\u043e\u0439 \u0440\u0443\u0441\u044b\u0439 \u043a\u0443\u0434\u0440\u044f\u0448\u043a\u0430 \u043a\u043e\u0441\u0438\u0447\u043a\u0430 \u0447\u0435\u043b\u043a\u0430 \u0440\u0443\u0441\u043e\u0439 \u0447\u0435\u0440\u043d\u043e\u0432\u043e\u043b\u043e\u0441\u043e\u0439 \u043a\u0443\u0434\u0440\u044f\u0432\u044b\u0439 \u043a\u0443\u0434\u0440\u044f\u0448 \u0441\u0432\u0435\u0442\u043b\u043e-\u0440\u0443\u0441\u044b\u0439 Atom #40: \u043a\u0443\u0441\u0442\u0430\u0440\u043d\u0438\u043a \u0437\u0430\u0440\u043e\u0441\u043b\u044c \u043e\u0441\u043e\u043a\u0430 \u0438\u0432\u043d\u044f\u043a \u0442\u0440\u0430\u0432\u0430 \u0431\u0443\u0440\u044c\u044f\u043d \u043f\u0430\u043f\u043e\u0440\u043e\u0442\u043d\u0438\u043a \u043a\u0443\u0441\u0442\u0438\u043a \u043f\u043e\u043b\u0443\u043a\u0443\u0441\u0442\u0430\u0440\u043d\u0438\u043a \u0431\u0443\u0440\u044c\u044f\u043d\u0430 Atom #215: \u043d\u0438\u0442\u043e\u0447\u043a\u0430 \u043f\u0430\u0443\u0447\u043e\u043a \u0431\u0443\u0441\u0438\u043d\u043a\u0430 \u043f\u0430\u0443\u0442\u0438\u043d\u043a\u0430 \u0436\u0435\u0440\u0434\u043e\u0447\u043a\u0430 \u0441\u0442\u0435\u0431\u0435\u043b\u044c\u043a\u0430 \u0432\u0435\u0442\u043e\u0447\u043a\u0430 \u0441\u0442\u0435\u0431\u0435\u043b\u0435\u043a \u0442\u0440\u0430\u0432\u0438\u043d\u043a\u0430 \u043f\u0443\u043f\u044b\u0440\u044b\u0448\u0435\u043a Atom #688: \u0432\u043e\u043b\u043e\u0441 \u0432\u0430\u043b\u044e\u0442\u0430 \u043a\u0443\u0434\u0440\u0438 \u0432\u0430\u043b\u044e\u0442\u043d\u044b\u0439 \u0431\u043e\u0440\u043e\u0434\u0430 \u0432\u0430\u043b\u044e\u0442\u0447\u0438\u043a \u0443\u0441 \u0431\u0438\u0432\u0430\u043b\u044e\u0442\u043d\u044b\u0439 \u043a\u043e\u0441\u0430 \u0443\u0441\u044b Atom #386: \u043f\u043b\u0435\u0447\u043e\u0442\u0435\u0446 \u0433\u0440\u0443\u0434\u044c \u0448\u0435\u044f \u043f\u043e\u0434\u0431\u043e\u0440\u043e\u0434\u043e\u043a \u0431\u0435\u0434\u0440\u043e \u0433\u0440\u0443\u0434\u044c\u044e \u043b\u044f\u0436\u043a\u0430 \u043f\u043b\u0435\u0447\u043e \u0437\u0430\u0442\u044b\u043b\u043e\u043a \u0436\u0438\u0432\u043e\u0442 Atom #676: \u0432\u0435\u0440\u0435\u0432\u043a\u0430 \u043a\u0430\u043d\u0430\u0442 \u0431\u0435\u0447\u0435\u0432\u043a\u0430 \u0432\u0435\u0440\u0435\u0432\u043e\u0447\u043a\u0430 \u0431\u0435\u0447\u0435\u0432\u043a\u0438\u0439 \u0448\u0435\u0441\u0442 \u0440\u0435\u043f\u0448\u043d\u0443\u0440 \u0436\u0435\u0440\u0434\u044c \u0432\u0435\u0440\u0435\u0432\u043e\u0447\u043d\u044b\u0439 \u0440\u0435\u043c\u0435\u043d\u044c Atom #414: \u043c\u043e\u043b\u043e\u0442\u043e\u043a \u043c\u043e\u043b\u043e\u0442 \u0442\u043e\u043f\u043e\u0440 \u043f\u0438\u043b\u0430 \u043a\u043e\u043b\u043e\u0442 \u043c\u043e\u043b\u043e\u0442\u043e\u0431\u043e\u0435\u0446 \u043c\u043e\u043b\u043e\u0442\u043e\u0439 \u043a\u0443\u0432\u0430\u043b\u0434\u0430 \u043c\u043e\u043b\u043e\u0442\u0430 \u0443\u043c\u043e\u043b\u043e\u0442 Atom #127: \u0441\u044e\u0440\u0442\u0443\u0447\u043e\u043a \u0441\u044e\u0440\u0442\u0443\u043a \u0433\u0430\u043b\u0441\u0442\u0443\u0447\u043e\u043a \u0444\u0440\u0430\u043a \u043f\u0430\u043d\u0442\u0430\u043b\u043e\u043d\u044b \u0433\u0430\u043b\u0441\u0442\u0443\u0447\u0435\u043a \u0441\u044e\u0440\u0442\u0443\u043a\u0438 \u0433\u0430\u043b\u0441\u0442\u0443\u043a \u043f\u043b\u0430\u0442\u044c\u0435 \u0433\u0430\u043b\u0441\u0442\u0443\u0445 Atom #592: \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0430 \u0441\u043a\u0430\u0442\u0435\u0440\u0442\u044c \u0441\u0430\u043b\u0444\u0435\u0442\u043e\u0447\u043a\u0430 \u043f\u043b\u0430\u0442\u043e\u043a \u0448\u0430\u043b\u044c \u043f\u043e\u043b\u043e\u0442\u0435\u043d\u0446\u0435 \u043a\u0440\u0443\u0436\u0435\u0432\u043d\u043e\u0439 \u043a\u0440\u0443\u0436\u0435\u0432\u0446\u043e \u043a\u0438\u0441\u0435\u044f \u0448\u0435\u043b\u043a\u0430 Atom #703: \u0448\u043b\u044e\u043f\u043a\u0430 \u043a\u0430\u0442\u0435\u0440 \u0431\u0430\u0440\u043a\u0430\u0441 \u0444\u043e\u043a-\u043c\u0430\u0447\u0442\u0430 \u0433\u0440\u043e\u0442-\u043c\u0430\u0447\u0442\u0430 \u043c\u0430\u0447\u0442\u0430 \u0444\u0440\u0435\u0433\u0430\u0442 \u0441\u0443\u0434\u043d\u043e \u043a\u043e\u0440\u0432\u0435\u0442 \u0448\u0445\u0443\u043d\u0430<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"python\">#np.savez_compressed('.\/data\/mats\/gamma_rus_fasttext_300d.npz', gamma) #np.savez_compressed('.\/data\/mats\/dictionary_rus_fasttext_300d.npz', dictionary)<\/code><\/pre>\n<p>  <\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u043e\u0436\u0435 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u043f\u0435\u0447\u0435\u0442\u043b\u044f\u0435\u0442.<\/p>\n<p>  <\/p>\n<h1 id=\"zaklyuchenie\">\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h1>\n<p>  <\/p>\n<p>\u0412 \u043e\u0431\u0437\u043e\u0440 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0435 \u0432\u043e\u0448\u043b\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0435\u0449\u0438 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043b\u044f \u0438\u0434\u0443\u043a\u0446\u0438\u0438 \u0441\u043c\u044b\u0441\u043b\u0430 \u0441\u043b\u043e\u0432 (Word sense indection), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0430\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0441\u0435\u0445 \u044d\u0442\u0438\u0445 \u0432\u044b\u043a\u043b\u0430\u0434\u043a\u0430\u0445, \u0430 \u0442\u0430\u043a\u0436\u0435 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u043b \u043e\u043f\u044b\u0442 \u0434\u043b\u044f \u0442\u0435\u043e\u0440\u0435\u043c\u044b 1. \u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u2014 \u043e\u0434\u0438\u043d \u0438\u0437 \u043a\u0438\u0440\u043f\u0438\u0447\u0438\u043a\u043e\u0432 \u0432 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438. \u041d\u0430\u043f\u0435\u0440\u0435\u0434 \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043d\u0435 \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b. \u041e\u0434\u043d\u0430\u043a\u043e, \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0411\u0443\u0434\u0435\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/509092\/\"> https:\/\/habr.com\/ru\/post\/509092\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/509092\/\">\n<p>tl;dr: \u0423\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u0440\u043e\u0440 \u0441\u0442\u0430\u0442\u044c\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0430\u0432\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0434\u0432\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b, \u043d\u0430 \u0431\u0430\u0437\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043d\u0430\u0448\u0435\u043b \u0441\u043f\u043e\u0441\u043e\u0431 \u043a\u0430\u043a \u0438\u0437 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u043c\u044b\u0441\u043b\u043e\u0432. \u041f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u0433\u0430\u0439\u0434 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u043e\u0443\u0442\u0431\u0443\u043a \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043d\u0430 <a href=\"https:\/\/github.com\/Astromis\/ksvd-on-embeddings\" rel=\"nofollow\">\u0433\u0438\u0442\u0445\u0430\u0431\u0435<\/a>. <\/p>\n<p>  <\/p>\n<h2 id=\"vvedenie\">\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>  <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0442\u0440\u044f\u0441\u043d\u043e\u0439 \u0432\u0435\u0449\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0448\u0435\u043b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0421\u0430\u043d\u0434\u0436\u0435\u0432 \u0410\u0440\u043e\u0440\u0430 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/abs\/1601.03764\" rel=\"nofollow\">Linear Algebraic Structure of Word Senses, with Applications to Polysemy<\/a>. \u041e\u043d\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0441\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0442\u0435\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0441\u043b\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435 \u0410\u0440\u043e\u0440\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a word2vec \u0438\u043b\u0438 Glove, \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432 \u0441\u0435\u0431\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0438\u0445 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c. \u041f\u043e \u0445\u043e\u0434\u0443 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f \u0431\u0443\u0434\u0443 \u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<br \/>  \u0411\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0437\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ecf\/540\/4b3\/ecf5404b39015f6707364ea65e01f67d.svg\" alt=\"$\\upsilon_{tie}$\" data-tex=\"inline\"><\/math> \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043d\u0435\u043a\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0430 \u0441\u043b\u043e\u0432\u0430 <em>tie<\/em>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0437\u043d\u0430\u0447\u043d\u0438\u0435 \u0443\u0437\u043b\u0430 \u0438\u043b\u0438 \u0433\u0430\u043b\u0441\u0442\u0443\u043a\u0430, \u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0433\u043b\u0430\u0433\u043e\u043b\u043e\u043c &quot;\u0437\u0430\u0432\u044f\u0437\u0430\u0442\u044c&quot;. \u0410\u0440\u043e\u0440\u0430 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c, \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e <\/p>\n<p>  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ffc\/c63\/146\/ffcc63146c620d282923b71412c0edbd.svg\" alt=\"$ \\upsilon_{tie} \\approx \\alpha_1 \\upsilon_{tie1} + \\alpha_2 \\upsilon_{tie2} + \\alpha_3 \\upsilon_{tie3}+... $\" data-tex=\"display\"><\/math><\/p>\n<p>  <\/p>\n<p>\u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d02\/e8b\/d6e\/d02e8bd6efcdb49ae49b7441e502a11f.svg\" alt=\"$\\upsilon_{tien}$\" data-tex=\"inline\"><\/math> \u044d\u0442\u043e \u043e\u0434\u043d\u043e \u0438\u0437 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432\u0430 <em>tie<\/em>, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/723\/4a5\/2ba\/7234a52ba041cdb09b9328a047048fb2.svg\" alt=\"$\\alpha$\" data-tex=\"inline\"><\/math> \u2014 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u0436\u0435 \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-306271","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/306271","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=306271"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/306271\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=306271"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=306271"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=306271"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}