{"id":309254,"date":"2020-08-31T15:00:59","date_gmt":"2020-08-31T15:00:59","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=309254"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=309254","title":{"rendered":"\u0414\u0435\u043b\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0438\u0437 \u043a\u043d\u0438\u0433 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e sentence embeddings"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/517226\/\">\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wj\/_-\/el\/wj_-elbiwy96kiiu-eltnpjuwtc.jpeg\" alt=\"Parallel trucks (image by Unsplash\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u043d\u0443\u0436\u0434, \u2014 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0438\u043b\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u043d\u043e\u0441\u0442\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0438\u0445 \u043d\u0435 \u0442\u0430\u043a \u0443\u0436 \u0438 \u043c\u043d\u043e\u0433\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u0440\u0435\u0447\u044c \u0438\u0434\u0435\u0442 \u043d\u0435 \u043e\u0431 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c, \u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0440\u0435\u0434\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0441\u0432\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0434\u043b\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043f\u0430\u0440\u044b <em>\u0440\u0443\u0441\u0441\u043a\u0438\u0439-\u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439<\/em> \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u043e\u043c\u0430\u043d\u0430 \u0420\u0435\u043c\u0430\u0440\u043a\u0430 &quot;\u0422\u0440\u0438 \u0442\u043e\u0432\u0430\u0440\u0438\u0449\u0430&quot;. \u041b\u044e\u0431\u0438\u0442\u0435\u043b\u044f\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u043a\u043d\u0438\u0433 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0441\u0438\u0441\u0442\u0435\u043c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043f\u043e\u0441\u0432\u044f\u0449\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>  <\/p>\n<h2 id=\"zadacha\">\u0417\u0430\u0434\u0430\u0447\u0430<\/h2>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0440\u0435\u0448\u0435\u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0438. \u041c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0432 \u0442\u0435\u043a\u0441\u0442\u0430\u0445, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u043d\u0438\u0445 \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043d\u0435 \u0434\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0442\u043e\u0436\u0435 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c.<\/li>\n<li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c sentence embeddings. \u041d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0432\u044b \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043f\u0440\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0438\u043f\u0430 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Word2vec\" rel=\"nofollow\">word2vec<\/a> \u0438\u043b\u0438 sent2vec \u0438\u043b\u0438 \u0432\u0438\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u2014 <em>&quot;\u043a\u043e\u0440\u043e\u043b\u044c&quot;<\/em> + <em>&quot;\u0436\u0435\u043d\u0449\u0438\u043d\u0430&quot;<\/em> \u2014 <em>&quot;\u043c\u0443\u0436\u0447\u0438\u043d\u0430&quot;<\/em> = <em>&quot;\u043a\u043e\u0440\u043e\u043b\u0435\u0432\u0430&quot;<\/em>. \u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0442\u043e \u0441\u0443\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0441\u043b\u043e\u0432\u0430 (\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u0442\u0435\u043a\u0441\u0442\u044b) \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0435 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u0438\u0445 \u043a\u0443\u0441\u043e\u0447\u043a\u043e\u0432 <strong>\u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443<\/strong>.<\/li>\n<\/ul>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<h2 id=\"modeli\">\u041c\u043e\u0434\u0435\u043b\u0438<\/h2>\n<p>  <\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0431\u0440\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u0432\u043e\u0437\u044c\u043c\u0435\u043c Universal Sentence Encoder, Sentence Transformers \u0438 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0432\u044b\u0448\u0435\u0434\u0448\u0438\u0439 LaBSE (Language Agnostic BERT Sentence Embeddings).<\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u0431\u044b \u043d\u0435 \u0431\u044b\u043b\u0430 \u0445\u043e\u0440\u043e\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043e\u0434\u043d\u0430 \u043e\u043d\u0430 \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u0441\u044f, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a \u0447\u0430\u0441\u0442\u0435\u043d\u044c\u043a\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0442\u044c \u0434\u0432\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432 \u043e\u0434\u043d\u043e, \u0430 \u043e\u0434\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0442\u044c \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0445. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435 \u0441 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u0439. \u0414\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0438, \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0442\u0430\u043a\u043e\u0439 \u2014 \u0435\u0441\u043b\u0438 \u0434\u043b\u0438\u043d\u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430, \u0442\u043e \u043b\u0438\u0431\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u043e\u0434\u043d\u043e \u0438\u0437 \u043d\u0438\u0445 \u043f\u043e \u0437\u043d\u0430\u043a\u0443 \u043f\u0440\u0435\u043f\u0438\u043d\u0430\u043d\u0438\u044f, \u043b\u0438\u0431\u043e \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u043c \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0435 \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c. \u041f\u043e\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043f\u0430\u0440\u044b.<\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438, \u043d\u043e \u0438 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u043c\u0438, \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0438\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u043b\u044f &quot;I love cats&quot; \u0431\u0443\u0434\u0435\u0442 \u0431\u043b\u0438\u0437\u043e\u043a \u0432\u0435\u043a\u0442\u043e\u0440\u0443 &quot;\u042f \u043b\u044e\u0431\u043b\u044e \u043a\u043e\u0448\u0435\u043a&quot;. \u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043d\u0430\u043c \u044f\u0437\u044b\u043a\u0438, \u0441\u043f\u0438\u0441\u043e\u043a \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 1. \u0421\u0430\u043c\u044b\u0439 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0443 <em>USE<\/em>, \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u0440\u0435\u0434\u043a\u0438\u0435 \u044f\u0437\u044b\u043a\u0438, \u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 <em>xlm-r-100langs-bert-base<\/em> \u0438\u043b\u0438 <em>LaBSE<\/em>.<\/p>\n<p>  <\/p>\n<h3 id=\"tablica-1-multilingual-sentence-embedding-models\">\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1. Multilingual sentence embedding models<\/h3>\n<p>  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<th>\u041c\u043e\u0434\u0435\u043b\u044c<\/th>\n<th>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u044f\u0437\u044b\u043a\u0438<\/th>\n<th>\u0420\u0430\u0437\u043c\u0435\u0440 \u0432\u0435\u0441\u043e\u0432<\/th>\n<th>\u0414\u043b\u0438\u043d\u0430 embedding&#8217;\u0430<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><a href=\"https:\/\/www.sbert.net\/docs\/pretrained_models.html\" rel=\"nofollow\">sentence transformers\/distiluse-base-multilingual-cased<\/a><\/td>\n<td>13 \u044f\u0437\u044b\u043a\u043e\u0432 (\u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0430\u0440\u0430\u0431\u0441\u043a\u0438\u0439, \u0438\u0441\u043f\u0430\u043d\u0441\u043a\u0438\u0439, \u0438\u0442\u0430\u043b\u044c\u044f\u043d\u0441\u043a\u0438\u0439, \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u0439, \u043a\u043e\u0440\u0435\u0439\u0441\u043a\u0438\u0439, \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439, \u043d\u0438\u0434\u0435\u0440\u043b\u0430\u043d\u0434\u0441\u043a\u0438\u0439, \u043f\u043e\u043b\u044c\u0441\u043a\u0438\u0439, \u043f\u043e\u0440\u0442\u0443\u0433\u0430\u043b\u044c\u0441\u043a\u0438\u0439, \u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u0442\u0443\u0440\u0435\u0446\u043a\u0438\u0439 \u0438 \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439)<\/td>\n<td>500Mb<\/td>\n<td>512<\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/tfhub.dev\/google\/universal-sentence-encoder-multilingual-large\/3\" rel=\"nofollow\">Universal Sentence Encoder<\/a><\/td>\n<td>15 \u044f\u0437\u044b\u043a\u043e\u0432 (\u0442\u0435 \u0436\u0435 \u043f\u043b\u044e\u0441 \u0442\u0430\u0439\u0441\u043a\u0438\u0439 \u0438 \u044f\u043f\u043e\u043d\u0441\u043a\u0438\u0439)<\/td>\n<td>250Mb (300Mb large version)<\/td>\n<td>512<\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/www.sbert.net\/docs\/pretrained_models.html\" rel=\"nofollow\">sentence transfomers\/xlm-r-100langs-bert-base<\/a><\/td>\n<td>100 \u044f\u0437\u044b\u043a\u043e\u0432*, <a href=\"https:\/\/www.sbert.net\/docs\/pretrained_models.html#multi-lingual-models\" rel=\"nofollow\">\u043f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a<\/a><\/td>\n<td>1Gb<\/td>\n<td>768<\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/tfhub.dev\/google\/LaBSE\/1\" rel=\"nofollow\">LaBSE<\/a><\/td>\n<td>109 \u044f\u0437\u044b\u043a\u043e\u0432, <a href=\"https:\/\/arxiv.org\/pdf\/2007.01852.pdf\" rel=\"nofollow\">\u043f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a<\/a><\/td>\n<td>1.63Gb<\/td>\n<td>768<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <\/p>\n<p>*\u0412 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 sentence transformers <a href=\"https:\/\/www.sbert.net\/docs\/pretrained_models.html#multi-lingual-models\" rel=\"nofollow\">\u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442\u0441\u044f<\/a>, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u0436\u0435 \u0434\u0430\u044e\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0434\u043b\u044f \u044f\u0437\u044b\u043a\u043e\u0432 \u0432\u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430.<\/p>\n<p>  <\/p>\n<h2 id=\"vyravnivatel\">\u0412\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u0435\u043b\u044c<\/h2>\n<p>  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0433 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438 \u0447\u0442\u043e-\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e, \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0432 Colab&#8217;\u0435, \u043e\u0431\u0449\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u043c jupyter \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435. \u0412\u0441\u0435 \u0441\u0441\u044b\u043b\u043a\u0438 \u0431\u0443\u0434\u0443\u0442 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0438\u0445 \u0432 \u043d\u0430\u0448\u0443 \u0441\u0440\u0435\u0434\u0443 \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c \u043a \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044e.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">!pip3 install razdel !pip3 install sentence-transformers<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">import re import seaborn as sns import numpy as np  from scipy import spatial from matplotlib import pyplot as plt  import razdel from sentence_transformers import SentenceTransformer<\/code><\/pre>\n<p>  <\/p>\n<h2 id=\"predobrabotka\">\u041f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430<\/h2>\n<p>  <\/p>\n<p>\u0418\u0442\u0430\u043a, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043f\u0435\u0440\u0432\u0443\u044e \u0433\u043b\u0430\u0432\u0443 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u043e\u043c\u0430\u043d\u0430 &quot;\u0422\u0440\u0438 \u0442\u043e\u0432\u0430\u0440\u0438\u0449\u0430&quot; \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0435 (1936 \u0433\u043e\u0434) \u0438 \u0432 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435 \u0418. \u0428\u0440\u0430\u0439\u0431\u0435\u0440\u0430 \u0438<br \/>  \u041b. \u042f\u043a\u043e\u0432\u043b\u0435\u043d\u043a\u043e (1959 \u0433\u043e\u0434). \u041f\u0435\u0440\u0432\u044b\u043c \u0448\u0430\u0433\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043d\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443. \u0422\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u044b\u0440\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430, \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0447\u0438\u0441\u0442\u0438\u043c \u0442\u0435\u043a\u0441\u0442. \u041f\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c \u0442\u0435\u043a\u0441\u0442 \u0440\u0430\u0437\u043e\u0431\u044a\u0435\u043c razdel&#8217;\u043e\u043c (\u0431\u044b\u0432\u0448\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 natasha), \u0434\u043b\u044f \u043d\u0435\u043c\u0435\u0446\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0442\u043e\u0436\u0435 \u043f\u043e\u0434\u043e\u0439\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u043e\u0437\u0430\u0431\u043e\u0442\u0438\u043c\u0441\u044f \u043e \u043a\u0430\u0432\u044b\u0447\u043a\u0430\u0445 (\u0432 \u043d\u0435\u043c\u0435\u0446\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043e\u043d\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0435 \u2014 \u00bb\u00ab).<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">double_dash = re.compile(r'[--]+') quotes_de = re.compile(r'[\u00bb\u00ab]+')  ru = re.sub('\\n', ' ', text_ru) ru = re.sub(double_dash, '\u2014', ru)  de = re.sub('\\n', ' ', text_de) de = re.sub(quotes_de, ' ', de)  sent_ru = list(x.text for x in razdel.sentenize(ru)) sent_de = list(x.text for x in razdel.sentenize(de))<\/code><\/pre>\n<p>  <\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">['\u041d\u0435\u0431\u043e  \u0431\u044b\u043b\u043e \u0436\u0435\u043b\u0442\u044b\u043c, \u043a\u0430\u043a \u043b\u0430\u0442\u0443\u043d\u044c; \u0435\u0433\u043e \u0435\u0449\u0435 \u043d\u0435 \u0437\u0430\u043a\u043e\u043f\u0442\u0438\u043b\u043e  \u0434\u044b\u043c\u043e\u043c.',  '\u0417\u0430 \u043a\u0440\u044b\u0448\u0430\u043c\u0438 \u0444\u0430\u0431\u0440\u0438\u043a\u0438 \u043e\u043d\u043e \u0441\u0432\u0435\u0442\u0438\u043b\u043e\u0441\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e.',  '\u0412\u043e\u0442\u2014\u0432\u043e\u0442  \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0432\u0437\u043e\u0439\u0442\u0438 \u0441\u043e\u043b\u043d\u0446\u0435.',  '\u042f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 \u0447\u0430\u0441\u044b \u2014 \u0435\u0449\u0435  \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u043e\u0441\u044c\u043c\u0438.',  '\u042f \u043f\u0440\u0438\u0448\u0435\u043b  \u043d\u0430  \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044c \u0447\u0430\u0441\u0430 \u0440\u0430\u043d\u044c\u0448\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e.',  '\u042f \u043e\u0442\u043a\u0440\u044b\u043b  \u0432\u043e\u0440\u043e\u0442\u0430  \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b \u043d\u0430\u0441\u043e\u0441 \u0431\u0435\u043d\u0437\u0438\u043d\u043e\u0432\u043e\u0439  \u043a\u043e\u043b\u043e\u043d\u043a\u0438.',  '\u0412\u0441\u0435\u0433\u0434\u0430 \u0432 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0443\u0436\u0435 \u043f\u043e\u0434\u044a\u0435\u0437\u0436\u0430\u043b\u0438 \u0437\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0435 \u043c\u0430\u0448\u0438\u043d\u044b.',  '\u0412\u0434\u0440\u0443\u0433 \u0437\u0430  \u0441\u0432\u043e\u0435\u0439 \u0441\u043f\u0438\u043d\u043e\u0439 \u044f \u0443\u0441\u043b\u044b\u0448\u0430\u043b \u0445\u0440\u0438\u043f\u043b\u043e\u0435 \u043a\u0440\u044f\u0445\u0442\u0435\u043d\u0438\u0435,  \u2014 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0431\u0443\u0434\u0442\u043e \u043f\u043e\u0434  \u0437\u0435\u043c\u043b\u0435\u0439  \u043f\u0440\u043e\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e\u0442 \u0440\u0436\u0430\u0432\u044b\u0439 \u0432\u0438\u043d\u0442.',  '\u042f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f  \u0438 \u043f\u0440\u0438\u0441\u043b\u0443\u0448\u0430\u043b\u0441\u044f.',  '\u041f\u043e\u0442\u043e\u043c \u043f\u043e\u0448\u0435\u043b \u0447\u0435\u0440\u0435\u0437  \u0434\u0432\u043e\u0440  \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432  \u043c\u0430\u0441\u0442\u0435\u0440\u0441\u043a\u0443\u044e  \u0438  \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e  \u043f\u0440\u0438\u043e\u0442\u043a\u0440\u044b\u043b  \u0434\u0432\u0435\u0440\u044c.']<\/code><\/pre>\n<p>  <\/p>\n<p>\u0418 \u043d\u0430 \u043d\u0435\u043c\u0435\u0446\u043a\u043e\u043c:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">['Der Himmel war gelb wie Messing und noch nicht verqualmt vom Rauch der Schornsteine.',  'Hinter den D\u00e4chern der Fabrik leuchtete er sehr stark.',  'Die Sonne mu\u00dfte gleich aufgehen.',  'Ich sah nach der Uhr.',  'Es war noch vor acht.',  'Eine Viertelstunde zu fr\u00fch.',  'Ich schlo\u00df das Tor auf und machte die Benzinpumpe fertig.',  'Um diese Zeit kamen immer schon ein paar Wagen vorbei, die tanken wollten.',  'Pl\u00f6tzlich h\u00f6rte ich hinter mir ein heiseres Kr\u00e4chzen, das klang, als ob unter der Erde ein rostiges Gewinde hochgedreht w\u00fcrde.',  'Ich blieb stehen und lauschte.']<\/code><\/pre>\n<p>  <\/p>\n<p>\u041f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0438\u0445 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 570 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0442\u0438\u0432 561-\u0433\u043e \u043d\u0430 \u043d\u0435\u043c\u0435\u0446\u043a\u043e\u043c. \u0422\u0430\u043a \u043a\u0430\u043a \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e, \u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0432\u044b\u0440\u043e\u0432\u043d\u044f\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u0441 \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c.<\/p>\n<p>  <\/p>\n<h2 id=\"batching\">\u0411\u0430\u0442\u0447\u0438\u043d\u0433<\/h2>\n<p>  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0445 \u0431\u0430\u0442\u0447\u0430\u043c\u0438, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0432\u0435\u0434\u0435\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u0432 \u043a\u043e\u043b\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u042d\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e, \u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0434\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">def get_batch(iter1, iter2, batch_size):     l1 = len(iter1)     l2 = len(iter2)     k = int(round(batch_size * l2\/l1))         kdx = 0 - k     for ndx in range(0, l1, batch_size):         kdx += k         yield iter1[ndx:min(ndx + n, l1)], iter2[kdx:min(kdx + k, l2)]<\/code><\/pre>\n<p>  <\/p>\n<h2 id=\"embeddingi\">\u042d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/h2>\n<p>  <\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u043e\u0437\u044c\u043c\u0435\u043c sentence-transformers (distiluse-base-multilingual-cased), \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439 \u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a\u0438, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u0435\u0441\u0438\u0442 (~500 Mb), \u0438 \u0434\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">model_st = SentenceTransformer('distiluse-base-multilingual-cased')<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">vectors1, vectors2 = [], []  for lines_ru_batch, lines_de_batch in get_batch(sent_ru, sent_de, batch_size):     batch_number += 1     vectors1 = [*vectors1, *model_st.encode(lines_de_batch)]     vectors2 = [*vectors2, *model_st.encode(lines_ru_batch)]<\/code><\/pre>\n<p>  <\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 512.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">[array([-0.03442561,  0.02094117, ... ,  0.11265451])], dtype=float32)]<\/code><\/pre>\n<p>  <\/p>\n<h2 id=\"blizost\">\u0411\u043b\u0438\u0437\u043e\u0441\u0442\u044c<\/h2>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0438\u0437 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u0445 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u041e\u0431\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c \u043d\u0435 \u0432\u0441\u0435 \u043f\u0430\u0440\u044b, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u043e\u043a\u043d\u0435 \u2014 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0432\u043f\u0435\u0440\u0435\u0434 \u0438 \u043d\u0430\u0437\u0430\u0434 \u043e\u0442 &quot;\u043e\u0441\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f&quot;. \u041f\u043e\u0434 \u043e\u0441\u044c\u044e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c \u043d\u0430\u0448\u0435\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">def get_sim_matrix(vec1, vec2, window=10):     sim_matrix=np.zeros((len(vec1), len(vec2)))     k = len(vec1)\/len(vec2)     for i in range(len(vec1)):         for j in range(len(vec2)):             if (j*k &gt; i-window) &amp; (j*k &lt; i+window):               sim = 1 - spatial.distance.cosine(vec1[i], vec2[j])               sim_matrix[i,j] = sim     return sim_matrix<\/code><\/pre>\n<p>  <\/p>\n<pre><code class=\"plaintext\">sim_matrix = get_sim_matrix(vectors1, vectors2, window)<\/code><\/pre>\n<p>  <\/p>\n<h2 id=\"vizualizaciya\">\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/h2>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0435\u0439 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 50 \u0441\u0442\u0440\u043e\u043a. \u041a\u0440\u0430\u0441\u0438\u0432\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c heatmap, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430\u044f \u0447\u0435\u0440\u0435\u0437 seaborn.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">plt.figure(figsize=(12,10)) sns.heatmap(sim_matrix, cmap=&quot;Greens&quot;, vmin=threshold) plt.xlabel(&quot;russian&quot;, fontsize=18) plt.ylabel(&quot;chinese&quot;, fontsize=18) plt.show()<\/code><\/pre>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/5d\/kf\/he\/5dkfhe20bac2kjnjejfzb0_slk4.png\" alt=\"Aligning first 50 lines\"><\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0431\u0443\u0434\u0435\u043c \u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e \u043d\u0430\u0448\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0431\u0443\u0434\u0435\u043c \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fg\/97\/mv\/fg97mvp_swkn-3smgvg3ju4xkps.png\" alt=\"Aligning first 50 lines (best fit)\"><\/p>\n<p>  <\/p>\n<p>\u0410 \u0432\u043e\u0442 \u0442\u0430\u043a \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ev\/pi\/8o\/evpi8oufimtrurdt41w3cyjkvbu.png\" alt=\"Aligning the whole text\"><\/p>\n<p>  <\/p>\n<h2 id=\"problemy\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b<\/h2>\n<p>  <\/p>\n<p>\u0412\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u0435\u0441\u0442\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0430 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u044f \u0432\u0438\u0436\u0443 \u0442\u0430\u043a\u0438\u0435:<\/p>\n<p>  <\/p>\n<ul>\n<li><strong>\u041b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u0439 \u0441\u0442\u0438\u043b\u044c<\/strong>. \u0422\u0430\u043a \u043a\u0430\u043a \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043e\u0439, \u0442\u043e \u043d\u0435 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0438, \u2014 \u043a\u0430\u043a \u043c\u044b \u043f\u043e\u043c\u043d\u0438\u043c, \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u0438, common crawling&#8217;\u0435 \u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u044f\u0445, \u0430 \u043d\u0435 \u043d\u0430 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445.<\/li>\n<li><strong>\u0410\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u0441\u0442\u0438\u043b\u044c<\/strong>. \u0412 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u043e\u043c \u0438\u043b\u0438 \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0448\u0438\u0435 \u0441\u043b\u043e\u0432\u0430, \u0442\u0430\u043a\u0436\u0435 \u0447\u0430\u0441\u0442\u043e \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0442\u044c\u0441\u044f \u0436\u0430\u0440\u0433\u043e\u043d\u0438\u0437\u043c\u044b \u0438 \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u043d\u0430\u044f \u043b\u0435\u043a\u0441\u0438\u043a\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0431\u043e\u0440\u0449\u0438\u0446\u0430 \u0444\u0440\u0430\u0443 \u0428\u0442\u043e\u0441\u0441 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0440\u043e\u043c\u0430\u043d\u0430, \u0438\u043a\u0430\u044f, \u0432\u0441\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 nich \u0432\u043c\u0435\u0441\u043e nicht).<\/li>\n<li><strong>\u0421\u0442\u0438\u043b\u044c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a\u0430<\/strong>. \u041f\u0440\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u2014 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u043e \u043a\u0430\u043a \u0434\u0432\u0430 \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442. \u042d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u0430. <\/li>\n<li><strong>\u0418\u043c\u0435\u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435<\/strong>. \u0415\u0441\u043b\u0438 \u0438\u043c\u0435\u043d\u0430 \u0420\u043e\u0431\u0435\u0440\u0442, \u0413\u043e\u0442\u0444\u0440\u0438\u0434, \u041e\u0442\u0442\u043e \u0438 \u041f\u0430\u0442\u0440\u0438\u0446\u0438\u044f \u0435\u0449\u0451 \u043a\u0443\u0434\u0430 \u043d\u0438 \u0448\u043b\u0438, \u0442\u043e \u0444\u0430\u043c\u0438\u043b\u0438\u0438 \u041b\u043e\u043a\u0430\u043c\u043f, \u041b\u0435\u043d\u0446, \u041a\u0451\u0441\u0442\u0435\u0440 \u0438 \u0425\u043e\u043b\u044c\u043c\u0430\u043d \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u043e. \u0412\u0441\u0435 \u043e\u043d\u0438 &quot;\u0440\u0430\u0437\u0431\u0430\u0432\u043b\u044f\u044e\u0442&quot; \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438. \u0421\u044e\u0434\u0430 \u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u043b\u044e\u0431\u044b\u0435 \u0440\u0435\u0434\u043a\u0438\u0435 \u0438\u043c\u0435\u043d\u0430, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u0438 \u0433\u0435\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/li>\n<li><strong>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u044f\u0437\u044b\u043a\u0430<\/strong>. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 &quot;\u0444\u0438\u0448\u043a\u0438&quot;. \u041d\u0435\u043c\u0435\u0446\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u0441\u0432\u043e\u0438\u043c\u0438 \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u044e\u0449\u0438\u043c\u0438\u0441\u044f \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438 \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u043a\u0438\u0432\u0430\u044e\u0449\u0438\u043c\u0438 \u0432 \u043a\u043e\u043d\u0435\u0446 \u043f\u0440\u0438\u0441\u0442\u0430\u0432\u043a\u0430\u043c\u0438, \u0437\u0430\u0442\u043e \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043b\u043e\u0432 \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0440\u043e\u0433\u0438\u0439. \u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u0433\u0430\u0442 \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0435\u0439, \u043f\u0430\u0434\u0435\u0436\u0430\u043c\u0438 (\u0432\u0435\u043d\u0433\u0435\u0440\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u043d\u0435\u0440\u0432\u043d\u043e \u0437\u0430\u0441\u043c\u0435\u044f\u043b\u0441\u044f) \u0438 \u043f\u043e\u0447\u0442\u0438 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c \u0441\u043b\u043e\u0432. \u0412 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u043d\u0435\u0442 \u043f\u0440\u043e\u0431\u0435\u043b\u043e\u0432 \u0438 \u0442.\u0434.<\/li>\n<\/ul>\n<p>  <\/p>\n<h2 id=\"rezultat\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/h2>\n<p>  <\/p>\n<p>\u0420\u0435\u0448\u0430\u0442\u044c \u0432\u0441\u0435 \u044d\u0442\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u043e \u0440\u0430\u0437\u043d\u043e\u043c\u0443, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0432 \u043d\u0438\u0445 \u0431\u0443\u0434\u0435\u0442 \u0438 \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u0441\u0442\u0438\u043b\u044c \u0438 \u0438\u043c\u0435\u043d\u0430, \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0438 \u0445\u0438\u0442\u0440\u044b\u0435 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0438, \u2014 \u0435\u0441\u043b\u0438 \u0434\u0432\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u0441\u043e\u0448\u043b\u0438\u0441\u044c, \u0442\u043e \u0438 \u0442\u043e, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438, \u0434\u043e\u043b\u0436\u043d\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u0430. \u041f\u043e\u043a\u0430 \u0436\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">\u041d\u0435\u0431\u043e  \u0431\u044b\u043b\u043e \u0436\u0435\u043b\u0442\u044b\u043c, \u043a\u0430\u043a \u043b\u0430\u0442\u0443\u043d\u044c; \u0435\u0433\u043e \u0435\u0449\u0435 \u043d\u0435 \u0437\u0430\u043a\u043e\u043f\u0442\u0438\u043b\u043e  \u0434\u044b\u043c\u043e\u043c. Der Himmel war gelb wie Messing und noch nicht verqualmt vom Rauch der Schornsteine.  &gt;&gt; similarity 0.8614717125892639   \u0417\u0430 \u043a\u0440\u044b\u0448\u0430\u043c\u0438 \u0444\u0430\u0431\u0440\u0438\u043a\u0438 \u043e\u043d\u043e \u0441\u0432\u0435\u0442\u0438\u043b\u043e\u0441\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e. Hinter den D\u00e4chern der Fabrik leuchtete er sehr stark.  &gt;&gt; similarity 0.6654264330863953   \u0412\u043e\u0442\u2014\u0432\u043e\u0442  \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0432\u0437\u043e\u0439\u0442\u0438 \u0441\u043e\u043b\u043d\u0446\u0435. Die Sonne mu\u00dfte gleich aufgehen.  &gt;&gt; similarity 0.7304455041885376   \u042f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 \u0447\u0430\u0441\u044b \u2014 \u0435\u0449\u0435  \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u043e\u0441\u044c\u043c\u0438. Ich sah nach der Uhr.  &gt;&gt; similarity 0.5894380807876587   \u042f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 \u0447\u0430\u0441\u044b \u2014 \u0435\u0449\u0435  \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u043e\u0441\u044c\u043c\u0438. Es war noch vor acht.  &gt;&gt; similarity 0.5892142057418823   \u042f \u043f\u0440\u0438\u0448\u0435\u043b  \u043d\u0430  \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044c \u0447\u0430\u0441\u0430 \u0440\u0430\u043d\u044c\u0448\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e. Eine Viertelstunde zu fr\u00fch.  &gt;&gt; similarity 0.6182181239128113   \u042f \u043e\u0442\u043a\u0440\u044b\u043b  \u0432\u043e\u0440\u043e\u0442\u0430  \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b \u043d\u0430\u0441\u043e\u0441 \u0431\u0435\u043d\u0437\u0438\u043d\u043e\u0432\u043e\u0439  \u043a\u043e\u043b\u043e\u043d\u043a\u0438. Ich schlo\u00df das Tor auf und machte die Benzinpumpe fertig.  &gt;&gt; similarity 0.7467120289802551   \u0412\u0441\u0435\u0433\u0434\u0430 \u0432 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0443\u0436\u0435 \u043f\u043e\u0434\u044a\u0435\u0437\u0436\u0430\u043b\u0438 \u0437\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0435 \u043c\u0430\u0448\u0438\u043d\u044b. Um diese Zeit kamen immer schon ein paar Wagen vorbei, die tanken wollten.  &gt;&gt; similarity 0.5018423199653625   \u0412\u0434\u0440\u0443\u0433 \u0437\u0430  \u0441\u0432\u043e\u0435\u0439 \u0441\u043f\u0438\u043d\u043e\u0439 \u044f \u0443\u0441\u043b\u044b\u0448\u0430\u043b \u0445\u0440\u0438\u043f\u043b\u043e\u0435 \u043a\u0440\u044f\u0445\u0442\u0435\u043d\u0438\u0435,  \u2014 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0431\u0443\u0434\u0442\u043e \u043f\u043e\u0434  \u0437\u0435\u043c\u043b\u0435\u0439  \u043f\u0440\u043e\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e\u0442 \u0440\u0436\u0430\u0432\u044b\u0439 \u0432\u0438\u043d\u0442. Pl\u00f6tzlich h\u00f6rte ich hinter mir ein heiseres Kr\u00e4chzen, das klang, als ob unter der Erde ein rostiges Gewinde hochgedreht w\u00fcrde.  &gt;&gt; similarity 0.6064425110816956   \u042f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f  \u0438 \u043f\u0440\u0438\u0441\u043b\u0443\u0448\u0430\u043b\u0441\u044f. Ich blieb stehen und lauschte.  &gt;&gt; similarity 0.7030230760574341   \u041f\u043e\u0442\u043e\u043c \u043f\u043e\u0448\u0435\u043b \u0447\u0435\u0440\u0435\u0437  \u0434\u0432\u043e\u0440  \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432  \u043c\u0430\u0441\u0442\u0435\u0440\u0441\u043a\u0443\u044e  \u0438  \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e  \u043f\u0440\u0438\u043e\u0442\u043a\u0440\u044b\u043b  \u0434\u0432\u0435\u0440\u044c. Dann ging ich \u00fcber den Hof zur\u00fcck zur Werkstatt und machte vorsichtig die T\u00fcr auf.  &gt;&gt; similarity 0.7700499296188354   \u0412 \u043f\u043e\u043b\u0443\u0442\u0435\u043c\u043d\u043e\u043c \u043f\u043e\u043c\u0435\u0449\u0435\u043d\u0438\u0438, \u0441\u043f\u043e\u0442\u044b\u043a\u0430\u044f\u0441\u044c,  \u0431\u0440\u043e\u0434\u0438\u043b\u043e  \u043f\u0440\u0438\u0432\u0438\u0434\u0435\u043d\u0438\u0435. In dem halbdunklen Raum taumelte ein Gespenst umher.  &gt;&gt; similarity 0.7868185639381409 <\/code><\/pre>\n<p>  <\/p>\n<h2 id=\"dalshe\">\u0414\u0430\u043b\u044c\u0448\u0435<\/h2>\n<p>  <\/p>\n<p>\u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437 \u043c\u044b \u043f\u043e\u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u044b\u0440\u043e\u0432\u043d\u044f\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0441 \u0443\u0447\u0430\u0441\u0442\u0438\u0435\u043c \u0440\u0435\u0434\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435\u0442 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. <em>\u042f\u043a\u0443\u0442\u0441\u043a\u0438\u0439? \u0427\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439?<\/em> \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0439\u0442\u0435 \u0438 \u0434\u043e \u043d\u043e\u0432\u044b\u0445 \u0432\u0441\u0442\u0440\u0435\u0447!<\/p>\n<p>  <\/p>\n<p>[1] <a href=\"https:\/\/colab.research.google.com\/drive\/1hm-1H4xZWGSfdUGf3jPtNN9-iQgJdFfQ\" rel=\"nofollow\">\u041f\u043e\u0438\u0433\u0440\u0430\u0439\u0442\u0435\u0441\u044c \u0432 Google Colab<\/a>.<\/p>\n<p>  <\/p>\n<p>[2] <a href=\"https:\/\/www.sbert.net\/docs\/pretrained_models.html\" rel=\"nofollow\">Sentence Transformers<\/a>.<\/p>\n<p>  <\/p>\n<p>[3] <a href=\"https:\/\/tfhub.dev\/google\/universal-sentence-encoder-multilingual-large\/3\" rel=\"nofollow\">Universal Sentence Encoder<\/a>.<\/p>\n<p>  <\/p>\n<p>[4] <a href=\"https:\/\/tfhub.dev\/google\/LaBSE\/1\" rel=\"nofollow\">Language Agnostic BERT Sentence Encoder<\/a>.<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/517226\/\"> https:\/\/habr.com\/ru\/post\/517226\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/517226\/\">\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wj\/_-\/el\/wj_-elbiwy96kiiu-eltnpjuwtc.jpeg\" alt=\"Parallel trucks (image by Unsplash\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u043d\u0443\u0436\u0434, \u2014 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0438\u043b\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u043d\u043e\u0441\u0442\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0438\u0445 \u043d\u0435 \u0442\u0430\u043a \u0443\u0436 \u0438 \u043c\u043d\u043e\u0433\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u0440\u0435\u0447\u044c \u0438\u0434\u0435\u0442 \u043d\u0435 \u043e\u0431 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c, \u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0440\u0435\u0434\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0441\u0432\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0434\u043b\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043f\u0430\u0440\u044b <em>\u0440\u0443\u0441\u0441\u043a\u0438\u0439-\u043d\u0435\u043c\u0435\u0446\u043a\u0438\u0439<\/em> \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u043e\u043c\u0430\u043d\u0430 \u0420\u0435\u043c\u0430\u0440\u043a\u0430 &quot;\u0422\u0440\u0438 \u0442\u043e\u0432\u0430\u0440\u0438\u0449\u0430&quot;. \u041b\u044e\u0431\u0438\u0442\u0435\u043b\u044f\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u043a\u043d\u0438\u0433 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0441\u0438\u0441\u0442\u0435\u043c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043f\u043e\u0441\u0432\u044f\u0449\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>  <\/p>\n<h2 id=\"zadacha\">\u0417\u0430\u0434\u0430\u0447\u0430<\/h2>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0440\u0435\u0448\u0435\u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0438. \u041c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0432 \u0442\u0435\u043a\u0441\u0442\u0430\u0445, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u043d\u0438\u0445 \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043d\u0435 \u0434\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0442\u043e\u0436\u0435 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c.<\/li>\n<li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c sentence embeddings. \u041d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0432\u044b \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043f\u0440\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0438\u043f\u0430 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Word2vec\" rel=\"nofollow\">word2vec<\/a> \u0438\u043b\u0438 sent2vec \u0438\u043b\u0438 \u0432\u0438\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u2014 <em>&quot;\u043a\u043e\u0440\u043e\u043b\u044c&quot;<\/em> + <em>&quot;\u0436\u0435\u043d\u0449\u0438\u043d\u0430&quot;<\/em> \u2014 <em>&quot;\u043c\u0443\u0436\u0447\u0438\u043d\u0430&quot;<\/em> = <em>&quot;\u043a\u043e\u0440\u043e\u043b\u0435\u0432\u0430&quot;<\/em>. \u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0442\u043e \u0441\u0443\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0441\u043b\u043e\u0432\u0430 (\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u0442\u0435\u043a\u0441\u0442\u044b) \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0435 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u0438\u0445 \u043a\u0443\u0441\u043e\u0447\u043a\u043e\u0432 <strong>\u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443<\/strong>.<\/li>\n<\/ul>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-309254","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/309254","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=309254"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/309254\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=309254"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=309254"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=309254"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}