{"id":377847,"date":"2024-06-02T15:00:23","date_gmt":"2024-06-02T15:00:23","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=377847"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-06-02T15:00:23","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=377847","title":{"rendered":"<span>Enbeddrus \u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0435\u0439 \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433-\u043c\u043e\u0434\u0435\u043b\u0438<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e, \u0445\u0430\u0431\u0440\u043e\u0432\u0447\u0430\u043d\u0435!<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0430\u043c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043e\u0431\u0443\u0447\u0438\u043b \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0438 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0443\u044e \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 (language agnostic) \u043c\u043e\u0434\u0435\u043b\u044c-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043e PHP \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0441\u0445\u043e\u0436\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/211\/e02\/a11\/211e02a11e7641f5833bd34864fe089f.webp\" alt=\"\u0412\u043e\u0442 \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c DALL-E \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043a \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438\" title=\"\u0412\u043e\u0442 \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c DALL-E \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043a \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438\" width=\"1792\" height=\"1024\"\/><\/p>\n<div><figcaption>\u0412\u043e\u0442 \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c DALL-E \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043a \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0430, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u0440\u0435\u0448\u0438\u043b \u0437\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u044d\u0442\u0438\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c, \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u0438 \u0437\u0430\u043c\u0435\u0442\u043a\u0438, \u043a\u043e\u0434 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f, \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u0435\u0441\u044f\u0442\u044c \u043b\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u043e\u043b\u044f\u043d\u043a\u0443 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u0445, \u044f\u0437\u044b\u043a\u0430\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u043e\u043c\u0435\u0442\u043a\u0438 \u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 Linux \u0438 \u0442.\u0434. \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043d\u0435 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c Retrieval-Augmented Generation (RAG) \u043f\u043e\u043c\u043e\u0433\u0430\u043b\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f (\u043c\u0435\u043d\u044f) \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432 \u0441\u0442\u043e\u043b\u044c \u0440\u0430\u0437\u043d\u043e\u0448\u0435\u0440\u0441\u0442\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0442\u043e\u0433\u043e \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f.<\/p>\n<p>\u0414\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u0438 \u043a\u0430\u043a-\u0440\u0430\u0437 \u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u044c-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/2f9\/86c\/9b7\/2f986c9b73b47334fd8fd6fab2662bbb.jpg\" alt=\"\u041a\u0440\u0430\u0442\u043a\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c Enbeddrus\" title=\"\u041a\u0440\u0430\u0442\u043a\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c Enbeddrus\" width=\"1633\" height=\"1851\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f9\/86c\/9b7\/2f986c9b73b47334fd8fd6fab2662bbb.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u041a\u0440\u0430\u0442\u043a\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c Enbeddrus<\/figcaption><\/div>\n<\/figure>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u0438\u043c \u0432\u0430\u0436\u043d\u044b\u043c \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u043c \u0431\u044b\u043b\u043e \u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u043b\u0430 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438, \u0435\u0441\u043b\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 GGUF.<\/p>\n<p>\u041d\u043e \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u0435\u043b\u043e\u0441\u0438\u043f\u0435\u0434\u0430, \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0438\u0441\u043a\u0430\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0432\u0435\u0434\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430 \u0438, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u043c\u0438.<\/p>\n<blockquote>\n<p>\u0421\u043f\u043e\u0439\u043b\u0435\u0440: \u0438\u0434\u0435\u044f \u043d\u0435 \u043d\u043e\u0432\u0430, \u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e.<\/p>\n<\/blockquote>\n<h3>\u041e\u0431\u0437\u043e\u0440 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439<\/h3>\n<p>\u0414\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u0441\u0445\u043e\u0436\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440&#8230;<\/p>\n<h4>Multilingual Universal Sentence Encoder (mUSE)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/1907.04307\" rel=\"noopener noreferrer nofollow\">arxiv:1907.04307<\/a> , <a href=\"https:\/\/www.kaggle.com\/models\/google\/universal-sentence-encoder\/tensorFlow2\/multilingual-qa\/2?tfhub-redirect=true\" rel=\"noopener noreferrer nofollow\">kaggle<\/a>, <a href=\"https:\/\/github.com\/tensorflow\/docs\/blob\/master\/site\/en\/hub\/tutorials\/retrieval_with_tf_hub_universal_encoder_qa.ipynb\" rel=\"noopener noreferrer nofollow\">github<\/a><\/p>\n<p>\u042d\u0442\u043e \u043f\u0440\u043e\u0435\u043a\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c\u0438 Google \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 16 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<p>\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u0430: ~110m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 128 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437 \u043d\u0438\u0445 512-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<p>\u041f\u043b\u044e\u0441: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 Tensorflow, \u0430 \u0442\u0430\u043a \u0436\u0435 \u0447\u0442\u043e \u0441 2019\u0433\u043e \u0433\u043e\u0434\u0430 \u043d\u0435 \u0431\u044b\u043b\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439.<\/p>\n<h4>Multilingual Unsupervised and Supervised Embeddings (MUSE)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/1710.04087\" rel=\"noopener noreferrer nofollow\">arxiv:1710.04087<\/a>, <a href=\"https:\/\/github.com\/facebookresearch\/MUSE\" rel=\"noopener noreferrer nofollow\">github<\/a><\/p>\n<p>\u042d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 FB \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0445 \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432.<\/p>\n<p>\u041f\u043b\u044e\u0441: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u0432 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u0430 \u0434\u043b\u044f \u043f\u0430\u0440 \u044f\u0437\u044b\u043a\u043e\u0432, \u043d\u0430\u0432\u0440\u043e\u0434\u0435 en-ru, en-de \u0438 \u0442.\u0434., \u0432\u0435\u0441\u043e\u0432 \u043d\u0435\u0442 \u043d\u0430 HuggingFace, \u043d\u0443 \u0438 \u0441 2018\u0433\u043e \u0433\u043e\u0434\u0430 \u043f\u0440\u043e\u0435\u043a\u0442 \u043d\u0435 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<h4>Language-Agnostic SEntence Representations (LASER)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/2205.12654\" rel=\"noopener noreferrer nofollow\">arvix:2205.12654<\/a>, <a href=\"https:\/\/github.com\/facebookresearch\/LASER\" rel=\"noopener noreferrer nofollow\">github<\/a>, <a href=\"https:\/\/pypi.org\/project\/laser-encoders\/\" rel=\"noopener noreferrer nofollow\">pypi<\/a><\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c\u0438 FB \u0438, \u043a\u0430\u043a \u0441\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0440\u0438\u0434\u043c\u0438 \u043d\u0430 GitHub, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 200 \u044f\u0437\u044b\u043a\u043e\u0432 (\u0445\u043e\u0442\u044f \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0439\u0442\u0438 \u043f\u043e \u0441\u0441\u044b\u043b\u043e\u0447\u043a\u0430\u043c \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f 147 \u044f\u0437\u044b\u043a\u043e\u0432).<\/p>\n<p>\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u0430: ~256m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 1024 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437 \u043d\u0438\u0445 1024-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<p>\u041f\u043b\u044e\u0441\u044b: \u043e\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 PyTorch \u0438 \u0438\u043c\u0435\u0435\u0442 \u043b\u043e\u0433\u0438\u043a\u0443 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u044f\u0437\u044b\u043a\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u043e\u0447\u0435\u0432\u0430\u043b\u0430 \u0438\u0437 NLLB (\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u043a\u0441\u0442\u0430\u0442\u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0432 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 &#171;<a href=\"https:\/\/dzen.ru\/a\/Zbya8D1qtHYJzmEW\" rel=\"noopener noreferrer nofollow\">\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u043e\u0434\u0435\u043b\u044c NLLB<\/a>&#187; \u0443 \u0441\u0435\u0431\u044f \u0432 \u0431\u043b\u043e\u0433\u0435 \u043d\u0430 \u0414\u0437\u0435\u043d).<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u0432\u0435\u0441\u043e\u0432 <a href=\"https:\/\/github.com\/facebookresearch\/LASER\/blob\/main\/laser_encoders\/download_models.py#L88-L91\" rel=\"noopener noreferrer nofollow\">\u043d\u0435\u0442<\/a> \u043d\u0430 HuggingFace, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430 \u0441 <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\" rel=\"noopener noreferrer nofollow\">llama.cpp<\/a> \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 GGUF, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0430 \u0441\u043b\u0430\u0431\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 (\u0438\u043b\u0438 \u0436\u0435 \u0432 \u043f\u0430\u0440\u0435 \u0441 <a href=\"https:\/\/ollama.com\/\" rel=\"noopener noreferrer nofollow\">ollama<\/a>).<\/p>\n<h4>Multilingual Sentence-BERT (SBERT)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/1908.10084\" rel=\"noopener noreferrer nofollow\">arXiv:1908.10084<\/a>, <a href=\"https:\/\/sbert.net\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0430\u0439\u0442<\/a><\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 Sentence-BERT \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 BERT, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, multilingual \u0432\u0435\u0440\u0441\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u0430 paraphrase \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0430\u0440\u0430\u0444\u0440\u0430\u0437 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<p>\u0412\u043e\u0442 \u043f\u0430\u0440\u0443 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/sentence-transformers\/paraphrase-multilingual-MiniLM-L12-v2\" rel=\"noopener noreferrer nofollow\">paraphrase-multilingual-MiniLM-L12-v2<\/a> \u0438\u043c\u0435\u0435\u0442 118m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 256 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 384-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/sentence-transformers\/paraphrase-multilingual-mpnet-base-v2\" rel=\"noopener noreferrer nofollow\">paraphrase-multilingual-mpnet-base-v2<\/a> \u0438\u043c\u0435\u0435\u0442 278m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 768-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u0435 \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>SNLI \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0441\u044f \u0432 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 &#171;<a href=\"https:\/\/aclanthology.org\/D15-1075\/\" rel=\"noopener noreferrer nofollow\">A large annotated corpus for learning natural language inference<\/a>&#187; (570k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432)<\/p>\n<\/li>\n<li>\n<p>Multi-Genre NLI, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 &#171;<a href=\"https:\/\/aclanthology.org\/N18-1101\" rel=\"noopener noreferrer nofollow\">A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference<\/a>&#187; (433k \u043f\u0440\u0438\u043c\u0435\u0440\u0430)<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043b\u044e\u0441\u044b: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a, \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043d\u0432\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 GGUF.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0436\u0430\u0440\u0433\u043e\u043d) \u0442\u0430\u043a \u043a\u0430\u043a , \u043d\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u0438 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 GGUF, \u0438 \u043a \u0447\u0438\u0441\u043b\u0443 \u0444\u0430\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u043c\u043e\u0433\u0443 \u043e\u0442\u043d\u0435\u0441\u0442\u0438, \u0447\u0442\u043e \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0438\u043b \u043d\u0435 \u044f \ud83d\ude09<\/p>\n<h3>\u041f\u0440\u043e \u0432\u044b\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>\u041f\u0440\u0438\u0448\u0451\u043b \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u0442\u0435\u043c\u0443 \u043f\u0440\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u0439-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u043e\u0432 \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0442\u043e\u043f\u0442\u0430\u043d\u043d\u0430\u044f \u0442\u0440\u043e\u043f\u0430 \u0438 \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u0435\u0437 \u043e\u0441\u043e\u0431\u044b\u0445 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u044e \u0437\u0430\u0434\u0443\u043c\u043a\u0443.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0448\u0438\u043b \u0432\u0437\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c <a href=\"https:\/\/huggingface.co\/google-bert\/bert-base-multilingual-uncased\" rel=\"noopener noreferrer nofollow\">google-bert\/bert-base-multilingual-uncased<\/a>, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e:<\/p>\n<ul>\n<li>\n<p>\u0423 \u044d\u0442\u043e\u0439 \u043a\u0440\u043e\u0445\u0438 \u0432\u0441\u0435\u0433\u043e 168m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u0443 <code>paraphrase-multilingual-MiniLM-L12-v2<\/code>, \u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0447\u0435\u043c \u0443 <code>paraphrase-multilingual-mpnet-base-v2<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434 \u043e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 768-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433, \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435 \u0443 <code>paraphrase-multilingual-mpnet-base-v2<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <a href=\"https:\/\/huggingface.co\/datasets\/wikipedia\" rel=\"noopener noreferrer nofollow\">wikipedia<\/a> \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u043c \u0438\u0437 \u0441\u0435\u0431\u044f Text Corpora, \u0430 \u0442\u0430\u043c, \u0441\u0430\u043c\u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435, \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430  \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c SNLI \u0438 Multi-Genre NLI \u0432\u043c\u0435\u0441\u0442\u0435 \u0432\u0437\u044f\u0442\u044b\u0435;<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c uncased, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u043b\u043e \u043d\u0430 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 (\u0441\u0438\u0440\u0435\u0447\u044c \u0432\u0441\u0451 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0432 lowercase).<\/p>\n<\/li>\n<\/ul>\n<p>\u0421 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c, \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0432\u044b\u0431\u043e\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430&#8230;<\/p>\n<h3>\u0413\u043e\u0442\u043e\u0432\u0438\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442<\/h3>\n<p>\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u044f \u0445\u043e\u0442\u0435\u043b \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u043d\u043e, \u0441\u043e\u0431\u0438\u0440\u0430\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043f\u043e PHP, \u044f \u043f\u043e\u043d\u044f\u043b, \u043a\u0430\u043a\u043e\u0439 \u044d\u0442\u043e \u0442\u0440\u0443\u0434\u043e\u0451\u043c\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0438 \u0440\u0435\u0448\u0438\u043b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0430\u043c\u0431\u0438\u0446\u0438\u0438.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u0438\u0441\u043a\u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u044f \u043d\u0430\u0448\u0451\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442: <a href=\"https:\/\/opus.nlpl.eu\/PHP\/en&amp;ru\/v1\/PHP\" rel=\"noopener noreferrer nofollow\">OPUS PHP v1<\/a> \u043d\u0430 2k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439 \u043f\u0430\u0440\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u043f\u043e \u0442\u0435\u043c\u0435 PHP.<\/p>\n<p>\u0418\u0437 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0441\u0442\u0430 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 (\u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u044b\u043b \u043e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430), \u0434\u0430\u043b\u0435\u0435 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0438\u043d\u0441\u0442\u0430\u043d\u0441 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/docker-compose.yml\" rel=\"noopener noreferrer nofollow\">LibreTranslate<\/a> \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0438 \u043e\u0447\u0438\u0441\u0442\u0438\u043b \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0442 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 \u0438 \u0448\u0443\u043c\u0430 (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_build.ipynb\" rel=\"noopener noreferrer nofollow\">dataset_php_build.ipynb<\/a>). \u0417\u0430\u0442\u0435\u043c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u0432\u0451\u043b \u043a\u0440\u0438\u0432\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Google \u0438 Yandex Translate \u0438 \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 CSV \u0444\u043e\u0440\u043c\u0430\u0442. \u0414\u0430\u043d\u043d\u044b\u0435 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0438 \u0443\u0434\u0430\u043b\u0438\u043b \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u044b (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_undup.py\" rel=\"noopener noreferrer nofollow\">dataset_php_undup.py<\/a>) \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c 1.6k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u0412 \u0444\u0438\u043d\u0430\u043b\u0435 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b ChatGPT \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c 100 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043f\u0430\u0440 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u043e PHP \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445 \u0434\u043b\u044f \u0441\u043f\u043b\u0438\u0442\u0430 <code>eval<\/code>, \u0430 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0434\u043b\u044f \u0441\u043f\u043b\u0438\u0442\u0430 <code>train<\/code>.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u043b (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_publish.ipynb\" rel=\"noopener noreferrer nofollow\">dataset_php_publish.ipynb<\/a>) \u043d\u0430 HuggingFace: <a href=\"https:\/\/huggingface.co\/datasets\/evilfreelancer\/opus-php-en-ru-cleaned\" rel=\"noopener noreferrer nofollow\">evilfreelancer\/opus-php-en-ru-cleaned<\/a> .<\/p>\n<h3>\u0421\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 Domain Adaptation<\/h3>\n<p>\u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043e PHP \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c Domain Adaptation, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0430 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0435\u0451 \u043d\u0430 Parallel Corpora \u0438\u0437 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f <a href=\"https:\/\/sbert.net\/examples\/domain_adaptation\/README.html\" rel=\"noopener noreferrer nofollow\">Domain Adaptation<\/a> \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043c\u0435\u0442\u043e\u0434 Generative Pseudo Labeling (GPL) (<a href=\"https:\/\/arxiv.org\/abs\/2112.07577\" rel=\"noopener noreferrer nofollow\">arXiv:2112.07577<\/a>), \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044f \u043f\u0441\u0435\u0432\u0434\u043e\u043c\u0435\u0442\u043a\u0438 \u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <a href=\"https:\/\/github.com\/UKPLab\/gpl\" rel=\"noopener noreferrer nofollow\">gpl<\/a> \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u0445\u0430\u0440\u0434\u043a\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438 \u0447\u0438\u0442\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u043c \u043f\u0443\u0442\u044f\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>datasets<\/code> (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439: <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_convert.py\" rel=\"noopener noreferrer nofollow\">dataset_php_convert.py<\/a>).<\/p>\n<p>\u0414\u043b\u044f \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 <code>bert-base-multilingual-uncased<\/code> \u043a \u0434\u043e\u043c\u0435\u043d\u0443 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043f\u0440\u043e PHP \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u0430 <a href=\"https:\/\/github.com\/UKPLab\/gpl?tab=readme-ov-file#usage\" rel=\"noopener noreferrer nofollow\">\u0441\u043a\u0440\u0438\u043f\u0442<\/a>, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 GPL \u043d\u0430 \u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043d\u0430 GitHub, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430 \u043a\u043e\u0434:<\/p>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/train_domain.py\" rel=\"noopener noreferrer nofollow\">train_domain.py<\/a> \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0430 GitHub.<\/p>\n<pre><code class=\"python\">import gpl  model_name = 'bert-base-multilingual-uncased' batch_size = 64 gpl_steps = 140000 output_dir = '.\/output\/enbeddrus_domain' evaluation_output = f\"{output_dir}_evaluation\"  gpl.train(     path_to_generated_data=f\"generated\/embeddrus\",     base_ckpt=model_name,     gpl_score_function=\"dot\",     batch_size_gpl=batch_size,     gpl_steps=gpl_steps,     new_size=-1,     queries_per_passage=25,     output_dir=output_dir,     evaluation_data=f\".\/datasets\",     evaluation_output=evaluation_output,     generator=\"BeIR\/query-gen-msmarco-t5-base-v1\",     retrievers=[\"msmarco-distilbert-base-v3\", \"msmarco-MiniLM-L-6-v3\"],     retriever_score_functions=[\"cos_sim\", \"cos_sim\"],     cross_encoder=\"cross-encoder\/ms-marco-MiniLM-L-6-v2\",     qgen_prefix=\"qgen\",     do_evaluation=True, )<\/code><\/pre>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0430\u043f\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0430\u043a\u043e\u0439 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/BeIR\/query-gen-msmarco-t5-base-v1\" rel=\"noopener noreferrer nofollow\">BeIR\/query-gen-msmarco-t5-base-v1<\/a>, \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437 \u043a\u043e\u0440\u043f\u0443\u0441\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/sentence-transformers\/msmarco-distilbert-base-v3\" rel=\"noopener noreferrer nofollow\">msmarco-distilbert-base-v3<\/a> \u0438 <a href=\"https:\/\/huggingface.co\/sentence-transformers\/msmarco-MiniLM-L-6-v3\" rel=\"noopener noreferrer nofollow\">msmarco-MiniLM-L-6-v3<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u043c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e\u043c, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0442\u0430\u043a\u043e\u0439 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/cross-encoder\/ms-marco-MiniLM-L-6-v2\" rel=\"noopener noreferrer nofollow\">cross-encoder\/ms-marco-MiniLM-L-6-v2<\/a>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u0441\u0435\u0432\u0434\u043e\u043c\u0435\u0442\u043e\u043a, \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <a href=\"https:\/\/sbert.net\/docs\/package_reference\/sentence_transformer\/losses.html#marginmseloss\" rel=\"noopener noreferrer nofollow\">MarginMSELoss<\/a>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a \u043d\u043e\u0432\u043e\u043c\u0443 \u0434\u043e\u043c\u0435\u043d\u0443.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418 \u0442\u0430\u043a, \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u043e\u0432\u044b\u043c \u0434\u043e\u043c\u0435\u043d\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443.<\/p>\n<h3>\u0421\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 Parallel Corpora<\/h3>\n<p>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432 <a href=\"https:\/\/sbert.net\/examples\/training\/multilingual\/README.html\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0438\u043c\u0435\u0440\u0435<\/a> \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 Sentence Transformers. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 (\u0437\u0430\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u0430 <a href=\"https:\/\/github.com\/UKPLab\/sentence-transformers\/blob\/master\/examples\/training\/multilingual\/make_multilingual.py\" rel=\"noopener noreferrer nofollow\">make_multilingual.py<\/a>).<\/p>\n<p>\u0414\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u044e\u043f\u0438\u0442\u0435\u0440-\u0431\u043b\u043e\u043a\u043d\u043e\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043f\u0430\u0440\u044b \u0438\u0437 <code>eval<\/code> \u0441\u043f\u043b\u0438\u0442\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 <a href=\"https:\/\/huggingface.co\/datasets\/evilfreelancer\/opus-php-en-ru-cleaned\" rel=\"noopener noreferrer nofollow\">evilfreelancer\/opus-php-en-ru-cleaned<\/a> \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432. \u0421\u043a\u0440\u0438\u043f\u0442 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/testing.ipynb\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/29c\/c43\/c4f\/29cc43c4f1ffedba359cc03ff4ab37f9.png\" alt=\"TSNE \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\" title=\"TSNE \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\" width=\"554\" height=\"413\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/29c\/c43\/c4f\/29cc43c4f1ffedba359cc03ff4ab37f9.png\"\/><\/p>\n<div><figcaption>TSNE \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c <code>bert-base-multilingual-uncased<\/code> \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0432 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u0442\u043e\u0447\u0435\u043a, \u043d\u0443 \u0430 \u043d\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u0438 \u0442\u043e\u0447\u043a\u0438 \u0431\u044b\u043b\u0438 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043b\u0438\u0436\u0435 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443.<\/p>\n<p>\u041f\u043e\u0434\u043e\u0431\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044c <a href=\"https:\/\/www.sbert.net\/docs\/package_reference\/sentence_transformer\/losses.html#mseloss\" rel=\"noopener noreferrer nofollow\">MSELoss<\/a>, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u043c, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044c\u044e-\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c (\u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435) \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u043c, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044c\u044e-\u0443\u0447\u0435\u043d\u0438\u043a\u043e\u043c (\u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435).<\/p>\n<h4>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b<\/h4>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432 \u043f\u0440\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b, \u0440\u0435\u0448\u0438\u043b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043d\u0430\u0431\u043e\u0440\u0435:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/evilfreelancer\/opus-php-en-ru-cleaned\" rel=\"noopener noreferrer nofollow\">evilfreelancer\/opus-php-en-ru-cleaned<\/a> (1.6k) &#8212; \u0440\u0430\u043d\u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445;<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/Helsinki-NLP\/opus_books\" rel=\"noopener noreferrer nofollow\">Helsinki-NLP\/opus_books<\/a> (17.5k) &#8212; \u0434\u0430\u0442\u0430\u0441\u0435\u0442 OPUS \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437 \u043a\u043d\u0438\u0433.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u044b\u0431\u0440\u0430\u043b \u044f \u0438\u0445 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043c\u043e\u0438 \u043f\u0435\u0440\u0432\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e PHP \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 overfitting \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0447\u0435\u0433\u043e \u043f\u0430\u0434\u0430\u043b\u0430 \u043e\u0431\u0449\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0430\u043c\u044b\u043c \u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0431\u044b\u043b\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u0438\u043d Parallel Corpora \u043e\u0431\u0449\u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e \u0432 \u0441\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f \u0445\u043e\u0442\u0435\u043b \u0441\u0440\u0430\u0437\u0443 \u0437\u0430\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 (\u0438\u043c\u0435\u044e\u0449\u0438\u0445 \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445), \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0447\u0435\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044f:<\/p>\n<pre><code class=\"python\">def read_datasets():       data = []          # Read cleaned OPUS PHP v1 en&amp;ru dataset       docsphp_dataset = load_dataset(\"evilfreelancer\/opus-php-en-ru-cleaned\")       for item in docsphp_dataset['train']:           src_text = item[\"English\"].strip()           trg_text = item[\"Russian\"].strip()           if src_text and trg_text:               data.append((src_text, trg_text))          # Read OPUS Books v1 en&amp;ru dataset       opus_dataset = load_dataset(\"Helsinki-NLP\/opus_books\", \"en-ru\")       for item in opus_dataset['train']:           src_text = item['translation']['en'].strip()           trg_text = item['translation']['ru'].strip()           if src_text and trg_text:               data.append((src_text, trg_text))          return data<\/code><\/pre>\n<p>\u0412 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u043d\u0435\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u043c\u044b, \u043d\u043e \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n<p>\u0414\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<h4>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 Domain Adaptation<\/h4>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/train_parallel.py\" rel=\"noopener noreferrer nofollow\">train_parallel.py<\/a> \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0430 GitHub, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438-\u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0432\u043e\u0437\u044c\u043c\u0451\u043c <a href=\"https:\/\/huggingface.co\/google-bert\/bert-base-multilingual-uncased\" rel=\"noopener noreferrer nofollow\">google-bert\/bert-base-multilingual-uncased<\/a>, \u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438-\u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u0442\u0443, \u0447\u0442\u043e \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0440\u0430\u043d\u0435\u0435 \u043d\u0430 \u0448\u0430\u0433\u0435 Domain Adaptation.<\/p>\n<pre><code class=\"python\">teacher_model_name = 'bert-base-multilingual-uncased' student_model_name = '.\/output\/enbeddrus_domain'<\/code><\/pre>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0430\u043f\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b (\u0444\u0443\u043d\u043a\u0446\u0438\u044f <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/train_parallel.py#L81\" rel=\"noopener noreferrer nofollow\">read_datasets<\/a>);<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0438\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 (\u0444\u0443\u043d\u043a\u0446\u0438\u0438\u044f <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/train_parallel.py#L103\" rel=\"noopener noreferrer nofollow\">prepare_datasets<\/a>)<\/p>\n<\/li>\n<li>\n<p>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c-\u0443\u0447\u0438\u0442\u0435\u043b\u044c \u0438 \u043c\u043e\u0434\u0435\u043b\u044c-\u0443\u0447\u0435\u043d\u0438\u043a (<a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/train_parallel.py#L165-L169\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a>)<\/p>\n<\/li>\n<li>\n<p>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c MSELoss, \u043f\u0435\u0440\u0435\u0434\u0430\u0432 \u0435\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c-\u0443\u0447\u0435\u043d\u0438\u043a\u0430 (<a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/train_parallel.py#L181\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a>)<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438-\u0443\u0447\u0435\u043d\u0438\u043a\u0430<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043f\u043e\u043d\u044f\u0442\u044c \u0441\u0442\u0430\u043b\u0430 \u043b\u0438 \u043d\u0430 \u043b\u0443\u0447\u0448\u0435 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f7d\/e2a\/403\/f7de2a403042f2aa5ad9043581adcfd6.png\" alt=\"\u0413\u0440\u0430\u0444\u0438\u043a\u0438 TSNE \u0438 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Domain Adaptation + Parallel Corpora\" title=\"\u0413\u0440\u0430\u0444\u0438\u043a\u0438 TSNE \u0438 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Domain Adaptation + Parallel Corpora\" width=\"1298\" height=\"547\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f7d\/e2a\/403\/f7de2a403042f2aa5ad9043581adcfd6.png\"\/><\/p>\n<div><figcaption>\u0413\u0440\u0430\u0444\u0438\u043a\u0438 TSNE \u0438 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Domain Adaptation + Parallel Corpora<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0451\u043d\u043d\u044b\u0435 \u0438\u0437 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0433\u0434\u0435-\u0442\u043e \u043d\u0430\u043b\u043e\u0436\u0438\u043b\u0438\u0441\u044c \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u043f\u043e\u0434\u043d\u044f\u043b\u0430\u0441\u044c \u0441 0.83 \u0434\u043e 0.94, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0430\u043a\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u0442 \u0444\u0440\u0430\u0437\u044b \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443.<\/p>\n<p>\u0412\u0435\u0441\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0442\u0443\u0442: <a href=\"https:\/\/huggingface.co\/evilfreelancer\/enbeddrus-v0.1-domain\" rel=\"noopener noreferrer nofollow\">evilfreelancer\/enbeddrus-v0.1-domain<\/a><\/p>\n<h4>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 Parallel Corpora<\/h4>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u044f \u043d\u0430 \u044d\u0442\u043e\u0442 \u0433\u0440\u0430\u0444\u0438 \u0438 \u043f\u0440\u0438\u0448\u043b\u0430 \u0432 \u0433\u043e\u043b\u043e\u0432\u0443 \u043c\u044b\u0441\u043b\u044c, \u0430 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 Parallel Corpora, \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0432 \u0448\u0430\u0433 \u0441 Domain Adaptation?<\/p>\n<p>\u041f\u0440\u0430\u0432\u0438\u043c \u0441\u043a\u0440\u0438\u043f\u0442 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438, \u043c\u0435\u043d\u044f\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c-\u0443\u0447\u0435\u043d\u0438\u043a\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code class=\"python\">teacher_model_name = 'bert-base-multilingual-uncased' student_model_name = 'bert-base-multilingual-uncased'<\/code><\/pre>\n<p>\u041e\u043f\u044f\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0443 \u0438 \u0436\u0434\u0451\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u043f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u0442\u0435\u0441\u0442\u044b \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4fc\/91f\/91d\/4fc91f91d0afd13811c7ede6ca7aec49.png\" alt=\"\u0413\u0440\u0430\u0444\u0438\u043a\u0438 TSNE \u0438 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Parallel Corpora\" title=\"\u0413\u0440\u0430\u0444\u0438\u043a\u0438 TSNE \u0438 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Parallel Corpora\" width=\"1298\" height=\"547\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fc\/91f\/91d\/4fc91f91d0afd13811c7ede6ca7aec49.png\"\/><\/p>\n<div><figcaption>\u0413\u0440\u0430\u0444\u0438\u043a\u0438 TSNE \u0438 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Parallel Corpora<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445 \u0435\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 Parallel Corpora \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c Domain Adaptation, \u0438 \u043b\u0443\u0447\u0448\u0435 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438\u0437 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0432\u0435\u0434\u044c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u0436\u0434\u0443 \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0444\u0440\u0430\u0437\u0430\u043c\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 0.97, \u0447\u0442\u043e \u0432\u044b\u0448\u0435 \u0447\u0435\u043c \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u0434\u043e\u043c\u0435\u043d\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043f\u0440\u043e PHP.<\/p>\n<p>\u0412\u0435\u0441\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0442\u0443\u0442: <a href=\"https:\/\/huggingface.co\/evilfreelancer\/enbeddrus-v0.1\" rel=\"noopener noreferrer nofollow\">evilfreelancer\/enbeddrus-v0.1<\/a><\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <a href=\"https:\/\/huggingface.co\/google-bert\/bert-base-multilingual-cased\" rel=\"noopener noreferrer nofollow\">bert-base-multilingual-cased<\/a> \u0447\u0435\u0440\u0435\u0437 Domain Adaptation \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0430 Parallel Corpora \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043e\u0441\u043e\u0431\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430 \u0438 \u043f\u0440\u043e\u0449\u0435 \u0441\u0440\u0430\u0437\u0443 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0435\u0451 \u043d\u0430 Parallel Corpora.<\/p>\n<h3>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0448\u0442\u0440\u0438\u0445<\/h3>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0441\u0430\u043c\u0443\u044e \u043c\u0430\u043b\u043e\u0441\u0442\u044c, \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0445\u043e\u0447\u0443 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 GGUF, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 llama.cpp, \u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u043c\u043e\u043c\u0435\u043d\u0442\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u043e\u0441\u0442\u0440\u044f\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0441\u043e\u0448\u043b\u044e\u0441\u044c \u043d\u0430 \u043c\u043e\u044e \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044e &#171;<a href=\"https:\/\/dzen.ru\/a\/ZlMs7F_CZgG83X3E\" rel=\"noopener noreferrer nofollow\">\u041a\u0430\u043a \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c BERT \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 GGUF?<\/a>&#187; \u0432 \u043c\u043e\u0451\u043c \u0431\u043b\u043e\u0433\u0435 \u0438 <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\/pull\/7547\" rel=\"noopener noreferrer nofollow\">PR<\/a> \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u0441\u043e\u0437\u0434\u0430\u043b \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 llama.cpp.<\/p>\n<p>\u041d\u043e \u0435\u0441\u043b\u0438 \u043a\u0440\u0430\u0442\u043a\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0438 \u043a\u043e\u0440\u043d\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0430 llama.cpp \u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043e\u043d\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"bash\"># \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c Domain Adaptation + Parallel Corpora python convert-hf-to-gguf.py \\ ..\/enbeddrus\/output\/enbeddrus-en-ru-2024-05-19_18-46-49 \\ --outfile ..\/enbeddrus\/models\/enbeddrus-v0.1-domain-f16.gguf \\ --outtype f16<\/code><\/pre>\n<pre><code class=\"bash\"># \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c Parallel Corpora python convert-hf-to-gguf.py \\ ..\/enbeddrus\/output\/enbeddrus-en-ru-2024-05-20_11-30-48 \\ --outfile ..\/enbeddrus\/models\/enbeddrus-v0.1-f16.gguf \\ --outtype f16<\/code><\/pre>\n<p>\u041f\u043e \u0435\u0451 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <code>models<\/code> \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0444\u0430\u0439\u043b\u044b: <code>enbeddrus-v0.1-f16.gguf<\/code> \u0438 <code>enbeddrus-v0.1-domain-f16.gguf<\/code>.<\/p>\n<pre><code class=\"bash\"># \u0422\u0435\u0433\u0430\u0435\u043c \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u043c Parallel Corpora ollama create -f Modelfile.pc evilfreelancer\/enbeddrus:latest ollama push evilfreelancer\/enbeddrus:latest ollama create -f Modelfile.pc evilfreelancer\/enbeddrus:v0.1 ollama push evilfreelancer\/enbeddrus:v0.1 ollama create -f Modelfile.pc evilfreelancer\/enbeddrus:v0.1-fp16 ollama push evilfreelancer\/enbeddrus:v0.1-fp16<\/code><\/pre>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u044f \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u043b \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u044b Ollama \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"bash\"># \u0422\u0435\u0433\u0430\u0435\u043c \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u043c Domain Adaptation + Parallel Corpora ollama create -f Modelfile.dpc evilfreelancer\/enbeddrus:v0.1-domain ollama push evilfreelancer\/enbeddrus:v0.1-domain ollama create -f Modelfile.dpc evilfreelancer\/enbeddrus:v0.1-domain-fp16 ollama push evilfreelancer\/enbeddrus:v0.1-domain-fp16<\/code><\/pre>\n<p>\u0412\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f <a href=\"https:\/\/ollama.com\/evilfreelancer\/enbeddrus\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a> \u0438 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<pre><code>ollama pull evilfreelancer\/enbeddrus<\/code><\/pre>\n<p>\u0421\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 Modelfile&#8217;\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/tree\/main\/models\" rel=\"noopener noreferrer nofollow\">models<\/a> \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0430 GitHub.<\/p>\n<h2>\u0421\u0441\u044b\u043b\u043a\u0438<\/h2>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/EvilFreelancer\/enbeddrus<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/evilfreelancer\/opus-php-en-ru-cleaned\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/datasets\/evilfreelancer\/opus-php-en-ru-cleaned<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/evilfreelancer\/enbeddrus-v0.1-domain\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/evilfreelancer\/enbeddrus-v0.1-domain<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/evilfreelancer\/enbeddrus-v0.1\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/evilfreelancer\/enbeddrus-v0.1<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/ollama.com\/evilfreelancer\/enbeddrus\" rel=\"noopener noreferrer nofollow\">https:\/\/ollama.com\/evilfreelancer\/enbeddrus<\/a><\/p>\n<\/li>\n<\/ul>\n<h3>\u0417\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0440\u0430\u0431\u043e\u0442\u0435 \u043d\u0430\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c enbeddrus \u0431\u044b\u043b\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0446\u0435\u043b\u0438:<\/p>\n<ol>\n<li>\n<p>\u0423\u0434\u0430\u043b\u043e\u0441\u044c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0441\u044f \u0441 \u0442\u0435\u043c \u043a\u0430\u043a \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0430 \u0442\u0430\u043a \u0436\u0435 \u0441 \u0442\u0435\u043c \u043a\u0430\u043a \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0411\u044b\u043b \u0441\u043e\u0431\u0440\u0430\u043d \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 Parallel Corpora \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043e PHP \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c;<\/p>\n<\/li>\n<li>\n<p>\u0423\u0434\u0430\u043b\u043e\u0441\u044c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441 \u0442\u0435\u043c \u043a\u0430\u043a \u044d\u0442\u0443 \u043e\u0446\u0435\u043d\u043a\u0443 \u043a\u0440\u0430\u0441\u0438\u0432\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0411\u044b\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043d\u0430 \u0434\u0432\u0443\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0430 \u0432 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0437\u0430 \u0447\u0442\u043e \u0434\u043e\u0447\u0438\u0442\u0430\u043b \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044e \u0434\u043e \u043a\u043e\u043d\u0446\u0430! \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0441\u0432\u044f\u0437\u0430\u0442\u044c\u0441\u044f \u0441\u043e \u043c\u043d\u043e\u0439, \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043c\u043e\u0438 \u043a\u043e\u043d\u0442\u0430\u043a\u0442\u044b \u0432 \u0441\u043e\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u043c\u043e\u0451\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/818929\/\"> https:\/\/habr.com\/ru\/articles\/818929\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e, \u0445\u0430\u0431\u0440\u043e\u0432\u0447\u0430\u043d\u0435!<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0430\u043c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043e\u0431\u0443\u0447\u0438\u043b \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0438 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0443\u044e \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 (language agnostic) \u043c\u043e\u0434\u0435\u043b\u044c-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043e PHP \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0441\u0445\u043e\u0436\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0412\u043e\u0442 \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c DALL-E \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043a \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0430, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u0440\u0435\u0448\u0438\u043b \u0437\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u044d\u0442\u0438\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c, \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u0438 \u0437\u0430\u043c\u0435\u0442\u043a\u0438, \u043a\u043e\u0434 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f, \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u0435\u0441\u044f\u0442\u044c \u043b\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u043e\u043b\u044f\u043d\u043a\u0443 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u0445, \u044f\u0437\u044b\u043a\u0430\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u043e\u043c\u0435\u0442\u043a\u0438 \u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 Linux \u0438 \u0442.\u0434. \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043d\u0435 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c Retrieval-Augmented Generation (RAG) \u043f\u043e\u043c\u043e\u0433\u0430\u043b\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f (\u043c\u0435\u043d\u044f) \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432 \u0441\u0442\u043e\u043b\u044c \u0440\u0430\u0437\u043d\u043e\u0448\u0435\u0440\u0441\u0442\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0442\u043e\u0433\u043e \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f.<\/p>\n<p>\u0414\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u0438 \u043a\u0430\u043a-\u0440\u0430\u0437 \u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u044c-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041a\u0440\u0430\u0442\u043a\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c Enbeddrus<\/figcaption><\/div>\n<\/figure>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u0438\u043c \u0432\u0430\u0436\u043d\u044b\u043c \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u043c \u0431\u044b\u043b\u043e \u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u043b\u0430 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438, \u0435\u0441\u043b\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 GGUF.<\/p>\n<p>\u041d\u043e \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u0435\u043b\u043e\u0441\u0438\u043f\u0435\u0434\u0430, \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0438\u0441\u043a\u0430\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0432\u0435\u0434\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430 \u0438, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u043c\u0438.<\/p>\n<blockquote>\n<p>\u0421\u043f\u043e\u0439\u043b\u0435\u0440: \u0438\u0434\u0435\u044f \u043d\u0435 \u043d\u043e\u0432\u0430, \u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e.<\/p>\n<\/blockquote>\n<h3>\u041e\u0431\u0437\u043e\u0440 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439<\/h3>\n<p>\u0414\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0434\u043b\u044f \u0441\u0445\u043e\u0436\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440&#8230;<\/p>\n<h4>Multilingual Universal Sentence Encoder (mUSE)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/1907.04307\" rel=\"noopener noreferrer nofollow\">arxiv:1907.04307<\/a> , <a href=\"https:\/\/www.kaggle.com\/models\/google\/universal-sentence-encoder\/tensorFlow2\/multilingual-qa\/2?tfhub-redirect=true\" rel=\"noopener noreferrer nofollow\">kaggle<\/a>, <a href=\"https:\/\/github.com\/tensorflow\/docs\/blob\/master\/site\/en\/hub\/tutorials\/retrieval_with_tf_hub_universal_encoder_qa.ipynb\" rel=\"noopener noreferrer nofollow\">github<\/a><\/p>\n<p>\u042d\u0442\u043e \u043f\u0440\u043e\u0435\u043a\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c\u0438 Google \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 16 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<p>\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u0430: ~110m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 128 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437 \u043d\u0438\u0445 512-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<p>\u041f\u043b\u044e\u0441: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 Tensorflow, \u0430 \u0442\u0430\u043a \u0436\u0435 \u0447\u0442\u043e \u0441 2019\u0433\u043e \u0433\u043e\u0434\u0430 \u043d\u0435 \u0431\u044b\u043b\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439.<\/p>\n<h4>Multilingual Unsupervised and Supervised Embeddings (MUSE)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/1710.04087\" rel=\"noopener noreferrer nofollow\">arxiv:1710.04087<\/a>, <a href=\"https:\/\/github.com\/facebookresearch\/MUSE\" rel=\"noopener noreferrer nofollow\">github<\/a><\/p>\n<p>\u042d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 FB \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0445 \u043e\u0442 \u044f\u0437\u044b\u043a\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432.<\/p>\n<p>\u041f\u043b\u044e\u0441: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u0432 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u0430 \u0434\u043b\u044f \u043f\u0430\u0440 \u044f\u0437\u044b\u043a\u043e\u0432, \u043d\u0430\u0432\u0440\u043e\u0434\u0435 en-ru, en-de \u0438 \u0442.\u0434., \u0432\u0435\u0441\u043e\u0432 \u043d\u0435\u0442 \u043d\u0430 HuggingFace, \u043d\u0443 \u0438 \u0441 2018\u0433\u043e \u0433\u043e\u0434\u0430 \u043f\u0440\u043e\u0435\u043a\u0442 \u043d\u0435 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<h4>Language-Agnostic SEntence Representations (LASER)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/2205.12654\" rel=\"noopener noreferrer nofollow\">arvix:2205.12654<\/a>, <a href=\"https:\/\/github.com\/facebookresearch\/LASER\" rel=\"noopener noreferrer nofollow\">github<\/a>, <a href=\"https:\/\/pypi.org\/project\/laser-encoders\/\" rel=\"noopener noreferrer nofollow\">pypi<\/a><\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c\u0438 FB \u0438, \u043a\u0430\u043a \u0441\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0440\u0438\u0434\u043c\u0438 \u043d\u0430 GitHub, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 200 \u044f\u0437\u044b\u043a\u043e\u0432 (\u0445\u043e\u0442\u044f \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0439\u0442\u0438 \u043f\u043e \u0441\u0441\u044b\u043b\u043e\u0447\u043a\u0430\u043c \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f 147 \u044f\u0437\u044b\u043a\u043e\u0432).<\/p>\n<p>\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u0430: ~256m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 1024 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437 \u043d\u0438\u0445 1024-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<p>\u041f\u043b\u044e\u0441\u044b: \u043e\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 PyTorch \u0438 \u0438\u043c\u0435\u0435\u0442 \u043b\u043e\u0433\u0438\u043a\u0443 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u044f\u0437\u044b\u043a\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u043e\u0447\u0435\u0432\u0430\u043b\u0430 \u0438\u0437 NLLB (\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u043a\u0441\u0442\u0430\u0442\u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0432 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 &#171;<a href=\"https:\/\/dzen.ru\/a\/Zbya8D1qtHYJzmEW\" rel=\"noopener noreferrer nofollow\">\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u043e\u0434\u0435\u043b\u044c NLLB<\/a>&#187; \u0443 \u0441\u0435\u0431\u044f \u0432 \u0431\u043b\u043e\u0433\u0435 \u043d\u0430 \u0414\u0437\u0435\u043d).<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u0432\u0435\u0441\u043e\u0432 <a href=\"https:\/\/github.com\/facebookresearch\/LASER\/blob\/main\/laser_encoders\/download_models.py#L88-L91\" rel=\"noopener noreferrer nofollow\">\u043d\u0435\u0442<\/a> \u043d\u0430 HuggingFace, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430 \u0441 <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\" rel=\"noopener noreferrer nofollow\">llama.cpp<\/a> \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 GGUF, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0430 \u0441\u043b\u0430\u0431\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 (\u0438\u043b\u0438 \u0436\u0435 \u0432 \u043f\u0430\u0440\u0435 \u0441 <a href=\"https:\/\/ollama.com\/\" rel=\"noopener noreferrer nofollow\">ollama<\/a>).<\/p>\n<h4>Multilingual Sentence-BERT (SBERT)<\/h4>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438: <a href=\"https:\/\/arxiv.org\/abs\/1908.10084\" rel=\"noopener noreferrer nofollow\">arXiv:1908.10084<\/a>, <a href=\"https:\/\/sbert.net\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0430\u0439\u0442<\/a><\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 Sentence-BERT \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 BERT, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, multilingual \u0432\u0435\u0440\u0441\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u0430 paraphrase \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0430\u0440\u0430\u0444\u0440\u0430\u0437 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<p>\u0412\u043e\u0442 \u043f\u0430\u0440\u0443 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/sentence-transformers\/paraphrase-multilingual-MiniLM-L12-v2\" rel=\"noopener noreferrer nofollow\">paraphrase-multilingual-MiniLM-L12-v2<\/a> \u0438\u043c\u0435\u0435\u0442 118m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 256 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 384-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/sentence-transformers\/paraphrase-multilingual-mpnet-base-v2\" rel=\"noopener noreferrer nofollow\">paraphrase-multilingual-mpnet-base-v2<\/a> \u0438\u043c\u0435\u0435\u0442 278m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 768-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u0435 \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u044b \u043d\u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>SNLI \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0441\u044f \u0432 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 &#171;<a href=\"https:\/\/aclanthology.org\/D15-1075\/\" rel=\"noopener noreferrer nofollow\">A large annotated corpus for learning natural language inference<\/a>&#187; (570k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432)<\/p>\n<\/li>\n<li>\n<p>Multi-Genre NLI, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 &#171;<a href=\"https:\/\/aclanthology.org\/N18-1101\" rel=\"noopener noreferrer nofollow\">A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference<\/a>&#187; (433k \u043f\u0440\u0438\u043c\u0435\u0440\u0430)<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043b\u044e\u0441\u044b: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a, \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043d\u0432\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 GGUF.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441\u044b: \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0436\u0430\u0440\u0433\u043e\u043d) \u0442\u0430\u043a \u043a\u0430\u043a , \u043d\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u0438 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 GGUF, \u0438 \u043a \u0447\u0438\u0441\u043b\u0443 \u0444\u0430\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u043c\u043e\u0433\u0443 \u043e\u0442\u043d\u0435\u0441\u0442\u0438, \u0447\u0442\u043e \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0438\u043b \u043d\u0435 \u044f \ud83d\ude09<\/p>\n<h3>\u041f\u0440\u043e \u0432\u044b\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>\u041f\u0440\u0438\u0448\u0451\u043b \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u0442\u0435\u043c\u0443 \u043f\u0440\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u0439-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u043e\u0432 \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0442\u043e\u043f\u0442\u0430\u043d\u043d\u0430\u044f \u0442\u0440\u043e\u043f\u0430 \u0438 \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u0435\u0437 \u043e\u0441\u043e\u0431\u044b\u0445 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u044e \u0437\u0430\u0434\u0443\u043c\u043a\u0443.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0448\u0438\u043b \u0432\u0437\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c <a href=\"https:\/\/huggingface.co\/google-bert\/bert-base-multilingual-uncased\" rel=\"noopener noreferrer nofollow\">google-bert\/bert-base-multilingual-uncased<\/a>, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e:<\/p>\n<ul>\n<li>\n<p>\u0423 \u044d\u0442\u043e\u0439 \u043a\u0440\u043e\u0445\u0438 \u0432\u0441\u0435\u0433\u043e 168m \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u0443 <code>paraphrase-multilingual-MiniLM-L12-v2<\/code>, \u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0447\u0435\u043c \u0443 <code>paraphrase-multilingual-mpnet-base-v2<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434 \u043e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 768-\u043c\u0435\u0440\u043d\u044b\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433, \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435 \u0443 <code>paraphrase-multilingual-mpnet-base-v2<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <a href=\"https:\/\/huggingface.co\/datasets\/wikipedia\" rel=\"noopener noreferrer nofollow\">wikipedia<\/a> \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u043c \u0438\u0437 \u0441\u0435\u0431\u044f Text Corpora, \u0430 \u0442\u0430\u043c, \u0441\u0430\u043c\u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435, \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430  \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c SNLI \u0438 Multi-Genre NLI \u0432\u043c\u0435\u0441\u0442\u0435 \u0432\u0437\u044f\u0442\u044b\u0435;<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c uncased, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u043b\u043e \u043d\u0430 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 (\u0441\u0438\u0440\u0435\u0447\u044c \u0432\u0441\u0451 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0432 lowercase).<\/p>\n<\/li>\n<\/ul>\n<p>\u0421 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c, \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0432\u044b\u0431\u043e\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430&#8230;<\/p>\n<h3>\u0413\u043e\u0442\u043e\u0432\u0438\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442<\/h3>\n<p>\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u044f \u0445\u043e\u0442\u0435\u043b \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u043d\u043e, \u0441\u043e\u0431\u0438\u0440\u0430\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043f\u043e PHP, \u044f \u043f\u043e\u043d\u044f\u043b, \u043a\u0430\u043a\u043e\u0439 \u044d\u0442\u043e \u0442\u0440\u0443\u0434\u043e\u0451\u043c\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0438 \u0440\u0435\u0448\u0438\u043b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0430\u043c\u0431\u0438\u0446\u0438\u0438.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u0438\u0441\u043a\u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u044f \u043d\u0430\u0448\u0451\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442: <a href=\"https:\/\/opus.nlpl.eu\/PHP\/en&amp;ru\/v1\/PHP\" rel=\"noopener noreferrer nofollow\">OPUS PHP v1<\/a> \u043d\u0430 2k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439 \u043f\u0430\u0440\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u043f\u043e \u0442\u0435\u043c\u0435 PHP.<\/p>\n<p>\u0418\u0437 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0441\u0442\u0430 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 (\u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u044b\u043b \u043e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430), \u0434\u0430\u043b\u0435\u0435 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0438\u043d\u0441\u0442\u0430\u043d\u0441 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/docker-compose.yml\" rel=\"noopener noreferrer nofollow\">LibreTranslate<\/a> \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0438 \u043e\u0447\u0438\u0441\u0442\u0438\u043b \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0442 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 \u0438 \u0448\u0443\u043c\u0430 (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_build.ipynb\" rel=\"noopener noreferrer nofollow\">dataset_php_build.ipynb<\/a>). \u0417\u0430\u0442\u0435\u043c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u0432\u0451\u043b \u043a\u0440\u0438\u0432\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Google \u0438 Yandex Translate \u0438 \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 CSV \u0444\u043e\u0440\u043c\u0430\u0442. \u0414\u0430\u043d\u043d\u044b\u0435 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0438 \u0443\u0434\u0430\u043b\u0438\u043b \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u044b (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_undup.py\" rel=\"noopener noreferrer nofollow\">dataset_php_undup.py<\/a>) \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c 1.6k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u0412 \u0444\u0438\u043d\u0430\u043b\u0435 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b ChatGPT \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c 100 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043f\u0430\u0440 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u043e PHP \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445 \u0434\u043b\u044f \u0441\u043f\u043b\u0438\u0442\u0430 <code>eval<\/code>, \u0430 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0434\u043b\u044f \u0441\u043f\u043b\u0438\u0442\u0430 <code>train<\/code>.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u043b (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_publish.ipynb\" rel=\"noopener noreferrer nofollow\">dataset_php_publish.ipynb<\/a>) \u043d\u0430 HuggingFace: <a href=\"https:\/\/huggingface.co\/datasets\/evilfreelancer\/opus-php-en-ru-cleaned\" rel=\"noopener noreferrer nofollow\">evilfreelancer\/opus-php-en-ru-cleaned<\/a> .<\/p>\n<h3>\u0421\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 Domain Adaptation<\/h3>\n<p>\u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043e PHP \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c Domain Adaptation, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0430 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0435\u0451 \u043d\u0430 Parallel Corpora \u0438\u0437 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f <a href=\"https:\/\/sbert.net\/examples\/domain_adaptation\/README.html\" rel=\"noopener noreferrer nofollow\">Domain Adaptation<\/a> \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043c\u0435\u0442\u043e\u0434 Generative Pseudo Labeling (GPL) (<a href=\"https:\/\/arxiv.org\/abs\/2112.07577\" rel=\"noopener noreferrer nofollow\">arXiv:2112.07577<\/a>), \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044f \u043f\u0441\u0435\u0432\u0434\u043e\u043c\u0435\u0442\u043a\u0438 \u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <a href=\"https:\/\/github.com\/UKPLab\/gpl\" rel=\"noopener noreferrer nofollow\">gpl<\/a> \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u0445\u0430\u0440\u0434\u043a\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438 \u0447\u0438\u0442\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u043c \u043f\u0443\u0442\u044f\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>datasets<\/code> (\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439: <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/dataset_php_convert.py\" rel=\"noopener noreferrer nofollow\">dataset_php_convert.py<\/a>).<\/p>\n<p>\u0414\u043b\u044f \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 <code>bert-base-multilingual-uncased<\/code> \u043a \u0434\u043e\u043c\u0435\u043d\u0443 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043f\u0440\u043e PHP \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u0430 <a href=\"https:\/\/github.com\/UKPLab\/gpl?tab=readme-ov-file#usage\" rel=\"noopener noreferrer nofollow\">\u0441\u043a\u0440\u0438\u043f\u0442<\/a>, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 GPL \u043d\u0430 \u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043d\u0430 GitHub, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430 \u043a\u043e\u0434:<\/p>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/train_domain.py\" rel=\"noopener noreferrer nofollow\">train_domain.py<\/a> \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0430 GitHub.<\/p>\n<pre><code class=\"python\">import gpl  model_name = 'bert-base-multilingual-uncased' batch_size = 64 gpl_steps = 140000 output_dir = '.\/output\/enbeddrus_domain' evaluation_output = f\"{output_dir}_evaluation\"  gpl.train(     path_to_generated_data=f\"generated\/embeddrus\",     base_ckpt=model_name,     gpl_score_function=\"dot\",     batch_size_gpl=batch_size,     gpl_steps=gpl_steps,     new_size=-1,     queries_per_passage=25,     output_dir=output_dir,     evaluation_data=f\".\/datasets\",     evaluation_output=evaluation_output,     generator=\"BeIR\/query-gen-msmarco-t5-base-v1\",     retrievers=[\"msmarco-distilbert-base-v3\", \"msmarco-MiniLM-L-6-v3\"],     retriever_score_functions=[\"cos_sim\", \"cos_sim\"],     cross_encoder=\"cross-encoder\/ms-marco-MiniLM-L-6-v2\",     qgen_prefix=\"qgen\",     do_evaluation=True, )<\/code><\/pre>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0430\u043f\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0430\u043a\u043e\u0439 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/BeIR\/query-gen-msmarco-t5-base-v1\" rel=\"noopener noreferrer nofollow\">BeIR\/query-gen-msmarco-t5-base-v1<\/a>, \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437 \u043a\u043e\u0440\u043f\u0443\u0441\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/sentence-transformers\/msmarco-distilbert-base-v3\" rel=\"noopener noreferrer nofollow\">msmarco-distilbert-base-v3<\/a> \u0438 <a href=\"https:\/\/huggingface.co\/sentence-transformers\/msmarco-MiniLM-L-6-v3\" rel=\"noopener noreferrer nofollow\">msmarco-MiniLM-L-6-v3<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u043c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e\u043c, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u0442\u0430\u043a\u043e\u0439 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/cross-encoder\/ms-marco-MiniLM-L-6-v2\" rel=\"noopener noreferrer nofollow\">cross-encoder\/ms-marco-MiniLM-L-6-v2<\/a>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u0441\u0435\u0432\u0434\u043e\u043c\u0435\u0442\u043e\u043a, \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <a href=\"https:\/\/sbert.net\/docs\/package_reference\/sentence_transformer\/losses.html#marginmseloss\" rel=\"noopener noreferrer nofollow\">MarginMSELoss<\/a>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a \u043d\u043e\u0432\u043e\u043c\u0443 \u0434\u043e\u043c\u0435\u043d\u0443.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418 \u0442\u0430\u043a, \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u043e\u0432\u044b\u043c \u0434\u043e\u043c\u0435\u043d\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443.<\/p>\n<h3>\u0421\u043a\u0440\u0438\u043f\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 Parallel Corpora<\/h3>\n<p>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432 <a href=\"https:\/\/sbert.net\/examples\/training\/multilingual\/README.html\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0438\u043c\u0435\u0440\u0435<\/a> \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 Sentence Transformers. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 (\u0437\u0430\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u0430 <a href=\"https:\/\/github.com\/UKPLab\/sentence-transformers\/blob\/master\/examples\/training\/multilingual\/make_multilingual.py\" rel=\"noopener noreferrer nofollow\">make_multilingual.py<\/a>).<\/p>\n<p>\u0414\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u044e\u043f\u0438\u0442\u0435\u0440-\u0431\u043b\u043e\u043a\u043d\u043e\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043f\u0430\u0440\u044b \u0438\u0437 <code>eval<\/code> \u0441\u043f\u043b\u0438\u0442\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 <a href=\"https:\/\/huggingface.co\/datasets\/evilfreelancer\/opus-php-en-ru-cleaned\" rel=\"noopener noreferrer nofollow\">evilfreelancer\/opus-php-en-ru-cleaned<\/a> \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432. \u0421\u043a\u0440\u0438\u043f\u0442 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 <a href=\"https:\/\/github.com\/EvilFreelancer\/enbeddrus\/blob\/main\/testing.ipynb\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a><\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-377847","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/377847","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=377847"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/377847\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=377847"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=377847"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=377847"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}