{"id":324673,"date":"2021-06-10T03:00:14","date_gmt":"2021-06-10T03:00:14","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=324673"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=324673","title":{"rendered":"\u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 BERT \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430"},"content":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p><a href=\"https:\/\/arxiv.org\/abs\/1810.04805\" rel=\"noopener noreferrer nofollow\">BERT <\/a>\u2013 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430\u044f \u0432\u0435\u0441\u044c\u043c\u0430 \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u043e\u044f\u0432\u0438\u0432\u0438\u0448\u0438\u0441\u044c \u0432 2018 \u0433\u043e\u0434\u0443, \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u043e\u0442 \u0432 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0439 \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u043a\u0435. \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u043b\u0433\u043e <em>\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f,<\/em> \u0447\u0438\u0442\u0430\u044f \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043e\u0441\u0432\u0430\u0438\u0432\u0430\u044f \u044f\u0437\u044b\u043a, \u0430 \u043f\u043e\u0442\u043e\u043c \u0435\u0451 \u043c\u043e\u0436\u043d\u043e <em>\u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c<\/em> \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u0438\u043b\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0438\u043c\u0451\u043d, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0438 \u0430\u0434\u0440\u0435\u0441\u043e\u0432. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f BERT \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f: \u0432\u0435\u0441\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 600 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442, \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u043a\u043e\u043b\u043e 120 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 (\u043d\u0430 CPU). \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\/tree\/main\" rel=\"noopener noreferrer nofollow\">\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e BERT \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430<\/a> \u2013 45 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442, 6 \u043c\u0441 \u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u0423\u0436\u0435 \u0435\u0441\u0442\u044c <a href=\"https:\/\/huggingface.co\/huawei-noah\/TinyBERT_General_4L_312D\" rel=\"noopener noreferrer nofollow\">tinybert \u0434\u043b\u044f \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043e\u0442 \u0425\u0443\u0430\u0432\u0435\u044f<\/a>, \u0435\u0441\u0442\u044c <a href=\"https:\/\/habr.com\/ru\/post\/489474\/\" rel=\"noopener noreferrer nofollow\">\u043c\u043e\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u043a\u0430 FastText&#8217;\u0430<\/a>, \u0430 \u0432\u043e\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 (\u0430\u043d\u0433\u043b\u043e-)\u0440\u0443\u0441\u0441\u043a\u0438\u0439 BERT, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0432\u043f\u0435\u0440\u0432\u044b\u0435. \u041d\u043e \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u0445\u043e\u0440\u043e\u0448?<\/p>\n<h2>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u2013 \u043f\u0443\u0442\u044c \u043a \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0441\u0442\u0438<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 BERT, \u044f \u0440\u0435\u0448\u0438\u043b \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0432\u043e\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u0439. \u0421\u0435\u0439\u0447\u0430\u0441 \u043e\u0431\u044a\u044f\u0441\u043d\u044e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0442\u043e BERT \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b (\u043a\u0443\u0441\u043e\u0447\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0431\u0443\u043a\u0432\u044b \u0434\u043e \u0446\u0435\u043b\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430), \u043e\u0442 \u043d\u0438\u0445 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0438 \u044d\u0442\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c self-attention \u0434\u043b\u044f \u0443\u0447\u0451\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432). \u041f\u0440\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 BERT \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0434\u0432\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0431\u044b\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d <code>[MASK]<\/code>, \u0438 \u0448\u043b\u0438 \u043b\u0438 \u0434\u0432\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u043e\u043c \u0434\u0440\u0443\u0433 \u0437\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435. \u041a\u0430\u043a <a href=\"https:\/\/arxiv.org\/abs\/1907.11692\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438<\/a>, \u0432\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0443\u0436\u043d\u0430. \u041d\u043e \u0442\u043e\u043a\u0435\u043d <code>[CLS]<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u0432\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u0443\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0442, \u0438 \u044f \u0442\u043e\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043b \u043d\u0430 \u043d\u0435\u0433\u043e \u0441\u0442\u0430\u0432\u043a\u0443.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1503.02531\" rel=\"noopener noreferrer nofollow\">\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f <\/a>\u2013 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0435\u0440\u0435\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u043d\u0438\u0439 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e. \u042d\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 <code>[CLS] \u0415\u0445\u0430\u043b \u0413\u0440\u0435\u043a\u0430 [MASK] \u0440\u0435\u043a\u0443<\/code> &#171;\u0432\u0435\u0440\u043d\u043e\u0435&#187; \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u2013 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u0435\u0441\u0442\u043e \u043c\u0430\u0441\u043a\u0438 \u0442\u043e\u043a\u0435\u043d <code>\u0447\u0435\u0440\u0435\u0437<\/code>, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u043e\u043a\u0435\u043d\u044b <code>\u043d\u0430<\/code>, <code>\u0432<\/code>, <code>\u0437\u0430<\/code> \u0432 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0442\u043e\u0436\u0435 \u0443\u043c\u0435\u0441\u0442\u043d\u044b, \u0438 \u044d\u0442\u043e \u0437\u043d\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c, \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 <code>\u0447\u0435\u0440\u0435\u0437<\/code>, \u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u0441\u0451 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435. <\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0441\u043d\u043e\u0432\u044b \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u044f \u0432\u0437\u044f\u043b \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 bert-multilingual (<a href=\"https:\/\/huggingface.co\/bert-base-multilingual-cased\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430<\/a>), \u0438\u0431\u043e \u0445\u043e\u0447\u0443, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043b\u0430 \u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0438 \u0435\u0433\u043e \u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u043d\u0430 \u0440\u0430\u043d\u043d\u0438\u0445 \u0441\u0442\u0430\u0434\u0438\u044f\u0445 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u043a\u0430\u043a \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u043b\u043e\u0432\u0430\u0440\u044c \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 120\u041a \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u043e \u044f \u043e\u0442\u043e\u0431\u0440\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 30\u041a. \u0420\u0430\u0437\u043c\u0435\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u044f \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b \u0441 768 \u0434\u043e 312, \u0447\u0438\u0441\u043b\u043e \u0441\u043b\u043e\u0451\u0432 \u2013 \u0441 12 \u0434\u043e 3. \u042d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0438\u0437 bert-multilingual, \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u2013 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 BERT \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u043c\u043d\u0435 \u043d\u0430\u0434\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043c\u043e\u0433 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441 \u044d\u0442\u0438\u043c \u0437\u0434\u043e\u0440\u043e\u0432\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f: RuBERT (<a href=\"https:\/\/arxiv.org\/abs\/1905.07213\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/huggingface.co\/DeepPavlov\/rubert-base-cased-sentence\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430<\/a>), LaBSE (<a href=\"https:\/\/arxiv.org\/abs\/2007.01852\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/huggingface.co\/sentence-transformers\/LaBSE\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430<\/a>), Laser (<a href=\"https:\/\/arxiv.org\/abs\/1812.10464\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/pypi.org\/project\/laserembeddings\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0430\u043a\u0435\u0442<\/a>) \u0438 USE (<a href=\"https:\/\/arxiv.org\/abs\/1803.11175\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/tfhub.dev\/google\/universal-sentence-encoder-multilingual-large\/3\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u0434<\/a>). \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u044f \u0442\u0440\u0435\u0431\u0443\u044e, \u0447\u0442\u043e\u0431\u044b <code>[CLS]<\/code> \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043c\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0442\u0440\u0451\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044f \u043e\u0431\u0443\u0447\u0430\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 translation ranking (\u043a\u0430\u043a LaBSE). \u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u044f \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0443\u043c\u0435\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0437\u0430\u0434 \u0438\u0437 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432, \u043f\u0440\u0438\u0447\u0451\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u2013 \u043a\u0430\u043a \u0432 Laser. \u0414\u043b\u044f \u044d\u0442\u0438\u0445 \u0446\u0435\u043b\u0435\u0439 \u044f \u043f\u0440\u0438\u043c\u043e\u0442\u0430\u043b <a href=\"https:\/\/t.me\/izolenta_mebiusa\" rel=\"noopener noreferrer nofollow\">\u0438\u0437\u043e\u043b\u0435\u043d\u0442\u043e\u0439 <\/a>\u043a \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043e\u0442 <a href=\"https:\/\/cointegrated.medium.com\/how-to-adapt-a-multilingual-t5-model-for-a-single-language-b9f94f3d9c90\" rel=\"noopener noreferrer nofollow\">\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e T5<\/a>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043c\u043d\u043e\u0433\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c <abbr title=\"\u043a\u0430\u043a &quot;\u0447\u0443\u0434\u0438\u0449\u0435 \u043e \u0432\u043e\u0441\u044c\u043c\u0438 \u0433\u043e\u043b\u043e\u0432\u0430\u0445&quot;\">\u043e \u0432\u043e\u0441\u044c\u043c\u0438 \u043b\u043e\u0441\u0441\u0430\u0445<\/abbr>:<\/p>\n<ul>\n<li>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0437\u0430\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e full word masks).<\/p>\n<\/li>\n<li>\n<p>Translation ranking \u043f\u043e \u0440\u0435\u0446\u0435\u043f\u0442\u0443 LaBSE: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0444\u0440\u0430\u0437\u044b \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 \u0435\u0451 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0447\u0435\u043c \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u0431\u0430\u0442\u0447\u0435. \u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u0430\u0438\u0432\u043d\u044b\u0435 hard negatives, \u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u043f\u043e\u043b\u044c\u0437\u044b \u043e\u043d\u0438 \u043d\u0435 \u0434\u0430\u043b\u0438. <\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0437 bert-base-multilingual-cased (\u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043f\u043e\u0445 \u044f \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b \u0435\u0451, \u0442.\u043a. \u043e\u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u0435\u0448\u0430\u0442\u044c). <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c DeepPavlov\/rubert-base-cased-sentence (\u0443\u0441\u0440\u0435\u0434\u043d\u0451\u043d\u043d\u044b\u043c \u043f\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u043c). <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u0434\u0440\u0443\u0433\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c LaBSE.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c LASER. <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u0435\u0449\u0451 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c USE.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u043e\u0442 T5 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f (\u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c) \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430. <\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0438\u0437 \u044d\u0442\u0438\u0445 \u043b\u043e\u0441\u0441\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u0435\u0437\u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u043e \u0432\u044b\u043a\u0438\u043d\u0443\u0442\u044c, \u043d\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043d\u0430 ablation study \u044f \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0448\u0451\u043b. \u041e\u0431\u0443\u0447\u0430\u043b \u044f \u044d\u0442\u043e \u0432\u0441\u0451 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u043d\u0435\u0439 \u043d\u0430 Colab, \u043f\u043e \u043f\u0443\u0442\u0438 \u043d\u0430\u0449\u0443\u043f\u044b\u0432\u0430\u044f learning rate \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u0412 \u043e\u0431\u0449\u0435\u043c, \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u0443\u0447\u043d\u043e, \u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043e \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0438\u0432\u043d\u043e. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u044f \u0432\u0437\u044f\u043b \u0442\u0440\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0430\u043d\u0433\u043b\u043e-\u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439: <a href=\"https:\/\/translate.yandex.ru\/corpus\" rel=\"noopener noreferrer nofollow\">\u043e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441.\u041f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a\u0430<\/a>, <a href=\"https:\/\/huggingface.co\/datasets\/opus100\" rel=\"noopener noreferrer nofollow\">OPUS-100<\/a> \u0438 <a href=\"https:\/\/huggingface.co\/datasets\/tatoeba\" rel=\"noopener noreferrer nofollow\">Tatoeba<\/a>, \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e 2.5 \u043c\u043b\u043d \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0412\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, <a href=\"https:\/\/gist.github.com\/avidale\/7bc6350f26196918bf339c01261f5c60\" rel=\"noopener noreferrer nofollow\">\u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435<\/a>. \u0421\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0430\u0437\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u043d\u043e\u044e rubert-tiny (\u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e <em>\u042d\u043d\u043a\u043e\u0434\u0435\u0447\u043a\u0430<\/em>), <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">\u0432\u044b\u043b\u043e\u0436\u0435\u043d\u0430 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 Huggingface<\/a>.<\/p>\n<h2>\u0418 \u043a\u0430\u043a \u044d\u0442\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f?<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c Python \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b \u043f\u0430\u043a\u0435\u0442 transformers \u0438 sentencepiece, \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043e\u0442 \u0442\u0430\u043a \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c 312-\u043c\u0435\u0440\u043d\u044b\u0439 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f. <\/p>\n<pre><code class=\"python\"># pip install transformers sentencepiece import torch from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(\"cointegrated\/rubert-tiny\") model = AutoModel.from_pretrained(\"cointegrated\/rubert-tiny\") # model.cuda()  # uncomment it if you have a GPU  def embed_bert_cls(text, model, tokenizer):     t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')     with torch.no_grad():         model_output = model(**{k: v.to(model.device) for k, v in t.items()})     embeddings = model_output.last_hidden_state[:, 0, :]     embeddings = torch.nn.functional.normalize(embeddings)     return embeddings[0].cpu().numpy()  print(embed_bert_cls('\u043f\u0440\u0438\u0432\u0435\u0442 \u043c\u0438\u0440', model, tokenizer).shape) # (312,)<\/code><\/pre>\n<p>\u042d\u0442\u043e\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041a\u0430\u043a (\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u0439) \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u041f\u0440\u043e \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0441\u0442, \u0430 \u043f\u043e\u043a\u0430 \u043e\u0442\u0441\u044b\u043b\u0430\u044e \u0432\u0430\u0441 \u043a \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u043c \u043e\u0442 Huggingface (<a href=\"https:\/\/huggingface.co\/transformers\/training.html\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0437<\/a>, <a href=\"https:\/\/huggingface.co\/transformers\/notebooks.html\" rel=\"noopener noreferrer nofollow\">\u0434\u0432\u0430<\/a>). <\/p>\n<p>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u044b\u0441\u0442\u0440 \u0438 \u043c\u0430\u043b \u043c\u043e\u0439 \u042d\u043d\u043a\u043e\u0434\u0435\u0447\u043a\u0430? \u042f \u0441\u0440\u0430\u0432\u0438\u043b \u0435\u0433\u043e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 BERT&#8217;\u0430\u043c\u0438, \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u043c\u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u0432 \u0440\u0430\u0441\u0447\u0451\u0442\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 <a href=\"https:\/\/wortschatz.uni-leipzig.de\/en\/download\/Russian\" rel=\"noopener noreferrer nofollow\">\u041b\u0435\u0439\u043f\u0446\u0438\u0433\u0441\u043a\u043e\u0433\u043e \u0432\u0435\u0431-\u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430<\/a>. <\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c (CPU)<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c (GPU)<\/p>\n<\/td>\n<td>\n<p>\u0412\u0435\u0441 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">cointegrated\/rubert-tiny<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>6 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>3 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>45 \u043c\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/bert-base-multilingual-cased\" rel=\"noopener noreferrer nofollow\">bert-base-multilingual-cased<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>125 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>8 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>680 \u043c\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/DeepPavlov\/rubert-base-cased-sentence\" rel=\"noopener noreferrer nofollow\">DeepPavlov\/rubert-base-cased-sentence<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>110 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>8 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>680 \u043c\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/sentence-transformers\/LaBSE\" rel=\"noopener noreferrer nofollow\">sentence-transformers\/LaBSE<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>120 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>8 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>1.8 \u0433\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"http:\/\/sberbank-ai\/sbert_large_nlu_ru\" rel=\"noopener noreferrer nofollow\">sberbank-ai\/sbert_large_nlu_ru<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>420 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>16 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>1.6 \u0433\u0431<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u0441\u0435 \u0440\u0430\u0441\u0447\u0451\u0442\u044b \u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b \u043d\u0430 Colab (Intel(R) Xeon(R) CPU @ 2.00GHz \u0438 Tesla P100-PCIE) c \u0431\u0430\u0442\u0447\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 1. \u0415\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0431\u0430\u0442\u0447\u0438, \u0442\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 GPU \u0435\u0449\u0451 \u0437\u0430\u043c\u0435\u0442\u043d\u0435\u0435, \u0442.\u043a. \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0431\u0430\u0442\u0447 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">rubert-tiny<\/a> \u043d\u0430 CPU \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u0430\u0437 \u0432 20 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0432\u043e\u0438\u0445 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439, \u0438 \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u0435\u0442 \u0443\u043c\u0435\u0441\u0442\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u043d\u044b\u0435 \u0445\u043e\u0441\u0442\u0438\u043d\u0433\u0438 \u0442\u0438\u043f\u0430 Heroku (\u0438 \u0434\u0430\u0436\u0435, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043d\u0430 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430). \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0432 \u0446\u0435\u043b\u043e\u043c \u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u041d\u043e \u043d\u0430\u0434\u043e \u0435\u0449\u0451 \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0442\u044c \u0447\u0435\u043c\u0443-\u0442\u043e \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c.<\/p>\n<h2>\u041e\u0446\u0435\u043d\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432<\/h2>\n<p>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0440\u0435\u0446\u0435\u043f\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f BERT \u2013 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443. \u041d\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u2013 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0435\u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u043d\u0430\u0443\u043a\u043e\u0451\u043c\u043a\u0438\u0439, \u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043e\u0431 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u043e\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043f\u043e\u043f\u0440\u043e\u0449\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0438\u0445 \u043a\u0430\u043a \u0433\u043e\u0442\u043e\u0432\u044b\u0435 feature extractors, \u0438 \u043e\u0431\u0443\u0447\u0430\u044e \u043f\u043e\u0432\u0435\u0440\u0445 \u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u2013 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0438 KNN. <\/p>\n<p>\u0414\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a <a href=\"https:\/\/russiansuperglue.com\" rel=\"noopener noreferrer nofollow\">RussianSuperGLUE<\/a>, \u043d\u043e \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043c \u0441\u043b\u043e\u0436\u043d\u044b\u0435, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0430\u043a \u0447\u0442\u043e \u043a \u043d\u0435\u043c\u0443 \u044f \u0442\u043e\u0436\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0443 \u043f\u043e\u0437\u0436\u0435. \u0415\u0449\u0451 \u0435\u0441\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a <a href=\"https:\/\/github.com\/RussianNLP\/rusenteval\" rel=\"noopener noreferrer nofollow\">RuSentEval<\/a>, \u0442\u0430\u043c \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0435, \u043d\u043e \u043e\u043d\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0435, \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430 \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u0430 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043d\u0430\u0447\u0430\u0442\u044c \u0441 \u0447\u0435\u0433\u043e-\u0442\u043e \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0433\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u043e\u0431\u0440\u0430\u043b \u0441\u0432\u043e\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u043e\u043d \u0442\u043e\u0436\u0435 \u0436\u0438\u0432\u0451\u0442 \u0432 \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435, \u043d\u043e \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u043f\u0438\u043b\u0438\u0442\u044c \u0435\u0433\u043e \u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u043e\u043c \u0432\u0438\u0434\u0435. \u0418 \u0432\u043e\u0442 \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0443\u0434\u0430 \u0432\u043e\u0448\u043b\u0438:<\/p>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/stsb_multi_mt\" rel=\"noopener noreferrer nofollow\">STS<\/a>: \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 (\u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0439 \u0441 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0440\u0430\u0437\u044b &#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u044b\u043d\u0435&#187; \u0438 &#171;\u0427\u0435\u0440\u043d\u043e-\u0431\u0435\u043b\u044b\u0439 \u043a\u043e\u0442 \u0441\u043f\u0438\u0442 \u043d\u0430 \u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u043e\u043c \u043e\u0434\u0435\u044f\u043b\u0435&#187; \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043e\u0446\u0435\u043d\u0435\u043d\u044b \u043d\u0430 4 \u0438\u0437 5 \u0431\u0430\u043b\u043b\u043e\u0432 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043d\u0451\u043c \u044f \u043c\u0435\u0440\u044f\u043b \u0440\u0430\u043d\u0433\u043e\u0432\u043e\u0439 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0439 \u044d\u0442\u0438\u0445 \u0431\u0430\u043b\u043b\u043e\u0432 \u0441 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c\u044e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, LaBSE, \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c 77%, \u0434\u043b\u044f \u043c\u043e\u0435\u0439 \u2013 65%, \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043e\u0442 \u0421\u0431\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 40 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0435\u0439. <\/p>\n<p><a href=\"http:\/\/paraphraser.ru\/download\/\" rel=\"noopener noreferrer nofollow\">Paraphraser<\/a>: \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438, \u043d\u043e \u0441 \u0447\u0438\u0441\u0442\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u043c\u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u043c\u0438 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c\u0438 \u0438 \u0442\u0440\u0451\u0445\u0431\u0430\u043b\u043b\u044c\u043d\u043e\u0439 \u0448\u043a\u0430\u043b\u043e\u0439. \u042d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u0442\u0430\u043a: \u043e\u0431\u0443\u0447\u0438\u043b \u043f\u043e\u0432\u0435\u0440\u0445 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u0445 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0435\u0439 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0438 \u0435\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b, \u043a \u043a\u0430\u043a\u043e\u043c\u0443 \u0438\u0437 \u0442\u0440\u0451\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043f\u0430\u0440\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u0432 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f. \u041d\u0430 \u044d\u0442\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u043b\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c 43% \u0438 \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 (\u0432\u043f\u0440\u043e\u0447\u0435\u043c, \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u0442\u0440\u044b\u0432\u043e\u043c).<\/p>\n<p><a href=\"https:\/\/github.com\/facebookresearch\/XNLI\" rel=\"noopener noreferrer nofollow\">XNLI<\/a>: \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043b\u0438 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 \u0434\u0440\u0443\u0433\u043e\u0433\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437 &#171;\u044d\u0442\u043e \u0441\u0442\u0440\u0435\u043b\u044f\u044e\u0449\u0435\u0435 \u043f\u043b\u0430\u0441\u0442\u0438\u043a\u043e\u0432\u043e\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0440\u0443\u0436\u0438\u0435&#187;  \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 &#171;\u044d\u0442\u043e \u0431\u043e\u043b\u0435\u0435 \u043d\u0430\u0434\u0435\u0436\u043d\u043e, \u0447\u0435\u043c \u043c\u0435\u0442\u0430\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0440\u0443\u0436\u0438\u0435&#187;, \u043d\u043e \u0438 \u043d\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442. \u041e\u0446\u0435\u043d\u0438\u0432\u0430\u043b \u0435\u0451 \u044f \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0443\u044e \u2013 \u043b\u043e\u0433\u0440\u0435\u0433\u043e\u043c \u043f\u043e\u0432\u0435\u0440\u0445 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u0445 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0435\u0439. \u0422\u0443\u0442 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 DeepPavlov (\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0440\u043e\u0432\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435), \u0430 \u043c\u043e\u044f \u0437\u0430\u043d\u044f\u043b\u0430 \u0432\u0442\u043e\u0440\u043e\u0435.<\/p>\n<p><a href=\"http:\/\/www.dialog-21.ru\/evaluation\/2016\/sentiment\/\" rel=\"noopener noreferrer nofollow\">SentiRuEval2016<\/a>: \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0432\u0438\u0442\u043e\u0432 \u043d\u0430 \u0442\u0440\u0438 \u043a\u043b\u0430\u0441\u0441\u0430. \u0422\u0443\u0442 \u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u043e\u0432\u0435\u0440\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432, \u0438 \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u044f\u043b\u0430 \u0442\u0440\u0435\u0442\u044c\u0435 \u043c\u0435\u0441\u0442\u043e \u0438\u0437 \u043f\u044f\u0442\u0438. \u0412 \u044d\u0442\u043e\u0439 \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u044f \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u043e 5\u041a, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u0430\u0434\u0438.<\/p>\n<p><a href=\"https:\/\/cups.mail.ru\/ru\/contests\/okmlcup2020\" rel=\"noopener noreferrer nofollow\">OKMLCup<\/a>: \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u044f \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u0438\u0437 \u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u043e\u0432. \u0422\u0443\u0442 \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u044f\u043b\u0430 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043f\u043e ROC AUC, \u043e\u0431\u043e\u0433\u043d\u0430\u0432 \u0442\u043e\u043b\u044c\u043a\u043e bert-base-cased-multilingual.<\/p>\n<p><a href=\"https:\/\/github.com\/skoltech-nlp\/inappropriate-sensitive-topics\" rel=\"noopener noreferrer nofollow\">Inappropriateness<\/a>: \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0445 \u0434\u043b\u044f \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043d\u0438\u043a\u0430 \u0438\u043b\u0438 \u0432\u0440\u0435\u0434\u044f\u0449\u0438\u0445 \u0440\u0435\u043f\u0443\u0442\u0430\u0446\u0438\u0438. \u0422\u0443\u0442 \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043c\u0435\u0441\u0442\u0435, \u043d\u043e \u0442\u0430\u043a\u0438 \u043d\u0430\u0431\u0440\u0430\u043b\u0430 68% AUC (\u0443 \u0441\u0430\u043c\u043e\u0439 \u043b\u0443\u0447\u0448\u0435\u0439, \u0421\u0431\u0435\u0440\u043e\u0432\u0441\u043a\u043e\u0439, \u0432\u044b\u0448\u043b\u043e 79%). <\/p>\n<p><a href=\"https:\/\/github.com\/xliuhw\/NLU-Evaluation-Data\" rel=\"noopener noreferrer nofollow\">\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432<\/a>: \u043d\u0430\u043a\u0440\u0430\u0443\u0434\u0441\u043e\u0440\u0448\u0435\u043d\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u043e\u043c\u0443 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a\u0443, \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u044e\u0449\u0438\u0435 18 \u0434\u043e\u043c\u0435\u043d\u043e\u0432 \u0438 68 \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432. \u041e\u043d\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u043d\u043e \u044f \u043f\u0435\u0440\u0435\u0432\u0451\u043b \u0438\u0445 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 <a href=\"https:\/\/huggingface.co\/Helsinki-NLP\/opus-mt-en-ru\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u043e\u0439<\/a>. \u0427\u0430\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u043c\u0438, \u043d\u043e \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u0441\u043e\u0439\u0434\u0451\u0442. \u041e\u0446\u0435\u043d\u0438\u0432\u0430\u043b \u044f \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438\u043b\u0438 KNN (\u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435). LaBSE \u043d\u0430\u0431\u0440\u0430\u043b\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c 75%, \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 \u0421\u0431\u0435\u0440\u0430 \u2013 68%, \u043e\u0442 DeepPavlov \u2013 60%, \u043c\u043e\u044f \u2013 58%, \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u0430\u044f \u2013 56%. \u0415\u0441\u0442\u044c \u043a\u0443\u0434\u0430 \u0440\u0430\u0441\u0442\u0438.<\/p>\n<p><u>\u041f\u0435\u0440\u0435\u043d\u043e\u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432 \u0441 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e<\/u>: \u0442\u0430 \u0436\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432, \u043d\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u2013 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u0422\u0443\u0442 \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u044f\u043b\u0430 \u0432\u0442\u043e\u0440\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043f\u043e\u0441\u043b\u0435 LaBSE, \u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0435\u043b\u043e (\u0447\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e, \u0438\u0431\u043e \u043d\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u043e\u043d\u0438 \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c). <\/p>\n<p><a href=\"https:\/\/github.com\/dialogue-evaluation\/factRuEval-2016\" rel=\"noopener noreferrer nofollow\">factRuEval-2016<\/a>: \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 (\u0430\u0434\u0440\u0435\u0441\u0430, \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438, \u043b\u0438\u0447\u043d\u043e\u0441\u0442\u0438). \u042f \u043e\u0431\u0443\u0447\u0430\u043b \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u043f\u043e\u0432\u0435\u0440\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u0440\u044f\u043b \u043c\u0430\u043a\u0440\u043e F1 \u0441\u043a\u043e\u0440\u043e\u043c (\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0436\u0435, \u0447\u0442\u043e \u043d\u0435 \u0432\u043f\u043e\u043b\u043d\u0435 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e). \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043d\u0430 \u0442\u0430\u043a\u043e\u043c NER \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0442\u043a\u0440\u043e\u0432\u0435\u043d\u043d\u043e \u043f\u043b\u043e\u0445\u043e: \u043e\u043d\u0430 \u043d\u0430\u0431\u0440\u0430\u043b\u0430 \u0441\u043a\u043e\u0440 43%, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2013 67-69%.<\/p>\n<p><a href=\"https:\/\/github.com\/cimm-kzn\/RuDReC\" rel=\"noopener noreferrer nofollow\">RuDReC<\/a>: \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0422\u0443\u0442 \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0436\u0435 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b\u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u043e\u0442\u0440\u044b\u0432\u043e\u043c: 58% \u043f\u0440\u043e\u0442\u0438\u0432 62-67%. <\/p>\n<p>\u0414\u043b\u044f \u0432\u0441\u0435\u0445 \u0437\u0430\u0434\u0430\u0447, \u043a\u0440\u043e\u043c\u0435 NER, \u044f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0432\u0430 \u0432\u0438\u0434\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432: \u0438\u0437 CLS \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u0451\u043d\u043d\u044b\u0435 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c. \u0414\u043b\u044f \u043c\u0435\u043d\u044f \u0431\u044b\u043b\u043e \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e\u0441\u0442\u044c\u044e, \u0447\u0442\u043e \u043d\u0430 \u043c\u043d\u043e\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0421LS-\u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0441\u044f \u0434\u0430\u0436\u0435 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u0439 (\u0432 \u0446\u0435\u043b\u043e\u043c, \u0443 \u043d\u0435\u0433\u043e \u0442\u0430\u043a \u0441\u0435\u0431\u0435 \u0440\u0435\u043f\u0443\u0442\u0430\u0446\u0438\u044f). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043d\u0435 \u043b\u0435\u043d\u0438\u0442\u044c\u0441\u044f \u0438 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0432 \u0432\u0430\u0448\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u041a\u043e\u0434 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u043e\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c <a href=\"https:\/\/gist.github.com\/avidale\/89eefcb9b7d5599493ed366eaff7f8a1\" rel=\"noopener noreferrer nofollow\">\u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0430<\/a>, \u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u0442\u044c, \u043f\u043e\u043a\u0430 \u044f \u0435\u0449\u0451 \u043f\u0440\u0438\u0447\u0435\u0448\u0443 \u044d\u0442\u043e\u0442 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a.<\/p>\n<p>\u041f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c LaBSE \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u0430\u044f: \u043e\u043d\u0430 \u0437\u0430\u043d\u044f\u043b\u0430 \u043f\u0435\u0440\u0432\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043d\u0430 6 \u0438\u0437 10 \u0437\u0430\u0434\u0430\u0447. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u0432\u044b\u043b\u043e\u0436\u0438\u0442\u044c <a href=\"https:\/\/huggingface.co\/cointegrated\/LaBSE-en-ru\" rel=\"noopener noreferrer nofollow\">LaBSE-en-ru<\/a>, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u043e\u0442\u0440\u0435\u0437\u0430\u043b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0432\u0441\u0435\u0445 99 \u044f\u0437\u044b\u043a\u043e\u0432, \u043a\u0440\u043e\u043c\u0435 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0445\u0443\u0434\u0435\u043b\u0430 \u0441 1.8 \u0434\u043e 0.5 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u0438, \u043d\u0430\u0434\u0435\u044e\u0441\u044c, \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0442\u0430\u043b\u0430 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u041d\u0443 \u0430 <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">rubert-tiny<\/a> \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0432 \u0446\u0435\u043b\u043e\u043c \u0431\u043b\u0438\u0437\u043e\u043a \u043a \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u043e\u0442 <a href=\"https:\/\/huggingface.co\/DeepPavlov\/rubert-base-cased-sentence\" rel=\"noopener noreferrer nofollow\">DeepPavlov <\/a>\u0438 <a href=\"https:\/\/huggingface.co\/sberbank-ai\/sbert_large_nlu_ru\" rel=\"noopener noreferrer nofollow\">Sber<\/a>, \u0431\u0443\u0434\u0443\u0447\u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u042f <a href=\"https:\/\/habr.com\/ru\/post\/489474\/\" rel=\"noopener noreferrer nofollow\">\u043e\u0431\u0435\u0449\u0430\u043b <\/a>\u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0438 \u044f \u044d\u0442\u043e \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u0441\u0434\u0435\u043b\u0430\u043b. \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e, \u0438 \u0435\u0433\u043e \u0435\u0449\u0451 \u043c\u043e\u0436\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c, \u043d\u043e \u0443\u0436\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043a \u0443\u0440\u043e\u0432\u043d\u044e \u0441\u0432\u043e\u0438\u0445 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u0439 \u0438 \u0434\u0430\u0436\u0435 \u0438\u043d\u043e\u0433\u0434\u0430 \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u0435\u0433\u043e. \u0422\u0430\u043a \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 BERT \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u0442\u043e \u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435\u0441\u044c: <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/cointegrated\/rubert-tiny<\/a>.<\/p>\n<p>\u0412\u043f\u0435\u0440\u0435\u0434\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043d\u043e\u0433\u043e: \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 BERT \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 RussianSuperGLUE (\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e), \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u2013 \u0437\u0430\u0442\u0430\u0449\u0438\u0442\u044c \u0432 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 (\u044f \u0443\u0436\u0435 <a href=\"https:\/\/towardsdatascience.com\/how-to-adapt-a-multilingual-t5-model-for-a-single-language-b9f94f3d9c90\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0447\u0430\u043b <\/a>\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0434\u043b\u044f T5). \u041f\u043e\u0441\u0435\u043c\u0443 \u043b\u0430\u0439\u043a\u0430\u0439\u0442\u0435 \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0441\u0442, \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0439\u0442\u0435\u0441\u044c \u043d\u0430 <a href=\"https:\/\/t.me\/izolenta_mebiusa\" rel=\"noopener noreferrer nofollow\">\u043c\u043e\u0439 \u043a\u0430\u043d\u0430\u043b \u043f\u0440\u043e NLP<\/a>, \u043f\u043e\u0434\u043a\u0438\u0434\u044b\u0432\u0430\u0439\u0442\u0435 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u0438 \u0432 \u043b\u0438\u0447\u043a\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0438, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0434\u043e\u0432\u0435\u0434\u0443\u0442\u0441\u044f \u0440\u0443\u043a\u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c rubert-tiny, \u0442\u043e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c! <br \/>\u041c\u043d\u0435 \u0438 \u0441\u0430\u043c\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/562064\/\"> https:\/\/habr.com\/ru\/post\/562064\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p><a href=\"https:\/\/arxiv.org\/abs\/1810.04805\" rel=\"noopener noreferrer nofollow\">BERT <\/a>\u2013 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430\u044f \u0432\u0435\u0441\u044c\u043c\u0430 \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u043e\u044f\u0432\u0438\u0432\u0438\u0448\u0438\u0441\u044c \u0432 2018 \u0433\u043e\u0434\u0443, \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u043e\u0442 \u0432 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0439 \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u043a\u0435. \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u043b\u0433\u043e <em>\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f,<\/em> \u0447\u0438\u0442\u0430\u044f \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043e\u0441\u0432\u0430\u0438\u0432\u0430\u044f \u044f\u0437\u044b\u043a, \u0430 \u043f\u043e\u0442\u043e\u043c \u0435\u0451 \u043c\u043e\u0436\u043d\u043e <em>\u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c<\/em> \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u0438\u043b\u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0438\u043c\u0451\u043d, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0438 \u0430\u0434\u0440\u0435\u0441\u043e\u0432. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f BERT \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f: \u0432\u0435\u0441\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 600 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442, \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u043a\u043e\u043b\u043e 120 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 (\u043d\u0430 CPU). \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\/tree\/main\" rel=\"noopener noreferrer nofollow\">\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e BERT \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430<\/a> \u2013 45 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442, 6 \u043c\u0441 \u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u0423\u0436\u0435 \u0435\u0441\u0442\u044c <a href=\"https:\/\/huggingface.co\/huawei-noah\/TinyBERT_General_4L_312D\" rel=\"noopener noreferrer nofollow\">tinybert \u0434\u043b\u044f \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043e\u0442 \u0425\u0443\u0430\u0432\u0435\u044f<\/a>, \u0435\u0441\u0442\u044c <a href=\"https:\/\/habr.com\/ru\/post\/489474\/\" rel=\"noopener noreferrer nofollow\">\u043c\u043e\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u043a\u0430 FastText&#8217;\u0430<\/a>, \u0430 \u0432\u043e\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 (\u0430\u043d\u0433\u043b\u043e-)\u0440\u0443\u0441\u0441\u043a\u0438\u0439 BERT, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0432\u043f\u0435\u0440\u0432\u044b\u0435. \u041d\u043e \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u0445\u043e\u0440\u043e\u0448?<\/p>\n<h2>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u2013 \u043f\u0443\u0442\u044c \u043a \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0441\u0442\u0438<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 BERT, \u044f \u0440\u0435\u0448\u0438\u043b \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0432\u043e\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u0439. \u0421\u0435\u0439\u0447\u0430\u0441 \u043e\u0431\u044a\u044f\u0441\u043d\u044e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0442\u043e BERT \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b (\u043a\u0443\u0441\u043e\u0447\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0431\u0443\u043a\u0432\u044b \u0434\u043e \u0446\u0435\u043b\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430), \u043e\u0442 \u043d\u0438\u0445 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0438 \u044d\u0442\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c self-attention \u0434\u043b\u044f \u0443\u0447\u0451\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432). \u041f\u0440\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 BERT \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0434\u0432\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0431\u044b\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d <code>[MASK]<\/code>, \u0438 \u0448\u043b\u0438 \u043b\u0438 \u0434\u0432\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u043e\u043c \u0434\u0440\u0443\u0433 \u0437\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435. \u041a\u0430\u043a <a href=\"https:\/\/arxiv.org\/abs\/1907.11692\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438<\/a>, \u0432\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0443\u0436\u043d\u0430. \u041d\u043e \u0442\u043e\u043a\u0435\u043d <code>[CLS]<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u0432\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u0443\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0442, \u0438 \u044f \u0442\u043e\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043b \u043d\u0430 \u043d\u0435\u0433\u043e \u0441\u0442\u0430\u0432\u043a\u0443.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1503.02531\" rel=\"noopener noreferrer nofollow\">\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f <\/a>\u2013 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0435\u0440\u0435\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u043d\u0438\u0439 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e. \u042d\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 <code>[CLS] \u0415\u0445\u0430\u043b \u0413\u0440\u0435\u043a\u0430 [MASK] \u0440\u0435\u043a\u0443<\/code> &#171;\u0432\u0435\u0440\u043d\u043e\u0435&#187; \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u2013 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u0435\u0441\u0442\u043e \u043c\u0430\u0441\u043a\u0438 \u0442\u043e\u043a\u0435\u043d <code>\u0447\u0435\u0440\u0435\u0437<\/code>, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u043e\u043a\u0435\u043d\u044b <code>\u043d\u0430<\/code>, <code>\u0432<\/code>, <code>\u0437\u0430<\/code> \u0432 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0442\u043e\u0436\u0435 \u0443\u043c\u0435\u0441\u0442\u043d\u044b, \u0438 \u044d\u0442\u043e \u0437\u043d\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c, \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 <code>\u0447\u0435\u0440\u0435\u0437<\/code>, \u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u0441\u0451 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435. <\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0441\u043d\u043e\u0432\u044b \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u044f \u0432\u0437\u044f\u043b \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 bert-multilingual (<a href=\"https:\/\/huggingface.co\/bert-base-multilingual-cased\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430<\/a>), \u0438\u0431\u043e \u0445\u043e\u0447\u0443, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043b\u0430 \u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0438 \u0435\u0433\u043e \u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u043d\u0430 \u0440\u0430\u043d\u043d\u0438\u0445 \u0441\u0442\u0430\u0434\u0438\u044f\u0445 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u043a\u0430\u043a \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u043b\u043e\u0432\u0430\u0440\u044c \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 120\u041a \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u043e \u044f \u043e\u0442\u043e\u0431\u0440\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 30\u041a. \u0420\u0430\u0437\u043c\u0435\u0440 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 \u044f \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b \u0441 768 \u0434\u043e 312, \u0447\u0438\u0441\u043b\u043e \u0441\u043b\u043e\u0451\u0432 \u2013 \u0441 12 \u0434\u043e 3. \u042d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0438\u0437 bert-multilingual, \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u2013 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 BERT \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u043c\u043d\u0435 \u043d\u0430\u0434\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043c\u043e\u0433 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441 \u044d\u0442\u0438\u043c \u0437\u0434\u043e\u0440\u043e\u0432\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f: RuBERT (<a href=\"https:\/\/arxiv.org\/abs\/1905.07213\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/huggingface.co\/DeepPavlov\/rubert-base-cased-sentence\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430<\/a>), LaBSE (<a href=\"https:\/\/arxiv.org\/abs\/2007.01852\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/huggingface.co\/sentence-transformers\/LaBSE\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0441\u0430<\/a>), Laser (<a href=\"https:\/\/arxiv.org\/abs\/1812.10464\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/pypi.org\/project\/laserembeddings\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0430\u043a\u0435\u0442<\/a>) \u0438 USE (<a href=\"https:\/\/arxiv.org\/abs\/1803.11175\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f<\/a>, <a href=\"https:\/\/tfhub.dev\/google\/universal-sentence-encoder-multilingual-large\/3\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u0434<\/a>). \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u044f \u0442\u0440\u0435\u0431\u0443\u044e, \u0447\u0442\u043e\u0431\u044b <code>[CLS]<\/code> \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043c\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0442\u0440\u0451\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044f \u043e\u0431\u0443\u0447\u0430\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 translation ranking (\u043a\u0430\u043a LaBSE). \u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u044f \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0443\u043c\u0435\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0437\u0430\u0434 \u0438\u0437 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432, \u043f\u0440\u0438\u0447\u0451\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u2013 \u043a\u0430\u043a \u0432 Laser. \u0414\u043b\u044f \u044d\u0442\u0438\u0445 \u0446\u0435\u043b\u0435\u0439 \u044f \u043f\u0440\u0438\u043c\u043e\u0442\u0430\u043b <a href=\"https:\/\/t.me\/izolenta_mebiusa\" rel=\"noopener noreferrer nofollow\">\u0438\u0437\u043e\u043b\u0435\u043d\u0442\u043e\u0439 <\/a>\u043a \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043e\u0442 <a href=\"https:\/\/cointegrated.medium.com\/how-to-adapt-a-multilingual-t5-model-for-a-single-language-b9f94f3d9c90\" rel=\"noopener noreferrer nofollow\">\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e T5<\/a>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043c\u043d\u043e\u0433\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c <abbr title=\"\u043a\u0430\u043a &quot;\u0447\u0443\u0434\u0438\u0449\u0435 \u043e \u0432\u043e\u0441\u044c\u043c\u0438 \u0433\u043e\u043b\u043e\u0432\u0430\u0445&quot;\"> \u0433\u043e\u043b\u043e\u0432\u0430\u0445&quot;&#187;>\u043e \u0432\u043e\u0441\u044c\u043c\u0438 \u043b\u043e\u0441\u0441\u0430\u0445<\/abbr>:<\/p>\n<ul>\n<li>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0437\u0430\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e full word masks).<\/p>\n<\/li>\n<li>\n<p>Translation ranking \u043f\u043e \u0440\u0435\u0446\u0435\u043f\u0442\u0443 LaBSE: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0444\u0440\u0430\u0437\u044b \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 \u0435\u0451 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0447\u0435\u043c \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0443 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u0431\u0430\u0442\u0447\u0435. \u041f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u0430\u0438\u0432\u043d\u044b\u0435 hard negatives, \u043d\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u043f\u043e\u043b\u044c\u0437\u044b \u043e\u043d\u0438 \u043d\u0435 \u0434\u0430\u043b\u0438. <\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0437 bert-base-multilingual-cased (\u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043f\u043e\u0445 \u044f \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b \u0435\u0451, \u0442.\u043a. \u043e\u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u0435\u0448\u0430\u0442\u044c). <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c DeepPavlov\/rubert-base-cased-sentence (\u0443\u0441\u0440\u0435\u0434\u043d\u0451\u043d\u043d\u044b\u043c \u043f\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u043c). <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u0434\u0440\u0443\u0433\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c LaBSE.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c LASER. <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u043f\u043e\u0441\u043b\u0435 \u0435\u0449\u0451 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c USE.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u0430 \u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u043c \u043e\u0442 T5 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f (\u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c) \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430. <\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0438\u0437 \u044d\u0442\u0438\u0445 \u043b\u043e\u0441\u0441\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u0435\u0437\u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u043e \u0432\u044b\u043a\u0438\u043d\u0443\u0442\u044c, \u043d\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043d\u0430 ablation study \u044f \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0448\u0451\u043b. \u041e\u0431\u0443\u0447\u0430\u043b \u044f \u044d\u0442\u043e \u0432\u0441\u0451 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u043d\u0435\u0439 \u043d\u0430 Colab, \u043f\u043e \u043f\u0443\u0442\u0438 \u043d\u0430\u0449\u0443\u043f\u044b\u0432\u0430\u044f learning rate \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u0412 \u043e\u0431\u0449\u0435\u043c, \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u0443\u0447\u043d\u043e, \u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043e \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0438\u0432\u043d\u043e. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u044f \u0432\u0437\u044f\u043b \u0442\u0440\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0430\u043d\u0433\u043b\u043e-\u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439: <a href=\"https:\/\/translate.yandex.ru\/corpus\" rel=\"noopener noreferrer nofollow\">\u043e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441.\u041f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a\u0430<\/a>, <a href=\"https:\/\/huggingface.co\/datasets\/opus100\" rel=\"noopener noreferrer nofollow\">OPUS-100<\/a> \u0438 <a href=\"https:\/\/huggingface.co\/datasets\/tatoeba\" rel=\"noopener noreferrer nofollow\">Tatoeba<\/a>, \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e 2.5 \u043c\u043b\u043d \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0412\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, <a href=\"https:\/\/gist.github.com\/avidale\/7bc6350f26196918bf339c01261f5c60\" rel=\"noopener noreferrer nofollow\">\u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435<\/a>. \u0421\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0430\u0437\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u043d\u043e\u044e rubert-tiny (\u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e <em>\u042d\u043d\u043a\u043e\u0434\u0435\u0447\u043a\u0430<\/em>), <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">\u0432\u044b\u043b\u043e\u0436\u0435\u043d\u0430 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 Huggingface<\/a>.<\/p>\n<h2>\u0418 \u043a\u0430\u043a \u044d\u0442\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f?<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c Python \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b \u043f\u0430\u043a\u0435\u0442 transformers \u0438 sentencepiece, \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043e\u0442 \u0442\u0430\u043a \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c 312-\u043c\u0435\u0440\u043d\u044b\u0439 CLS-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f. <\/p>\n<pre><code class=\"python\"># pip install transformers sentencepiece import torch from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(\"cointegrated\/rubert-tiny\") model = AutoModel.from_pretrained(\"cointegrated\/rubert-tiny\") # model.cuda()  # uncomment it if you have a GPU  def embed_bert_cls(text, model, tokenizer):     t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')     with torch.no_grad():         model_output = model(**{k: v.to(model.device) for k, v in t.items()})     embeddings = model_output.last_hidden_state[:, 0, :]     embeddings = torch.nn.functional.normalize(embeddings)     return embeddings[0].cpu().numpy()  print(embed_bert_cls('\u043f\u0440\u0438\u0432\u0435\u0442 \u043c\u0438\u0440', model, tokenizer).shape) # (312,)<\/code><\/pre>\n<p>\u042d\u0442\u043e\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041a\u0430\u043a (\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u0439) \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u041f\u0440\u043e \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0441\u0442, \u0430 \u043f\u043e\u043a\u0430 \u043e\u0442\u0441\u044b\u043b\u0430\u044e \u0432\u0430\u0441 \u043a \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u043c \u043e\u0442 Huggingface (<a href=\"https:\/\/huggingface.co\/transformers\/training.html\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0437<\/a>, <a href=\"https:\/\/huggingface.co\/transformers\/notebooks.html\" rel=\"noopener noreferrer nofollow\">\u0434\u0432\u0430<\/a>). <\/p>\n<p>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u044b\u0441\u0442\u0440 \u0438 \u043c\u0430\u043b \u043c\u043e\u0439 \u042d\u043d\u043a\u043e\u0434\u0435\u0447\u043a\u0430? \u042f \u0441\u0440\u0430\u0432\u0438\u043b \u0435\u0433\u043e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 BERT&#8217;\u0430\u043c\u0438, \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u043c\u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u0432 \u0440\u0430\u0441\u0447\u0451\u0442\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 <a href=\"https:\/\/wortschatz.uni-leipzig.de\/en\/download\/Russian\" rel=\"noopener noreferrer nofollow\">\u041b\u0435\u0439\u043f\u0446\u0438\u0433\u0441\u043a\u043e\u0433\u043e \u0432\u0435\u0431-\u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430<\/a>. <\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c (CPU)<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c (GPU)<\/p>\n<\/td>\n<td>\n<p>\u0412\u0435\u0441 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">cointegrated\/rubert-tiny<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>6 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>3 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>45 \u043c\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/bert-base-multilingual-cased\" rel=\"noopener noreferrer nofollow\">bert-base-multilingual-cased<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>125 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>8 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>680 \u043c\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/DeepPavlov\/rubert-base-cased-sentence\" rel=\"noopener noreferrer nofollow\">DeepPavlov\/rubert-base-cased-sentence<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>110 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>8 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>680 \u043c\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"https:\/\/huggingface.co\/sentence-transformers\/LaBSE\" rel=\"noopener noreferrer nofollow\">sentence-transformers\/LaBSE<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>120 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>8 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>1.8 \u0433\u0431<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"311\" width=\"311\">\n<p><a href=\"http:\/\/sberbank-ai\/sbert_large_nlu_ru\" rel=\"noopener noreferrer nofollow\">sberbank-ai\/sbert_large_nlu_ru<\/a><\/p>\n<\/td>\n<td data-colwidth=\"132\" width=\"132\">\n<p>420 \u043c\u0441<\/p>\n<\/td>\n<td data-colwidth=\"131\" width=\"131\">\n<p>16 \u043c\u0441<\/p>\n<\/td>\n<td>\n<p>1.6 \u0433\u0431<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u0441\u0435 \u0440\u0430\u0441\u0447\u0451\u0442\u044b \u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b \u043d\u0430 Colab (Intel(R) Xeon(R) CPU @ 2.00GHz \u0438 Tesla P100-PCIE) c \u0431\u0430\u0442\u0447\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 1. \u0415\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0431\u0430\u0442\u0447\u0438, \u0442\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 GPU \u0435\u0449\u0451 \u0437\u0430\u043c\u0435\u0442\u043d\u0435\u0435, \u0442.\u043a. \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0431\u0430\u0442\u0447 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, <a href=\"https:\/\/huggingface.co\/cointegrated\/rubert-tiny\" rel=\"noopener noreferrer nofollow\">rubert-tiny<\/a> \u043d\u0430 CPU \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u0430\u0437 \u0432 20 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0432\u043e\u0438\u0445 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439, \u0438 \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u0435\u0442 \u0443\u043c\u0435\u0441\u0442\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u043d\u044b\u0435 \u0445\u043e\u0441\u0442\u0438\u043d\u0433\u0438 \u0442\u0438\u043f\u0430 Heroku (\u0438 \u0434\u0430\u0436\u0435, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043d\u0430 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430). \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0432 \u0446\u0435\u043b\u043e\u043c \u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u041d\u043e \u043d\u0430\u0434\u043e \u0435\u0449\u0451 \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0442\u044c \u0447\u0435\u043c\u0443-\u0442\u043e \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c.<\/p>\n<h2>\u041e\u0446\u0435\u043d\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432<\/h2>\n<p>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0440\u0435\u0446\u0435\u043f\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f BERT \u2013 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443. \u041d\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u2013 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0435\u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u043d\u0430\u0443\u043a\u043e\u0451\u043c\u043a\u0438\u0439, \u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043e\u0431 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u043e\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043f\u043e\u043f\u0440\u043e\u0449\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0438\u0445 \u043a\u0430\u043a \u0433\u043e\u0442\u043e\u0432\u044b\u0435 feature extractors, \u0438 \u043e\u0431\u0443\u0447\u0430\u044e \u043f\u043e\u0432\u0435\u0440\u0445 \u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u2013 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0438 KNN. <\/p>\n<p>\u0414\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a <a href=\"https:\/\/russiansuperglue.com\" rel=\"noopener noreferrer nofollow\">RussianSuperGLUE<\/a>, \u043d\u043e \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043c \u0441\u043b\u043e\u0436\u043d\u044b\u0435, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0430\u043a \u0447\u0442\u043e \u043a \u043d\u0435\u043c\u0443 \u044f \u0442\u043e\u0436\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0443 \u043f\u043e\u0437\u0436\u0435. \u0415\u0449\u0451 \u0435\u0441\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a <a href=\"https:\/\/github.com\/RussianNLP\/rusenteval\" rel=\"noopener noreferrer nofollow\">RuSentEval<\/a>, \u0442\u0430\u043c \u0437\u0430\u0434\u0430\u0447\u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0435, \u043d\u043e \u043e\u043d\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0435, \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430 \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u0430 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043d\u0430\u0447\u0430\u0442\u044c \u0441 \u0447\u0435\u0433\u043e-\u0442\u043e \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0433\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u043e\u0431\u0440\u0430\u043b \u0441\u0432\u043e\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u043e\u043d \u0442\u043e\u0436\u0435 \u0436\u0438\u0432\u0451\u0442 \u0432 \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435, \u043d\u043e \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u043f\u0438\u043b\u0438\u0442\u044c \u0435\u0433\u043e \u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u043e\u043c \u0432\u0438\u0434\u0435. \u0418 \u0432\u043e\u0442 \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0443\u0434\u0430 \u0432\u043e\u0448\u043b\u0438:<\/p>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/stsb_multi_mt\" rel=\"noopener noreferrer nofollow\">STS<\/a>: \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 (\u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0439 \u0441 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0440\u0430\u0437\u044b &#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u044b\u043d\u0435&#187; \u0438 &#171;\u0427\u0435\u0440\u043d\u043e-\u0431\u0435\u043b\u044b\u0439 \u043a\u043e\u0442 \u0441\u043f\u0438\u0442 \u043d\u0430 \u0444\u0438\u043e\u043b\u0435\u0442\u043e\u0432\u043e\u043c \u043e\u0434\u0435\u044f\u043b\u0435&#187; \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043e\u0446\u0435\u043d\u0435\u043d\u044b \u043d\u0430 4 \u0438\u0437 5 \u0431\u0430\u043b\u043b\u043e\u0432 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043d\u0451\u043c \u044f \u043c\u0435\u0440\u044f\u043b \u0440\u0430\u043d\u0433\u043e\u0432\u043e\u0439 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0439 \u044d\u0442\u0438\u0445 \u0431\u0430\u043b\u043b\u043e\u0432 \u0441 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c\u044e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, LaBSE, \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c 77%, \u0434\u043b\u044f \u043c\u043e\u0435\u0439 \u2013 65%, \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043e\u0442 \u0421\u0431\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 40 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0435\u0439. <\/p>\n<p><a href=\"http:\/\/paraphraser.ru\/download\/\" rel=\"noopener noreferrer nofollow\">Paraphraser<\/a>: \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438, \u043d\u043e \u0441 \u0447\u0438\u0441\u0442\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u043c\u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u043c\u0438 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c\u0438 \u0438 \u0442\u0440\u0451\u0445\u0431\u0430\u043b\u043b\u044c\u043d\u043e\u0439 \u0448\u043a\u0430\u043b\u043e\u0439. \u042d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u0442\u0430\u043a: \u043e\u0431\u0443\u0447\u0438\u043b \u043f\u043e\u0432\u0435\u0440\u0445 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u0445 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0435\u0439 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0438 \u0435\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b, \u043a \u043a\u0430\u043a\u043e\u043c\u0443 \u0438\u0437 \u0442\u0440\u0451\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043f\u0430\u0440\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u0432 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f. \u041d\u0430 \u044d\u0442\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u043c\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u043b\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c 43% \u0438 \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 (\u0432\u043f\u0440\u043e\u0447\u0435\u043c, \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u0442\u0440\u044b\u0432\u043e\u043c).<\/p>\n<p><a href=\"https:\/\/github.com\/facebookresearch\/XNLI\" rel=\"noopener noreferrer nofollow\">XNLI<\/a>: \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043b\u0438 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 \u0434\u0440\u0443\u0433\u043e\u0433\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437 &#171;\u044d\u0442\u043e \u0441\u0442\u0440\u0435\u043b\u044f\u044e\u0449\u0435\u0435 \u043f\u043b\u0430\u0441\u0442\u0438\u043a\u043e\u0432\u043e\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0440\u0443\u0436\u0438\u0435&#187;  \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 &#171;\u044d\u0442\u043e \u0431\u043e\u043b\u0435\u0435 \u043d\u0430\u0434\u0435\u0436\u043d\u043e, \u0447\u0435\u043c \u043c\u0435\u0442\u0430\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0440\u0443\u0436\u0438\u0435&#187;, \u043d\u043e \u0438 \u043d\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442. \u041e\u0446\u0435\u043d\u0438\u0432\u0430\u043b \u0435\u0451 \u044f \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0443\u044e \u2013 \u043b\u043e\u0433\u0440\u0435\u0433\u043e\u043c \u043f\u043e\u0432\u0435\u0440\u0445 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u044b\u0445 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0435\u0439. \u0422\u0443\u0442 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442 DeepPavlov (\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0440\u043e\u0432\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435), \u0430 \u043c\u043e\u044f \u0437\u0430\u043d\u044f\u043b\u0430 \u0432\u0442\u043e\u0440\u043e\u0435.<\/p>\n<p><a href=\"http:\/\/www.dialog-21.ru\/evaluation\/2016\/sentiment\/\" rel=\"noopener noreferrer nofollow\">SentiRuEval2016<\/a>: \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0442\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0432\u0438\u0442\u043e\u0432 \u043d\u0430 \u0442\u0440\u0438 \u043a\u043b\u0430\u0441\u0441\u0430. \u0422\u0443\u0442 \u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u043e\u0432\u0435\u0440\u0445<\/p>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-324673","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/324673","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=324673"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/324673\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=324673"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=324673"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=324673"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}