{"id":320338,"date":"2021-03-26T15:01:29","date_gmt":"2021-03-26T15:01:29","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=320338"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=320338","title":{"rendered":"LIT \u2013 \u0418\u043d\u0441\u043f\u0435\u043a\u0442\u043e\u0440 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e NLP. \u041e\u0431\u0437\u043e\u0440, \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430, \u0442\u0435\u0441\u0442"},"content":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u0418\u043d\u0441\u043f\u0435\u043a\u0442\u043e\u0440 \u0438 \u0434\u0430\u0436\u0435 \u0433\u0434\u0435-\u0442\u043e &#171;\u0442\u043e\u043b\u043a\u043e\u0432\u0430\u0442\u0435\u043b\u044c&#187;, LIT \u0438\u043b\u0438 <a href=\"https:\/\/pair-code.github.io\/lit\/\" rel=\"noopener noreferrer nofollow\"><strong>Language Interpretability Tool<\/strong><\/a>  \u2014 \u043c\u043e\u0449\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 NLP-\u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0430 <a href=\"https:\/\/2020.emnlp.org\/\" rel=\"noopener noreferrer nofollow\">EMNLP 2020<\/a> \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c\u0438 Google Research \u0432 \u043d\u043e\u044f\u0431\u0440\u0435 2020 \u0433\u043e\u0434\u0430. LIT \u0435\u0449\u0435 \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u044e\u0442, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0440\u0430\u0431\u043e\u0442\u0443 \u043d\u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 windows. \u041d\u043e \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0434\u0435\u043b\u044e\u0441\u044c \u043e\u043f\u044b\u0442\u043e\u043c.<\/p>\n<p>LIT \u2013 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439, \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u044b\u0439, \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 NLP-\u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0447\u0435\u0433\u043e \u0445\u043e\u0442\u044f\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u043a\u0435\u0439\u0441\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0432, \u043a\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0438 \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u043e\u0442 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0442\u043e\u043a\u0435\u043d, \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0442\u0435\u043a\u0441\u0442 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. LIT \u043e\u0442\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430. \u041c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0439 \u0440\u0430\u0441\u0447\u0435\u0442  \u043c\u0435\u0442\u0440\u0438\u043a, \u043d\u043e\u0432\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438. \u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b\u0430 \u00ab\u0432\u044b\u0442\u0430\u0449\u0438\u0442\u044c\u00bb \u043d\u0443\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u0438\u0434\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u043c\u0438, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 TensorFlow 1.x, TensorFlow 2.x, PyTorch. LIT \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u043c \u043a\u043e\u0434\u043e\u043c \u043d\u0430 Python \u043f\u043e\u0432\u0435\u0440\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0438 \u0434\u0430\u0436\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 <abbr title=\"Remote Procedure Calls\">RPC<\/abbr>.<\/p>\n<p>\u0414\u0432\u0430 \u0441\u043b\u043e\u0432\u0430 \u043f\u0440\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443. \u0424\u0440\u043e\u043d\u0442\u0435\u043d\u0434 \u2013 \u043d\u0430 \u0431\u0430\u0437\u0435 TypeScript. \u042d\u0442\u043e \u043e\u0434\u043d\u043e\u0441\u0442\u0440\u0430\u043d\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0438\u0437 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0432\u0435\u0431-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. \u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u0431\u044d\u043a\u0435\u043d\u0434\u0430 <abbr title=\"Web Server Gateway Interface\">WSGI <\/abbr>\u0441\u0435\u0440\u0432\u0435\u0440. \u0411\u044d\u043a\u0435\u043d\u0434 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u044d\u0448\u0435\u043c, \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0449\u0438\u043c \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0438 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 <a href=\"https:\/\/github.com\/PAIR-code\/lit\/blob\/main\/documentation\/development.md\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>. <\/p>\n<p>\u00ab\u0418\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb LIT \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e, \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 seq2seq, \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u043a\u043e\u0439, <abbr title=\"Named Entity Recognition\">NER<\/abbr>-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043c\u043d\u043e\u0433\u043e\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p><strong>\u0412\u0438\u0434\u0436\u0435\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>\u041a\u0440\u0430\u0442\u043a\u043e\u0435<\/strong> <strong>\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Attention<\/p>\n<\/td>\n<td>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c (attention layers) \u0438 \u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c (attention heads) \u0432 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Confusion Matrix<\/p>\n<\/td>\n<td>\n<p>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0440\u0435\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u044b\u0434\u0435\u043b\u0438\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u044f\u0447\u0435\u0439\u043a\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0438 \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Counterfactual Generator<\/p>\n<\/td>\n<td>\n<p>\u041a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u043a\u0435\u0439\u0441\u043e\u0432.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Data Table<\/p>\n<\/td>\n<td>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0441\u0435\u043b\u0435\u043a\u0446\u0438\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430. \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u2014 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 10k \u043a\u0435\u0439\u0441\u043e\u0432.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Datapoint Editor<\/p>\n<\/td>\n<td>\n<p>\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u043a\u0435\u0439\u0441\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043b\u043e\u0432\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0438 \u0441\u0440\u0430\u0437\u0443 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Embeddings<\/p>\n<\/td>\n<td>\n<p>\u0414\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 3D \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430: <abbr title=\"Uniform Approximation and Projection\">UMAP <\/abbr>\u0438 <abbr title=\"Principal Component Analysis\">PCA<\/abbr>. \u041f\u0440\u0438 \u043d\u0430\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u043d\u0430 \u0442\u043e\u0447\u043a\u0443 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f. \u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043a\u0435\u0439\u0441\u0430 \u0432 Data Table \u0432\u044b\u0441\u0432\u0435\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f \u0442\u043e\u0447\u043a\u0430. \u041c\u043e\u0436\u043d\u043e \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u043e\u0447\u043a\u0438, \u043d\u0430\u0445\u043e\u0434\u044f\u0449\u0438\u0435\u0441\u044f \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0438 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0438 \u0442\u0430\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Metrics Table<\/p>\n<\/td>\n<td>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 \u043e\u0442 Accuracy \u0438\u043b\u0438 Recall \u0434\u043e <abbr title=\"Bilingual Evaluation Understudy\">BLEU <\/abbr>\u0438 <abbr title=\"Recall-Oriented Understudy for Gisting Evaluation\">ROUGE<\/abbr>. \u0420\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u0441\u0440\u0435\u0437\u043e\u0432.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Predictions<\/p>\n<\/td>\n<td>\n<p>\u041f\u0440\u043e\u0433\u043d\u043e\u0437 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430. \u041f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Salience Maps<\/p>\n<\/td>\n<td>\n<p>\u0422\u0435\u043f\u043b\u043e\u0432\u044b\u0435 \u043a\u0430\u0440\u0442\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0414\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u043a\u0430\u043a\u043e\u0439 \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430 \u0432\u043d\u043e\u0441\u0438\u0442 \u0432 \u043f\u0440\u043e\u0433\u043d\u043e\u0437. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u2014 local gradients, LIME.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Scalar Plot<\/p>\n<\/td>\n<td>\n<p>2D \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u043e\u0447\u0435\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Slice Editor<\/p>\n<\/td>\n<td>\n<p>\u041a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440 \u0441\u0440\u0435\u0437\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/h2>\n<p>\u0415\u0441\u0442\u044c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u2014 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 pip install \u0438\u043b\u0438 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f. <br \/>\u0412\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 pip \u0434\u043b\u044f Windows 10 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 GPU:<\/p>\n<pre><code class=\"bash\"># \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0438 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435: conda create -n nlp python==3.7 conda activate nlp # \u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c tensorflow-gpu \u0438 pytorch: conda install -c anaconda tensorflow-gpu conda install -c pytorch pytorch # \u041f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 pip \u0441\u0442\u0430\u0432\u0438\u043c tensorflow datasets, transformers \u0438 LIT: pip install transformers=2.11.0 pip install tfds-nightly pip install lit-nlp<\/code><\/pre>\n<p>\u041f\u043e\u043a\u0430 \u0432 \u0440\u0435\u043b\u0438\u0437\u0435 tensorflow datasets \u043d\u0435 \u043f\u043e\u0447\u0438\u043d\u0438\u043b\u0438 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 glue datasets, tfds \u043d\u0443\u0436\u0435\u043d \u043d\u0435\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439. PyTorch \u043b\u0443\u0447\u0448\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u0434\u043d\u044f \u043f\u043e \u041c\u043e\u0441\u043a\u0432\u0435, \u0432\u0435\u0447\u0435\u0440\u043e\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u043e\u0432. <\/p>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u043f\u043e\u0440\u0442. \u0412 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 <a href=\"https:\/\/pair-code.github.io\/lit\/setup\/\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a> \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0443\u043a\u0430\u0437\u0430\u043d 5432, \u043d\u043e \u0443 \u043c\u0435\u043d\u044f \u043d\u0430 \u043d\u0451\u043c PostgreSQL. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0437\u0430\u043d\u044f\u0442\u044b\u0435 \u043f\u043e\u0440\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 netstat -ao. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c:<\/p>\n<pre><code class=\"bash\">python -m lit_nlp.examples.quickstart_sst_demo \u2014port=5433. <\/code><\/pre>\n<p>\u0412 \u043f\u0430\u043f\u043a\u0435 &lt;\u0412\u0430\u0448 \u043f\u0443\u0442\u044c&gt;\\anaconda3\\envs\\nlp\\Lib\\site-packages\\lit_nlp\\examples \u0435\u0441\u0442\u044c <strong>\u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/strong>, \u043d\u043e quickstart_sst_demo \u0441\u0430\u043c\u044b\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u0439 \u0438 \u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434 windows. \u041d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0442, \u043f\u043e\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043d\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 5 \u043d\u0430 GPU \u0438 20 \u043d\u0430 CPU. \u0417\u0430\u0442\u0435\u043c \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f ASCII-\u0430\u0440\u0442 LIT \u0438 \u0430\u0434\u0440\u0435\u0441 \u0441 \u043d\u043e\u043c\u0435\u0440\u043e\u043c \u043f\u043e\u0440\u0442\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u043a\u0440\u0438\u043d\u0448\u043e\u0442<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/921\/b91\/50f\/921b9150f29d605d5c5e06b7615dc142.png\" width=\"1143\" height=\"718\"><figcaption><\/figcaption><\/figure>\n<\/div>\n<\/details>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0432\u043e\u0434\u0438\u043c \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 <a href=\"http:\/\/127.0.0.1:5433\/\" rel=\"noopener noreferrer nofollow\">http:\/\/127.0.0.1:5433\/<\/a> \u0438 \u0436\u0434\u0435\u043c \u0435\u0449\u0435 \u043c\u0438\u043d\u0443\u0442\u0443, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0448\u0430\u0433\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u044b <a href=\"https:\/\/pair-code.github.io\/lit\/setup\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/PAIR-code\/lit.git ~\/lit  # \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f cd ~\/lit conda env create -f environment.yml conda activate lit-nlp conda install cudnn cupti  # \u043d\u0435\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u0443\u0436\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 GPU conda install -c pytorch pytorch  # \u0421\u0431\u043e\u0440\u043a\u0430 \u0444\u0440\u043e\u043d\u0442\u0435\u043d\u0434\u0430 pushd lit_nlp; yarn &amp;&amp; yarn build; popd<\/code><\/pre>\n<p>\u042f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0431\u0440\u0430\u0437 <a href=\"https:\/\/hub.docker.com\/r\/continuumio\/anaconda3\" rel=\"noopener noreferrer nofollow\">continuumio\/anaconda3<\/a> \u0441 \u0434\u043e\u043a\u0435\u0440\u043e\u043c \u043f\u043e\u0434 <abbr title=\"Windows Subsystem for Linux\">WSL2<\/abbr>. \u0414\u0435\u043b\u043e \u044d\u0442\u043e \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0435 \u0438 \u0445\u043b\u043e\u043f\u043e\u0442\u043d\u043e\u0435. \u0412 environment.yml \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c tensorflow-datasets \u043d\u0430 tfds-nightly. \u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c gcc \u0438 g++. \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u0441\u0451 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e yarn. \u041d\u0438 \u0432 \u043a\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c yarn \u0447\u0435\u0440\u0435\u0437 apt-get, \u044d\u0442\u043e \u043d\u0435 \u0442\u043e\u0442 yarn! \u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014  \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434:<\/p>\n<pre><code class=\"bash\">curl https:\/\/deb.nodesource.com\/setup_12.x | bash curl https:\/\/dl.yarnpkg.com\/debian\/pubkey.gpg | apt-key add - echo \"deb https:\/\/dl.yarnpkg.com\/debian\/ stable main\" | tee \/etc\/apt\/sources.list.d\/yarn.list apt-get update &amp;&amp; apt-get install -y nodejs yarn postgresql-client yarn &amp;&amp; yarn build<\/code><\/pre>\n<\/div>\n<\/details>\n<h2>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430<\/h2>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u043c NLP \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043a\u0430\u043a \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0434\u0432\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b. \u041f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430 \u00ab\u043f\u0440\u0438\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u043d\u0438\u044f\u00bb \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 LIT \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u043e\u0434\u043d\u0438\u043c \u0430\u0431\u0437\u0430\u0446\u0435\u043c \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e \u0437\u0430\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438 \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u0441\u0430\u043c\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 <strong>quickstart_sst_demo<\/strong>, \u0440\u0435\u0448\u0438\u0432 \u043f\u0435\u0440\u0435\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0433\u043e \u0441 \u0441\u0435\u043d\u0442\u0438\u043c\u0435\u043d\u0442-\u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435:<br \/>\u0418\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 Lenta.Ru, \u043e\u043d \u0435\u0441\u0442\u044c \u043d\u0430 <a href=\"https:\/\/www.kaggle.com\/yutkin\/corpus-of-russian-news-articles-from-lenta\" rel=\"noopener noreferrer nofollow\">Kaggle<\/a>. \u0412\u044b\u0431\u0440\u0430\u043b \u0442\u0440\u0438 \u0442\u043e\u043f\u0438\u043a\u0430: \u042d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0430, \u041d\u0430\u0443\u043a\u0430 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0430, \u0438 \u041a\u0443\u043b\u044c\u0442\u0443\u0440\u0430. \u041e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043b \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0441\u043b\u043e\u0432 \u043e\u0442 70 \u0434\u043e 150. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 50k \u043a\u0435\u0439\u0441\u043e\u0432.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c:<br \/>\u041a\u0430\u043a \u0438 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b <abbr title=\"Bidirectional Encoder Representations from Transformers\">BERT<\/abbr>. \u0412\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e. <a href=\"http:\/\/docs.deeppavlov.ai\/en\/master\/features\/models\/bert.html\" rel=\"noopener noreferrer nofollow\">RuBert<\/a> \u043e\u0442 <a href=\"https:\/\/deeppavlov.ai\/\" rel=\"noopener noreferrer nofollow\">DeepPavlov<\/a> \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439, \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0438 <a href=\"https:\/\/huggingface.co\/DeepPavlov\/rubert-base-cased\" rel=\"noopener noreferrer nofollow\">huggingface.co<\/a>. \u0423 \u043d\u0435\u0451 180 \u043c\u043b\u043d. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u042f \u043f\u043e\u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u0441\u044f \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u043c\u043e\u0435\u0433\u043e 8\u0413\u0431 GPU. \u0422\u0430\u043a \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0438 \u0432\u044b\u0448\u043b\u043e, \u043d\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u043b\u0438\u044f\u0435\u0442 max_seq_length, 128 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0435 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f, \u0430 \u0432\u043e\u0442 64 \u0432\u043f\u043e\u043b\u043d\u0435.<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c LIT \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0442\u0440\u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u0430: <br \/>\u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043a\u0440\u0438\u043f\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430,  datasets\/lenta.py, models\/lenta_models.py \u0438 examples\/quickstart_lenta.py \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u2014  \u0444\u0430\u0439\u043b\u044b \u0438\u0437 quickstart_sst_demo. \u041e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0438 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0437 <a href=\"https:\/\/github.com\/khmelkoff\/LIT\" rel=\"noopener noreferrer nofollow\"><strong>\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f<\/strong><\/a>. \u0421\u0442\u0440\u043e\u043a\u0438 \u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u043a\u043e\u0434\u0435 \u044f \u043f\u043e\u043c\u0435\u0442\u0438\u043b \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u043c EDIT.<\/p>\n<details class=\"spoiler\">\n<summary>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u0434\u0435<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p>datasets\/lenta.py: \u041f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043b \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0438\u0441\u044c \u043d\u0435 \u0438\u0437 tfds, \u043a\u0430\u043a     \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u0430 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430 \u0441 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044f\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>models\/lenta_models.py: \u041f\u043e\u043c\u0435\u043d\u044f\u043b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u00abDeepPavlov\/rubert-base-cased\u00bb \u0438 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e: \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b max_seq_length \u0434\u043e 64 \u0442\u043e\u043a\u0435\u043d\u043e\u0432,  \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u2014  \u0441 32 \u0434\u043e 16.<\/p>\n<\/li>\n<li>\n<p>examples\/quickstart_lenta.py: \u041e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0438\u043c\u043f\u043e\u0440\u0442 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u043f\u043e\u043c\u0435\u043d\u044f\u043b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a:<\/p>\n<pre><code class=\"bash\">python -m lit_nlp.examples.quickstart_lenta \u2014port=5433<\/code><\/pre>\n<h2>\u0422\u0435\u0441\u0442<\/h2>\n<p>RuBert \u2013 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0427\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0443\u0436\u043d\u0430 \u0442\u043e\u043d\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0431\u044a\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0435  lenta_models \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c num_epochs (\u0444\u0443\u043d\u043a\u0446\u0438\u0438 train). \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u043b, \u0447\u0442\u043e \u043f\u0430\u0440\u044b \u044d\u043f\u043e\u0445 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u0414\u043b\u044f 50k \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u044d\u0442\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u043c \u0431\u043e\u043b\u0435\u0435 3000 \u0448\u0430\u0433\u043e\u0432. \u041d\u0430 RTX2070 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 25 \u043c\u0438\u043d\u0443\u0442.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b30\/670\/52b\/b3067052b45db3696ae538ab76f468bf.png\" alt=\"\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 LIT\" title=\"\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 LIT\" width=\"780\" height=\"387\"><figcaption>\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 LIT<\/figcaption><\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/webt\/uc\/tv\/qu\/uctvquzffhd2bbwm9r7jnp_idpg.png\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a> \u043a\u0440\u0443\u043f\u043d\u0435\u0435.<\/p>\n<p>\u0421\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u0412\u0441\u0451 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u043e, \u043d\u043e \u0432\u0441\u0451 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/421\/2e4\/ae6\/4212e4ae617be2fff61c228d23247dde.png\" width=\"780\" height=\"141\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u043e\u0448\u0438\u0431\u043e\u043a \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c 21 \u043a\u0435\u0439\u0441, \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u041a\u0443\u043b\u044c\u0442\u0443\u0440\u0435, \u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u0438\u0445 \u043a\u0430\u043a, \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0435\u0441\u044f \u043a \u041d\u0430\u0443\u043a\u0435 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0435.<\/p>\n<figure class=\"float full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/73a\/8df\/0c8\/73a8df0c8dcdf1b045ad07cb81b328ce.png\" width=\"780\" height=\"262\"><figcaption><\/figcaption><\/figure>\n<p><\/p>\n<p>\u0412\u044b\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438. \u0412 \u0432\u0438\u0434\u0436\u0435\u0442\u0435 Data Table \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0444\u043b\u0430\u0436\u043e\u043a \u00abOnly show selected\u00bb. \u041d\u0430\u0448\u0438 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043a\u0435\u0439\u0441\u044b \u0432\u044b\u0441\u0432\u0435\u0442\u0438\u043b\u0438\u0441\u044c \u043d\u0430 Embedding.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/188\/417\/483\/188417483b5a1fb381acf7c4addeb777.png\" width=\"780\" height=\"388\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 Data Table \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439-\u043d\u0438\u0431\u0443\u0434\u044c \u043a\u0435\u0439\u0441 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043d\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0443 Explanation. \u041c\u043d\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u043d\u043e\u0432\u043e\u0441\u0442\u044c \u043f\u0440\u043e \u041c\u0438\u0442\u044c\u043a\u043e\u0432 \u0438 \u043d\u0430\u043d\u043e\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 32% \u0443\u0432\u0435\u0440\u0435\u043d\u0430, \u0447\u0442\u043e \u044d\u0442\u043e \u041a\u0443\u043b\u044c\u0442\u0443\u0440\u0430 \u0438 \u043d\u0430 68, \u0447\u0442\u043e \u041d\u0430\u0443\u043a\u0430 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0430. \u0412 \u0432\u0438\u0434\u0436\u0435\u0442\u0435 Silence Maps \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c grad_dot_input. \u0422\u043e\u043a\u0435\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 &#171;\u0438\u0433\u0440\u0430\u044e\u0442 \u0432 \u043f\u043b\u044e\u0441&#187; \u043f\u0440\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438  \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0437\u0435\u043b\u0435\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c, \u0432 \u043c\u0438\u043d\u0443\u0441 \u2014 \u043a\u0440\u0430\u0441\u043d\u044b\u043c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1c\/78a\/560\/e1c78a56057afed528f8ac9ae284ebcc.png\" width=\"780\" height=\"387\"><figcaption><\/figcaption><\/figure>\n<p>\u043a\u0440\u0443\u043f\u043d\u0435\u0435 <a href=\"https:\/\/habrastorage.org\/webt\/20\/td\/z-\/20tdz-ipc-r9ow-bnulibpz-zlu.png\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<p>\u0412 Datapoint Editor \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u00ab\u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e-\u043d\u0430\u0443\u0447\u043d\u0430\u044f\u00bb \u043d\u0430 \u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f, \u043f\u0440\u043e\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0435\u043c \u0441\u043a\u0440\u043e\u043b\u043b\u0431\u0430\u0440 \u0438 \u043d\u0430\u0436\u0438\u043c\u0430\u0435\u043c \u00abAnalyze new datapoint\u00bb (\u043a\u043d\u043e\u043f\u043a\u0430 \u043f\u043e\u0434 \u0442\u0435\u043a\u0441\u0442\u043e\u043c).  <\/p>\n<p>\u0414\u043e \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b8\/ec3\/35c\/4b8ec335cc53e3c00a9731905381dbe9.png\" width=\"780\" height=\"97\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b8\/4cb\/224\/0b84cb2244720c99d70a0c652843aca8.png\" width=\"780\" height=\"94\"><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0430\u0433\u0430\u0434\u043e\u0447\u043d\u044b\u0439 \u0432\u0438\u0434\u0436\u0435\u0442 Scalar. \u0422\u0430\u043a \u0438 \u043d\u0435 \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u043f\u043e \u043e\u0441\u0438 Y. \u0412 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0442\u0438\u043f\u0430 ROUGE.  \u041e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb4\/2b0\/533\/eb42b0533d31616a35068b6e81d57b6f.png\" width=\"780\" height=\"636\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0431\u0449\u0438\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f:<br \/>\u0421 \u043c\u043e\u0434\u0435\u043b\u044c\u044e RuBert \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 LIT \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0442\u043e\u0440\u043c\u0430\u0436\u0438\u0432\u0430\u0435\u0442, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u0440\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0432\u0438\u0434\u0436\u0435\u0442\u043e\u0432. \u041f\u043e\u043b\u0430\u0433\u0430\u044e, \u0447\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0432 \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u043d\u044f\u0442\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u0415\u0449\u0435 \u0438\u0437 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u043f\u043e\u0436\u0430\u043b\u0443\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0443\u0434\u043d\u0430\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f. Slinece Maps \u0438 Embeddings \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043a\u0440\u0430\u0439\u043d\u0435 \u0443\u0434\u043e\u0431\u043d\u044b\u043c\u0438 \u0448\u0442\u0443\u043a\u0430\u043c\u0438, \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0437-\u0437\u0430 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 LIT, \u043d\u0435\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0433\u043e \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c. \u0415\u0441\u0442\u044c \u043e\u043d\u043b\u0430\u0439\u043d <a href=\"https:\/\/pair-code.github.io\/lit\/demos\/\" rel=\"noopener noreferrer nofollow\">\u0434\u0435\u043c\u043e<\/a>, \u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e. \u0422\u0430\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430:<\/p>\n<ul>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0413\u0435\u043d\u0434\u0435\u0440\u043d\u044b\u0439 \u0434\u0438\u0441\u0431\u0430\u043b\u0430\u043d\u0441 \u0432 \u043a\u043e\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c<\/p>\n<\/li>\n<li>\n<p>BERT \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0438 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435<\/p>\n<\/li>\n<li>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 T5<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0435\u0441\u044c\u043c\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0432\u0438\u0434\u0435\u0442\u044c \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0422\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u044f \u0435\u0449\u0435 \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b, \u043d\u043e \u043d\u0435 \u043c\u043e\u0433\u0443 \u043d\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u043a\u0440\u0438\u043d\u0448\u043e\u0442\u043e\u043c \u0438\u0437 \u0434\u0435\u043c\u043e:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/063\/d9a\/93b\/063d9a93b5acbf203081a85a47ecd369.png\" width=\"780\" height=\"414\"><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0441\u043a\u0440\u0435\u043d\u043d\u0435 \u0436\u0435\u043b\u0430\u044e \u0432\u0441\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 LIT \u0438 \u0434\u043e\u043b\u0438 \u0442\u0435\u0440\u043f\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435!<\/p>\n<h2>\u0421\u0441\u044b\u043b\u043a\u0438<\/h2>\n<p><a href=\"https:\/\/www.aclweb.org\/anthology\/2020.emnlp-demos.15.pdf\" rel=\"noopener noreferrer nofollow\"><strong>\u041f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f<\/strong><\/a> The Language Interpretability Tool: Extensible, Interactive Visualizations and Analysis for NLP Models \u0434\u043b\u044f  EMNLP 2020<\/p>\n<p><a href=\"https:\/\/github.com\/PAIR-code\/lit\/issues\" rel=\"noopener noreferrer nofollow\"><strong>\u0424\u043e\u0440\u0443\u043c<\/strong><\/a> \u043d\u0430 github \u0441 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0432 LIT<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/548954\/\"> https:\/\/habr.com\/ru\/post\/548954\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u0418\u043d\u0441\u043f\u0435\u043a\u0442\u043e\u0440 \u0438 \u0434\u0430\u0436\u0435 \u0433\u0434\u0435-\u0442\u043e &#171;\u0442\u043e\u043b\u043a\u043e\u0432\u0430\u0442\u0435\u043b\u044c&#187;, LIT \u0438\u043b\u0438 <a href=\"https:\/\/pair-code.github.io\/lit\/\" rel=\"noopener noreferrer nofollow\"><strong>Language Interpretability Tool<\/strong><\/a>  \u2014 \u043c\u043e\u0449\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 NLP-\u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0430 <a href=\"https:\/\/2020.emnlp.org\/\" rel=\"noopener noreferrer nofollow\">EMNLP 2020<\/a> \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c\u0438 Google Research \u0432 \u043d\u043e\u044f\u0431\u0440\u0435 2020 \u0433\u043e\u0434\u0430. LIT \u0435\u0449\u0435 \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u044e\u0442, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0440\u0430\u0431\u043e\u0442\u0443 \u043d\u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 windows. \u041d\u043e \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0434\u0435\u043b\u044e\u0441\u044c \u043e\u043f\u044b\u0442\u043e\u043c.<\/p>\n<p>LIT \u2013 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439, \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u044b\u0439, \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 NLP-\u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0447\u0435\u0433\u043e \u0445\u043e\u0442\u044f\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u043a\u0435\u0439\u0441\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0432, \u043a\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0438 \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u043e\u0442 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0442\u043e\u043a\u0435\u043d, \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0442\u0435\u043a\u0441\u0442 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. LIT \u043e\u0442\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430. \u041c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0439 \u0440\u0430\u0441\u0447\u0435\u0442  \u043c\u0435\u0442\u0440\u0438\u043a, \u043d\u043e\u0432\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438. \u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b\u0430 \u00ab\u0432\u044b\u0442\u0430\u0449\u0438\u0442\u044c\u00bb \u043d\u0443\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p>\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u0438\u0434\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u043c\u0438, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 TensorFlow 1.x, TensorFlow 2.x, PyTorch. LIT \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u043c \u043a\u043e\u0434\u043e\u043c \u043d\u0430 Python \u043f\u043e\u0432\u0435\u0440\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0438 \u0434\u0430\u0436\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 <abbr title=\"Remote Procedure Calls\">RPC<\/abbr>.<\/p>\n<p>\u0414\u0432\u0430 \u0441\u043b\u043e\u0432\u0430 \u043f\u0440\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443. \u0424\u0440\u043e\u043d\u0442\u0435\u043d\u0434 \u2013 \u043d\u0430 \u0431\u0430\u0437\u0435 TypeScript. \u042d\u0442\u043e \u043e\u0434\u043d\u043e\u0441\u0442\u0440\u0430\u043d\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0438\u0437 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0432\u0435\u0431-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. \u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u0431\u044d\u043a\u0435\u043d\u0434\u0430 <abbr title=\"Web Server Gateway Interface\">WSGI <\/abbr>\u0441\u0435\u0440\u0432\u0435\u0440. \u0411\u044d\u043a\u0435\u043d\u0434 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u044d\u0448\u0435\u043c, \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0449\u0438\u043c \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0438 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 <a href=\"https:\/\/github.com\/PAIR-code\/lit\/blob\/main\/documentation\/development.md\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>. <\/p>\n<p>\u00ab\u0418\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb LIT \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e, \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 seq2seq, \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u043a\u043e\u0439, <abbr title=\"Named Entity Recognition\">NER<\/abbr>-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043c\u043d\u043e\u0433\u043e\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p><strong>\u0412\u0438\u0434\u0436\u0435\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>\u041a\u0440\u0430\u0442\u043a\u043e\u0435<\/strong> <strong>\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Attention<\/p>\n<\/td>\n<td>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c (attention layers) \u0438 \u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c (attention heads) \u0432 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Confusion Matrix<\/p>\n<\/td>\n<td>\n<p>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0440\u0435\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u044b\u0434\u0435\u043b\u0438\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u044f\u0447\u0435\u0439\u043a\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0438 \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Counterfactual Generator<\/p>\n<\/td>\n<td>\n<p>\u041a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u043a\u0435\u0439\u0441\u043e\u0432.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Data Table<\/p>\n<\/td>\n<td>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0441\u0435\u043b\u0435\u043a\u0446\u0438\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430. \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u2014 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 10k \u043a\u0435\u0439\u0441\u043e\u0432.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Datapoint Editor<\/p>\n<\/td>\n<td>\n<p>\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u043a\u0435\u0439\u0441\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043b\u043e\u0432\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0438 \u0441\u0440\u0430\u0437\u0443 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Embeddings<\/p>\n<\/td>\n<td>\n<p>\u0414\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 3D \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430: <abbr title=\"Uniform Approximation and Projection\">UMAP <\/abbr>\u0438 <abbr title=\"Principal Component Analysis\">PCA<\/abbr>. \u041f\u0440\u0438 \u043d\u0430\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u043d\u0430 \u0442\u043e\u0447\u043a\u0443 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f. \u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043a\u0435\u0439\u0441\u0430 \u0432 Data Table \u0432\u044b\u0441\u0432\u0435\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f \u0442\u043e\u0447\u043a\u0430. \u041c\u043e\u0436\u043d\u043e \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u043e\u0447\u043a\u0438, \u043d\u0430\u0445\u043e\u0434\u044f\u0449\u0438\u0435\u0441\u044f \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0438 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0438 \u0442\u0430\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Metrics Table<\/p>\n<\/td>\n<td>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 \u043e\u0442 Accuracy \u0438\u043b\u0438 Recall \u0434\u043e <abbr title=\"Bilingual Evaluation Understudy\">BLEU <\/abbr>\u0438 <abbr title=\"Recall-Oriented Understudy for Gisting Evaluation\">ROUGE<\/abbr>. \u0420\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u0441\u0440\u0435\u0437\u043e\u0432.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Predictions<\/p>\n<\/td>\n<td>\n<p>\u041f\u0440\u043e\u0433\u043d\u043e\u0437 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430. \u041f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Salience Maps<\/p>\n<\/td>\n<td>\n<p>\u0422\u0435\u043f\u043b\u043e\u0432\u044b\u0435 \u043a\u0430\u0440\u0442\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0414\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u043a\u0430\u043a\u043e\u0439 \u0432\u043a\u043b\u0430\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0434\u043b\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430 \u0432\u043d\u043e\u0441\u0438\u0442 \u0432 \u043f\u0440\u043e\u0433\u043d\u043e\u0437. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u2014 local gradients, LIME.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Scalar Plot<\/p>\n<\/td>\n<td>\n<p>2D \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u043e\u0447\u0435\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"185\" width=\"185\">\n<p>Slice Editor<\/p>\n<\/td>\n<td>\n<p>\u041a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440 \u0441\u0440\u0435\u0437\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/h2>\n<p>\u0415\u0441\u0442\u044c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u2014 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 pip install \u0438\u043b\u0438 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f. <br \/>\u0412\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 pip \u0434\u043b\u044f Windows 10 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 GPU:<\/p>\n<pre><code class=\"bash\"># \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0438 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435: conda create -n nlp python==3.7 conda activate nlp # \u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c tensorflow-gpu \u0438 pytorch: conda install -c anaconda tensorflow-gpu conda install -c pytorch pytorch # \u041f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 pip \u0441\u0442\u0430\u0432\u0438\u043c tensorflow datasets, transformers \u0438 LIT: pip install transformers=2.11.0 pip install tfds-nightly pip install lit-nlp<\/code><\/pre>\n<p>\u041f\u043e\u043a\u0430 \u0432 \u0440\u0435\u043b\u0438\u0437\u0435 tensorflow datasets \u043d\u0435 \u043f\u043e\u0447\u0438\u043d\u0438\u043b\u0438 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 glue datasets, tfds \u043d\u0443\u0436\u0435\u043d \u043d\u0435\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439. PyTorch \u043b\u0443\u0447\u0448\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u0434\u043d\u044f \u043f\u043e \u041c\u043e\u0441\u043a\u0432\u0435, \u0432\u0435\u0447\u0435\u0440\u043e\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u043e\u0432. <\/p>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u043f\u043e\u0440\u0442. \u0412 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 <a href=\"https:\/\/pair-code.github.io\/lit\/setup\/\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a> \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0443\u043a\u0430\u0437\u0430\u043d 5432, \u043d\u043e \u0443 \u043c\u0435\u043d\u044f \u043d\u0430 \u043d\u0451\u043c PostgreSQL. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0437\u0430\u043d\u044f\u0442\u044b\u0435 \u043f\u043e\u0440\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 netstat -ao. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c:<\/p>\n<pre><code class=\"bash\">python -m lit_nlp.examples.quickstart_sst_demo \u2014port=5433. <\/code><\/pre>\n<p>\u0412 \u043f\u0430\u043f\u043a\u0435 &lt;\u0412\u0430\u0448 \u043f\u0443\u0442\u044c&gt;\\anaconda3\\envs\\nlp\\Lib\\site-packages\\lit_nlp\\examples \u0435\u0441\u0442\u044c <strong>\u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/strong>, \u043d\u043e quickstart_sst_demo \u0441\u0430\u043c\u044b\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u0439 \u0438 \u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434 windows. \u041d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0442, \u043f\u043e\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043d\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 5 \u043d\u0430 GPU \u0438 20 \u043d\u0430 CPU. \u0417\u0430\u0442\u0435\u043c \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f ASCII-\u0430\u0440\u0442 LIT \u0438 \u0430\u0434\u0440\u0435\u0441 \u0441 \u043d\u043e\u043c\u0435\u0440\u043e\u043c \u043f\u043e\u0440\u0442\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u043a\u0440\u0438\u043d\u0448\u043e\u0442<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<\/div>\n<\/details>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0432\u043e\u0434\u0438\u043c \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 <a href=\"http:\/\/127.0.0.1:5433\/\" rel=\"noopener noreferrer nofollow\">http:\/\/127.0.0.1:5433\/<\/a> \u0438 \u0436\u0434\u0435\u043c \u0435\u0449\u0435 \u043c\u0438\u043d\u0443\u0442\u0443, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0448\u0430\u0433\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u044b <a href=\"https:\/\/pair-code.github.io\/lit\/setup\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/PAIR-code\/lit.git ~\/lit  # \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f cd ~\/lit conda env create -f environment.yml conda activate lit-nlp conda install cudnn cupti  # \u043d\u0435\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u0443\u0436\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 GPU conda install -c pytorch pytorch  # \u0421\u0431\u043e\u0440\u043a\u0430 \u0444\u0440\u043e\u043d\u0442\u0435\u043d\u0434\u0430 pushd lit_nlp; yarn &amp;&amp; yarn build; popd<\/code><\/pre>\n<p>\u042f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0431\u0440\u0430\u0437 <a href=\"https:\/\/hub.docker.com\/r\/continuumio\/anaconda3\" rel=\"noopener noreferrer nofollow\">continuumio\/anaconda3<\/a> \u0441 \u0434\u043e\u043a\u0435\u0440\u043e\u043c \u043f\u043e\u0434 <abbr title=\"Windows Subsystem for Linux\">WSL2<\/abbr>. \u0414\u0435\u043b\u043e \u044d\u0442\u043e \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0435 \u0438 \u0445\u043b\u043e\u043f\u043e\u0442\u043d\u043e\u0435. \u0412 environment.yml \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c tensorflow-datasets \u043d\u0430 tfds-nightly. \u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c gcc \u0438 g++. \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u0441\u0451 \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e yarn. \u041d\u0438 \u0432 \u043a\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c yarn \u0447\u0435\u0440\u0435\u0437 apt-get, \u044d\u0442\u043e \u043d\u0435 \u0442\u043e\u0442 yarn! \u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014  \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434:<\/p>\n<pre><code class=\"bash\">curl https:\/\/deb.nodesource.com\/setup_12.x | bash curl https:\/\/dl.yarnpkg.com\/debian\/pubkey.gpg | apt-key add - echo \"deb https:\/\/dl.yarnpkg.com\/debian\/ stable main\" | tee \/etc\/apt\/sources.list.d\/yarn.list apt-get update &amp;&amp; apt-get install -y nodejs yarn postgresql-client yarn &amp;&amp; yarn build<\/code><\/pre>\n<\/div>\n<\/details>\n<h2>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430<\/h2>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u043c NLP \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043a\u0430\u043a \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0434\u0432\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b. \u041f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430 \u00ab\u043f\u0440\u0438\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u043d\u0438\u044f\u00bb \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 LIT \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u043e\u0434\u043d\u0438\u043c \u0430\u0431\u0437\u0430\u0446\u0435\u043c \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e \u0437\u0430\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438 \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u0441\u0430\u043c\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 <strong>quickstart_sst_demo<\/strong>, \u0440\u0435\u0448\u0438\u0432 \u043f\u0435\u0440\u0435\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0433\u043e \u0441 \u0441\u0435\u043d\u0442\u0438\u043c\u0435\u043d\u0442-\u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435:<br \/>\u0418\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 Lenta.Ru, \u043e\u043d \u0435\u0441\u0442\u044c \u043d\u0430 <a href=\"https:\/\/www.kaggle.com\/yutkin\/corpus-of-russian-news-articles-from-lenta\" rel=\"noopener noreferrer nofollow\">Kaggle<\/a>. \u0412\u044b\u0431\u0440\u0430\u043b \u0442\u0440\u0438 \u0442\u043e\u043f\u0438\u043a\u0430: \u042d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0430, \u041d\u0430\u0443\u043a\u0430 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0430, \u0438 \u041a\u0443\u043b\u044c\u0442\u0443\u0440\u0430. \u041e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043b \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0441\u043b\u043e\u0432 \u043e\u0442 70 \u0434\u043e 150. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 50k \u043a\u0435\u0439\u0441\u043e\u0432.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c:<br \/>\u041a\u0430\u043a \u0438 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b <abbr title=\"Bidirectional Encoder Representations from Transformers\">BERT<\/abbr>. \u0412\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e. <a href=\"http:\/\/docs.deeppavlov.ai\/en\/master\/features\/models\/bert.html\" rel=\"noopener noreferrer nofollow\">RuBert<\/a> \u043e\u0442 <a href=\"https:\/\/deeppavlov.ai\/\" rel=\"noopener noreferrer nofollow\">DeepPavlov<\/a> \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439, \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0438 <a href=\"https:\/\/huggingface.co\/DeepPavlov\/rubert-base-cased\" rel=\"noopener noreferrer nofollow\">huggingface.co<\/a>. \u0423 \u043d\u0435\u0451 180 \u043c\u043b\u043d. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u042f \u043f\u043e\u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u0441\u044f \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u043c\u043e\u0435\u0433\u043e 8\u0413\u0431 GPU. \u0422\u0430\u043a \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0438 \u0432\u044b\u0448\u043b\u043e, \u043d\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u043b\u0438\u044f\u0435\u0442 max_seq_length, 128 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0435 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f, \u0430 \u0432\u043e\u0442 64 \u0432\u043f\u043e\u043b\u043d\u0435.<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c LIT \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0442\u0440\u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u0430: <br \/>\u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043a\u0440\u0438\u043f\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430,  datasets\/lenta.py, models\/lenta_models.py \u0438 examples\/quickstart_lenta.py \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u2014  \u0444\u0430\u0439\u043b\u044b \u0438\u0437 quickstart_sst_demo. \u041e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0438 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0437 <a href=\"https:\/\/github.com\/khmelkoff\/LIT\" rel=\"noopener noreferrer nofollow\"><strong>\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f<\/strong><\/a>. \u0421\u0442\u0440\u043e\u043a\u0438 \u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u043a\u043e\u0434\u0435 \u044f \u043f\u043e\u043c\u0435\u0442\u0438\u043b \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u043c EDIT.<\/p>\n<details class=\"spoiler\">\n<summary>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u0434\u0435<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p>datasets\/lenta.py: \u041f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043b \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u043b\u0438\u0441\u044c \u043d\u0435 \u0438\u0437 tfds, \u043a\u0430\u043a     \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u0430 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430 \u0441 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044f\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>models\/lenta_models.py: \u041f\u043e\u043c\u0435\u043d\u044f\u043b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u00abDeepPavlov\/rubert-base-cased\u00bb \u0438 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e: \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b max_seq_length \u0434\u043e 64 \u0442\u043e\u043a\u0435\u043d\u043e\u0432,  \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u2014  \u0441 32 \u0434\u043e 16.<\/p>\n<\/li>\n<li>\n<p>examples\/quickstart_lenta.py: \u041e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0438\u043c\u043f\u043e\u0440\u0442 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u043f\u043e\u043c\u0435\u043d\u044f\u043b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a:<\/p>\n<pre><code class=\"bash\">python -m lit_nlp.examples.quickstart_lenta \u2014port=5433<\/code><\/pre>\n<h2>\u0422\u0435\u0441\u0442<\/h2>\n<p>RuBert \u2013 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0427\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0443\u0436\u043d\u0430 \u0442\u043e\u043d\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0431\u044a\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043a\u0440\u0438\u043f\u0442\u0435  lenta_models \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c num_epochs (\u0444\u0443\u043d\u043a\u0446\u0438\u0438 train). \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u043b, \u0447\u0442\u043e \u043f\u0430\u0440\u044b \u044d\u043f\u043e\u0445 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u0414\u043b\u044f 50k \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u044d\u0442\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u043c \u0431\u043e\u043b\u0435\u0435 3000 \u0448\u0430\u0433\u043e\u0432. \u041d\u0430 RTX2070 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 25 \u043c\u0438\u043d\u0443\u0442.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430:<\/p>\n<figure class=\"full-width\"><figcaption>\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 LIT<\/figcaption><\/figure>\n<p><a href=\"https:\/\/habrastorage.org\/webt\/uc\/tv\/qu\/uctvquzffhd2bbwm9r7jnp_idpg.png\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a> \u043a\u0440\u0443\u043f\u043d\u0435\u0435.<\/p>\n<p>\u0421\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u0412\u0441\u0451 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u043e, \u043d\u043e \u0432\u0441\u0451 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u043e\u0448\u0438\u0431\u043e\u043a \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c 21 \u043a\u0435\u0439\u0441, \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u041a\u0443\u043b\u044c\u0442\u0443\u0440\u0435, \u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u0438\u0445 \u043a\u0430\u043a, \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0435\u0441\u044f \u043a \u041d\u0430\u0443\u043a\u0435 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0435.<\/p>\n<figure class=\"float full-width\"><figcaption><\/figcaption><\/figure>\n<p><\/p>\n<p>\u0412\u044b\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438. \u0412 \u0432\u0438\u0434\u0436\u0435\u0442\u0435 Data Table \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0444\u043b\u0430\u0436\u043e\u043a \u00abOnly show selected\u00bb. \u041d\u0430\u0448\u0438 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u043a\u0435\u0439\u0441\u044b \u0432\u044b\u0441\u0432\u0435\u0442\u0438\u043b\u0438\u0441\u044c \u043d\u0430 Embedding.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 Data Table \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439-\u043d\u0438\u0431\u0443\u0434\u044c \u043a\u0435\u0439\u0441 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043d\u0430 \u0432\u043a\u043b\u0430\u0434\u043a\u0443 Explanation. \u041c\u043d\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u043d\u043e\u0432\u043e\u0441\u0442\u044c \u043f\u0440\u043e \u041c\u0438\u0442\u044c\u043a\u043e\u0432 \u0438 \u043d\u0430\u043d\u043e\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 32% \u0443\u0432\u0435\u0440\u0435\u043d\u0430, \u0447\u0442\u043e \u044d\u0442\u043e \u041a\u0443\u043b\u044c\u0442\u0443\u0440\u0430 \u0438 \u043d\u0430 68, \u0447\u0442\u043e \u041d\u0430\u0443\u043a\u0430 \u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0430. \u0412 \u0432\u0438\u0434\u0436\u0435\u0442\u0435 Silence Maps \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c grad_dot_input. \u0422\u043e\u043a\u0435\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 &#171;\u0438\u0433\u0440\u0430\u044e\u0442 \u0432 \u043f\u043b\u044e\u0441&#187; \u043f\u0440\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438  \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0437\u0435\u043b\u0435\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c, \u0432 \u043c\u0438\u043d\u0443\u0441 \u2014 \u043a\u0440\u0430\u0441\u043d\u044b\u043c.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u043a\u0440\u0443\u043f\u043d\u0435\u0435 <a href=\"https:\/\/habrastorage.org\/webt\/20\/td\/z-\/20tdz-ipc-r9ow-bnulibpz-zlu.png\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<p>\u0412 Datapoint Editor \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u00ab\u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e-\u043d\u0430\u0443\u0447\u043d\u0430\u044f\u00bb \u043d\u0430 \u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f, \u043f\u0440\u043e\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0435\u043c \u0441\u043a\u0440\u043e\u043b\u043b\u0431\u0430\u0440 \u0438 \u043d\u0430\u0436\u0438\u043c\u0430\u0435\u043c \u00abAnalyze new datapoint\u00bb (\u043a\u043d\u043e\u043f\u043a\u0430 \u043f\u043e\u0434 \u0442\u0435\u043a\u0441\u0442\u043e\u043c).  <\/p>\n<p>\u0414\u043e \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0430\u0433\u0430\u0434\u043e\u0447\u043d\u044b\u0439 \u0432\u0438\u0434\u0436\u0435\u0442 Scalar. \u0422\u0430\u043a \u0438 \u043d\u0435 \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u043f\u043e \u043e\u0441\u0438 Y. \u0412 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0442\u0438\u043f\u0430 ROUGE.  \u041e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0431\u0449\u0438\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f:<br \/>\u0421 \u043c\u043e\u0434\u0435\u043b\u044c\u044e RuBert \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 LIT \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0442\u043e\u0440\u043c\u0430\u0436\u0438\u0432\u0430\u0435\u0442, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u0440\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0432\u0438\u0434\u0436\u0435\u0442\u043e\u0432. \u041f\u043e\u043b\u0430\u0433\u0430\u044e, \u0447\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0432 \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u043d\u044f\u0442\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438. \u0415\u0449\u0435 \u0438\u0437 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u043f\u043e\u0436\u0430\u043b\u0443\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0443\u0434\u043d\u0430\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f. Slinece Maps \u0438 Embeddings \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043a\u0440\u0430\u0439\u043d\u0435 \u0443\u0434\u043e\u0431\u043d\u044b\u043c\u0438 \u0448\u0442\u0443\u043a\u0430\u043c\u0438, \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0437-\u0437\u0430 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 LIT, \u043d\u0435\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0433\u043e \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c. \u0415\u0441\u0442\u044c \u043e\u043d\u043b\u0430\u0439\u043d <a href=\"https:\/\/pair-code.github.io\/lit\/demos\/\" rel=\"noopener noreferrer nofollow\">\u0434\u0435\u043c\u043e<\/a>, \u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e. \u0422\u0430\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430:<\/p>\n<ul>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0413\u0435\u043d\u0434\u0435\u0440\u043d\u044b\u0439 \u0434\u0438\u0441\u0431\u0430\u043b\u0430\u043d\u0441 \u0432 \u043a\u043e\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c<\/p>\n<\/li>\n<li>\n<p>BERT \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0438 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435<\/p>\n<\/li>\n<li>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 T5<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0435\u0441\u044c\u043c\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0432\u0438\u0434\u0435\u0442\u044c \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0422\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u044f \u0435\u0449\u0435 \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b, \u043d\u043e \u043d\u0435 \u043c\u043e\u0433\u0443 \u043d\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u043a\u0440\u0438\u043d\u0448\u043e\u0442\u043e\u043c \u0438\u0437 \u0434\u0435\u043c\u043e:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0441\u043a\u0440\u0435\u043d\u043d\u0435 \u0436\u0435\u043b\u0430\u044e \u0432\u0441\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 LIT \u0438 \u0434\u043e\u043b\u0438 \u0442\u0435\u0440\u043f\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435!<\/p>\n<h2>\u0421\u0441\u044b\u043b\u043a\u0438<\/h2>\n<p><a href=\"https:\/\/www.aclweb.org\/anthology\/2020.emnlp-demos.15.pdf\" rel=\"noopener noreferrer nofollow\"><strong>\u041f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f<\/strong><\/a> The Language<\/p>\n<\/p>\n<\/p>\n<\/p>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-320338","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/320338","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=320338"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/320338\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=320338"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=320338"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=320338"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}