{"id":302536,"date":"2020-04-26T21:00:19","date_gmt":"2020-04-26T21:00:19","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=302536"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=302536","title":{"rendered":"\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/499064\/\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mp\/wd\/cc\/mpwdccv_0khoiqd88e0bo5vg9tq.png\" alt=\"ALM\"><\/p>\n<p>  \u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u043f\u043e\u043b\u043d\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430 \u0442\u0435\u043c\u0443 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 N-\u0433\u0440\u0430\u043c\u043c\u0430\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u043e.<\/p>\n<p>  \u0415\u0441\u0442\u044c <a href=\"https:\/\/github.com\/kpu\/kenlm\" rel=\"nofollow\"><b>KenLM<\/b><\/a>, <a href=\"https:\/\/github.com\/BitMindLab\/SRILM\" rel=\"nofollow\"><b>SriLM<\/b><\/a> \u0438 <a href=\"https:\/\/github.com\/irstlm-team\/irstlm\" rel=\"nofollow\"><b>IRSTLM<\/b><\/a>. \u041e\u043d\u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445. \u041d\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b:  <\/p>\n<ol>\n<li>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0441\u0442\u0430\u0440\u044b\u0435, \u043d\u0435 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0442\u0441\u044f.<\/li>\n<li>\u041f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/li>\n<li>\u0420\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0447\u0438\u0441\u0442\u044b\u043c, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c, \u0442\u0435\u043a\u0441\u0442\u043e\u043c<\/li>\n<li>\u041f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 UTF-8. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/github.com\/BitMindLab\/SRILM\" rel=\"nofollow\"><b>SriLM<\/b><\/a> \u0441 \u0444\u043b\u0430\u0433\u043e\u043c <b>tolower<\/b> \u043b\u043e\u043c\u0430\u0435\u0442 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0443.<\/li>\n<\/ol>\n<p>  \u0418\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f <a href=\"https:\/\/github.com\/kpu\/kenlm\" rel=\"nofollow\"><b>KenLM<\/b><\/a>. \u0420\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 UTF-8, \u043d\u043e \u043e\u043d\u0430 \u0442\u0430\u043a\u0436\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>  \u041a\u043e\u0433\u0434\u0430-\u0442\u043e \u043c\u043d\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0441\u0431\u043e\u0440\u043a\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u0441\u043b\u0435 \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u043e\u0431 \u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438\u0448\u0451\u043b \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0438 \u0434\u043e\u043b\u0433\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e <b>\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a<\/b>! \u0410 \u0432\u0435\u0434\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043a\u0430\u043a-\u0442\u043e \u0432\u0441\u0451 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<p>  \u0412 \u0441\u0432\u043e\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445 \u043e\u0442\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u043b\u0441\u044f \u043e\u0442 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/BitMindLab\/SRILM\" rel=\"nofollow\"><b>SriLM<\/b><\/a>. \u0421\u0440\u0430\u0437\u0443 \u043e\u0442\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u0434\u0430 \u0438 \u043d\u0435 <b>fork SriLM<\/b>. \u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441 \u043d\u0443\u043b\u044f.<br \/>  <a name=\"habracut\"><\/a>  <\/p>\n<h4>\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440!\u0421 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430. <\/code><\/pre>\n<p>  \u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043f\u0440\u043e\u0431\u0435\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u2014 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0447\u0430\u0441\u0442\u0430\u044f \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0430. \u0422\u0430\u043a\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u0441\u043b\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u044a\u0435\u043c\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d\u0430 \u043b\u043e\u043c\u0430\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440.<\/p>\n<h4>\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0442\u0430\u043a\u0430\u044f N-\u0433\u0440\u0430\u043c\u043c\u0430:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">-0.3009452 \u0442\u0440\u0430\u043a\u0442\u043e\u0440!\u0421 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f<\/code><\/pre>\n<p>  \u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043e\u043f\u0435\u0447\u0430\u0442\u043e\u043a, \u0441\u043f\u0435\u0446\u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u2026 \u0412\u0441\u0451 \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c.<\/p>\n<h3>ANYKS LM (<a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\">ALM<\/a>)<\/h3>\n<p>  \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 <b>\u0442\u043e\u043b\u044c\u043a\u043e<\/b> \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b <b>Linux<\/b>, <b>MacOS X<\/b> \u0438 <b>FreeBSD<\/b>. <b>Windows \u0443 \u043c\u0435\u043d\u044f \u043d\u0435\u0442<\/b> \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u043d\u0435 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f.<\/p>\n<h4>\u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430:<\/h4>\n<p>  <\/p>\n<ol>\n<li>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 UTF-8 \u0431\u0435\u0437 \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439.<\/li>\n<li>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445: Arpa, Vocab, Map Sequence, N-grams, Binary alm dictionary.<\/li>\n<li>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u044f: Kneser-Nay, Modified Kneser-Nay, Witten-Bell, Additive, Good-Turing, Absolute discounting.<\/li>\n<li>\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432, \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432 \u043a \u043d\u0438\u0436\u043d\u0435\u043c\u0443 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0443, \u0443\u043c\u043d\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0447\u0451\u0440\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u043b\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u043e\u0432.<\/li>\n<li>\u0417\u0430\u043c\u0435\u043d\u0430 \u0447\u0430\u0441\u0442\u043e\u0442, \u0437\u0430\u043c\u0435\u043d\u0430 N-\u0433\u0440\u0430\u043c\u043c, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 N-\u0433\u0440\u0430\u043c\u043c \u0441 \u0447\u0430\u0441\u0442\u043e\u0442\u0430\u043c\u0438, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 N-\u0433\u0440\u0430\u043c\u043c.<\/li>\n<li>\u041f\u0440\u0443\u043d\u0438\u043d\u0433 \u2014 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u0430 N-\u0433\u0440\u0430\u043c\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/li>\n<li>\u0421\u043c\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0411\u0430\u0439\u0435\u0441\u0430 \u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e-\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435.<\/li>\n<li>\u0427\u0438\u0441\u0442\u043a\u0430 \u043f\u043b\u043e\u0445\u0438\u0445 N-\u0433\u0440\u0430\u043c\u043c \u2014 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 N-\u0433\u0440\u0430\u043c\u043c, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 backoff \u0432\u044b\u0448\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u044b.<\/li>\n<li>\u0412\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0451\u043d\u043d\u044b\u0445 N-\u0433\u0440\u0430\u043c\u043c \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u0435\u0440\u0435\u0440\u0430\u0441\u0447\u0451\u0442\u043e\u043c \u0438\u0445 backoff-\u0447\u0430\u0441\u0442\u043e\u0442.<\/li>\n<li>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043b\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a: \u0447\u0438\u0441\u043b\u0430, \u0440\u0438\u043c\u0441\u043a\u0438\u0435 \u0447\u0438\u0441\u043b\u0430, \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u044b \u0447\u0438\u0441\u0435\u043b, \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440\u044b, \u043b\u044e\u0431\u044b\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 Python3.<\/li>\n<li>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u00ab\u0433\u0440\u044f\u0437\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u00bb, \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432.<\/li>\n<li>\u041f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u2329unk\u232a \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0435 \u0441\u043b\u043e\u0432\u043e.<\/li>\n<li>\u041f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 N-\u0433\u0440\u0430\u043c\u043c \u043f\u0435\u0440\u0435\u0434 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 Python3.<\/li>\n<li>\u0411\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0441\u0436\u0430\u0442\u0438\u0435, \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u043a\u043e\u043f\u0438\u0440\u0430\u0439\u0442\u043e\u0432.<\/li>\n<li>\u0423\u0434\u043e\u0431\u043d\u0430\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0445\u043e\u0434\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441\u0431\u043e\u0440\u043a\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0438\u0434\u043e\u0432 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439: \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f, \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0432 \u0432\u0438\u0434\u0435 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430, \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0444\u0430\u0439\u043b\u044b \u0438\u043b\u0438 \u043a\u043e\u043d\u0441\u043e\u043b\u044c.<\/li>\n<li>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0441\u0435 N-\u0433\u0440\u0430\u043c\u043c\u044b \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0438\u0445 \u0434\u043b\u0438\u043d\u044b (\u043a\u0440\u043e\u043c\u0435 Modified Kneser-Nay). \u0422\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043d\u0443\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0447\u0451\u0442\u0430 \u0432\u0441\u0435\u0445 \u0440\u0435\u0434\u043a\u043e-\u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u044b\u0445 N-\u0433\u0440\u0430\u043c\u043c, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u043b\u0438\u0441\u044c \u0432\u0441\u0435\u0433\u043e 1 \u0440\u0430\u0437.<\/li>\n<\/ol>\n<p>  \u0418\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u043e\u0440\u043c\u0430\u0442 <b>ARPA<\/b>. \u0427\u0435\u0441\u0442\u043d\u043e, \u043d\u0435 \u0432\u0438\u0436\u0443 \u0441\u043c\u044b\u0441\u043b\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0437\u043e\u043e\u043f\u0430\u0440\u043a \u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432.<\/p>\n<p>  \u0424\u043e\u0440\u043c\u0430\u0442 ARPA \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0443 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0438 \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430.<\/p>\n<p>  \u0418\u043d\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432 N-\u0433\u0440\u0430\u043c\u043c\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432 N-\u0433\u0440\u0430\u043c\u043c\u0435 \u0446\u0438\u0444\u0440, \u0430 \u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435 \u0441\u0442\u043e\u043b\u044c \u0432\u0430\u0436\u043d\u043e.<\/p>\n<h4>\u041f\u0440\u0438\u043c\u0435\u0440:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">\u0421\u043f\u0435\u0448\u0438\u0442\u0435 \u043a\u0443\u043f\u0438\u0442\u044c, \u0440\u0430\u0441\u043f\u0440\u043e\u0434\u0430\u0436\u0430 \u0432 \u043d\u0430\u0448\u0435\u043c \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e 2 \u0434\u043d\u044f <\/code><\/pre>\n<p>  <\/p>\n<h4>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043f\u0430\u0434\u0451\u0442 N-\u0433\u0440\u0430\u043c\u043c\u0430:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">-0.09521468 \u0442\u043e\u043b\u044c\u043a\u043e 2 \u0434\u043d\u044f <\/code><\/pre>\n<p>  \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u0438\u043c\u0435\u0435\u0442. \u0420\u0430\u0441\u043f\u0440\u043e\u0434\u0430\u0436\u0430 \u0432 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u0434\u0442\u0438 \u0438 1 \u0438 3 \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u043e\u0434\u043d\u043e \u0434\u043d\u0435\u0439. <\/p>\n<p>  \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f.<\/p>\n<h3>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b<\/h3>\n<p>  <b>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435:<\/b><br \/>  <b>\u2329s\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f<br \/>  <b>\u2329\/s\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u043a\u043e\u043d\u0446\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f<br \/>  <b>\u2329unk\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430<\/p>\n<p>  <b>\u041d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435:<\/b><br \/>  <b>\u2329url\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d url \u0430\u0434\u0440\u0435\u0441\u0430<br \/>  <b>\u2329num\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0447\u0438\u0441\u0435\u043b (\u0430\u0440\u0430\u0431\u0441\u043a\u043e\u0435 \u0438\u043b\u0438 \u0440\u0438\u043c\u0441\u043a\u043e\u0435)<br \/>  <b>\u2329date\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0434\u0430\u0442\u044b (18.07.2004 | 07\/18\/2004)<br \/>  <b>\u2329time\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0432\u0440\u0435\u043c\u0435\u043d\u0438 (15:44:56)<br \/>  <b>\u2329abbr\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440\u044b (1-\u0439 | 2-\u0435 | 20-\u044f)<br \/>  <b>\u2329anum\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u043f\u0441\u0435\u0432\u0434\u043e-\u0447\u0438\u0441\u043b\u0430 (T34 | 895-M-86 | 39km)<br \/>  <b>\u2329math\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 (+ | \u2014 | = | \/ | * | ^)<br \/>  <b>\u2329range\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0447\u0438\u0441\u0435\u043b (1-2 | 100-200 | 300-400)<br \/>  <b>\u2329aprox\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 (~93 | ~95.86 | 10~20)<br \/>  <b>\u2329score\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0433\u043e \u0441\u0447\u0451\u0442\u0430 (4:3 | 01:04)<br \/>  <b>\u2329dimen\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0433\u0430\u0431\u0430\u0440\u0438\u0442\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 (200&#215;300 | 1920&#215;1080)<br \/>  <b>\u2329fract\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0439 \u0434\u0440\u043e\u0431\u0438 (5\/20 | 192\/864)<br \/>  <b>\u2329punct\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0437\u043d\u0430\u043a\u043e\u0432 \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u0438 (. |\u2026 |, |! |? |: | \ud83d\ude09<br \/>  <b>\u2329specl\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0441\u043f\u0435\u0446\u0441\u0438\u043c\u0432\u043e\u043b\u0430 (~ | @ | # | \u2116 | % | &amp; | $ | \u00a7 | \u00b1)<br \/>  <b>\u2329isolat\u232a<\/b> \u2014 \u0422\u043e\u043a\u0435\u043d \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0438\u0437\u043e\u043b\u044f\u0446\u0438\u0438 (&quot; | &#8216; | \u00ab | \u00bb | \u201e | \u201c | ` | ( | ) | [ | ] | { | })<\/p>\n<p>  \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0442\u0430\u043a\u0438\u0435 N-\u0433\u0440\u0430\u043c\u043c\u044b \u043d\u0443\u0436\u043d\u044b.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u0435\u0433\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u0440\u0430\u043d), <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u043d\u0430 Python3.<\/p>\n<h4>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u043a\u0440\u0438\u043f\u0442\u0430 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432:<\/h4>\n<p>  <\/p>\n<pre><code class=\"python\"># -*- coding: utf-8 -*-  def init():     &quot;&quot;&quot;     \u041c\u0435\u0442\u043e\u0434 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438: \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f     &quot;&quot;&quot;  def run(token, word):     &quot;&quot;&quot;     \u041c\u0435\u0442\u043e\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438: \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0438 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430     @token \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u0441\u043b\u043e\u0432\u0430     @word \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u0441\u043b\u043e\u0432\u043e     &quot;&quot;&quot;     if token and (token == &quot;&lt;usa&gt;&quot;):         if word and (word.lower() == &quot;\u0441\u0448\u0430&quot;): return &quot;ok&quot;     elif token and (token == &quot;&lt;russia&gt;&quot;):         if word and (word.lower() == &quot;\u0440\u043e\u0441\u0441\u0438\u044f&quot;): return &quot;ok&quot;     return &quot;no&quot; <\/code><\/pre>\n<p>  \u0422\u0430\u043a\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043a \u0441\u043f\u0438\u0441\u043a\u0443 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0442\u0435\u0433\u043e\u0432 \u0435\u0449\u0435 \u0434\u0432\u0430 \u0442\u0435\u0433\u0430:<b>\u2329usa\u232a<\/b> \u0438 <b>\u2329russia\u232a<\/b>.<\/p>\n<p>  \u041a\u0440\u043e\u043c\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u0430 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0435\u0441\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0441\u043b\u043e\u0432. \u042d\u0442\u043e\u0442 \u0441\u043a\u0440\u0438\u043f\u0442 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0441\u043b\u043e\u0432\u043e \u043f\u0435\u0440\u0435\u0434 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043b\u043e\u0432\u0430 \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<h4>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u043a\u0440\u0438\u043f\u0442\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u043b\u043e\u0432:<\/h4>\n<p>  <\/p>\n<pre><code class=\"python\"># -*- coding: utf-8 -*-  def init():     &quot;&quot;&quot;     \u041c\u0435\u0442\u043e\u0434 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438: \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f     &quot;&quot;&quot;  def run(word, context):     &quot;&quot;&quot;     \u041c\u0435\u0442\u043e\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438: \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0438 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430     @word \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u0441\u043b\u043e\u0432\u043e     @context \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u043b\u043e\u0432 \u0432 \u0432\u0438\u0434\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u0430     &quot;&quot;&quot;     return word <\/code><\/pre>\n<p>  \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u0435\u0441\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0438\u0437 <b>\u043b\u0435\u043c\u043c<\/b> \u0438\u043b\u0438 <b>\u0441\u0442\u0435\u043c\u043c<\/b>.<\/p>\n<h3>\u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0435 <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\">ALM<\/a><\/h3>\n<p>  <\/p>\n<h4>ARPA:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">\\data\\ ngram 1=52 ngram 2=68 ngram 3=15  \\1-grams: -1.807052\t1-\u0439\t-0.30103 -1.807052\t2\t-0.30103 -1.807052\t3~4\t-0.30103 -2.332414\t\u043a\u0430\u043a\t-0.394770 -3.185530\t\u043f\u043e\u0441\u043b\u0435\t-0.311249 -3.055896\t\u0442\u043e\u0433\u043e\t-0.441649 -1.150508\t&lt;\/s&gt; -99\t&lt;s&gt;\t-0.3309932 -2.112406\t&lt;unk&gt; -1.807052\tT358\t-0.30103 -1.807052\tVII\t-0.30103 -1.503878\t\u0413\u0440\u0435\u043a\u0430\t-0.39794 -1.807052\t\u0413\u0440\u0435\u043a\u0443\t-0.30103 -1.62953\t\u0415\u0445\u0430\u043b\t-0.30103 ...  \\2-grams: -0.29431\t1-\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u043b -0.29431\t2 \u043b\u043e\u0436\u043a\u0438 -0.29431\t3~4 \u0434\u043d\u044f -0.8407791\t&lt;s&gt; \u0415\u0445\u0430\u043b -1.328447\t\u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e\t-0.477121 ...  \\3-grams: -0.09521468\t\u0440\u0430\u043a \u043d\u0430 \u0440\u0443\u043a\u0435 -0.166590\t\u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a ...  \\end\\ <\/code><\/pre>\n<p>  <b>ARPA<\/b> \u2014 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u0432 <b>Sphinx\/CMU<\/b> \u0438 <b>Kaldi<\/b>.  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<td><b>\u0427\u0430\u0441\u0442\u043e\u0442\u0430<\/b><\/td>\n<td><b>N-\u0433\u0440\u0430\u043c\u043c\u0430<\/b><\/td>\n<td><b>\u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430<\/b><\/td>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>-1.328447<\/td>\n<td>\u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e<\/td>\n<td>-0.477121<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <\/p>\n<h4>NGRAMS:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">\\data\\ ad=1 cw=23832 unq=9390  ngram 1=9905 ngram 2=21907 ngram 3=306  \\1-grams: &lt;s&gt;\t2022 | 1 &lt;num&gt;\t117 | 1 &lt;unk&gt;\t19 | 1 &lt;abbr&gt;\t16 | 1 &lt;range&gt;\t7 | 1 &lt;\/s&gt;\t2022 | 1 \u0410\t244 | 1 \u0430\t244 | 1 \u0431\t11 | 1 \u0432\t762 | 1 \u0432\u044b\u0431\u043e\u0440\u0430\u0445\t112 | 1 \u043e\u0431\u0437\u043e\u0440\u0430\u0445\t224 | 1 \u043f\u043e\u043b\u043e\u0432\u043e\u0437\u0440\u0435\u043b\u044b\u0435\t1 | 1 \u043d\u0435\u0431\u0435\u0441\u0430\u0445\t86 | 1 \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0430\u043b\u0438\t978 | 1 \u044f\u0431\u043b\u043e\u0447\u043d\u0443\u044e\t396 | 1 \u0434\u0436\u0438\u043d\u0441\u0430\u0445\t108 | 1 \u043a\u043b\u0430\u0441\u0441\u0430\u0445\t77 | 1 \u0442\u0440\u0430\u0441\u0441\u0430\u0445\t32 | 1 ...  \\2-grams: &lt;s&gt; &lt;num&gt;\t7 | 1 &lt;s&gt; &lt;unk&gt;\t1 | 1 &lt;s&gt; \u0430\t84 | 1 &lt;s&gt; \u0432\t83 | 1 &lt;s&gt; \u0438\t57 | 1 \u0438 \u043a\u043b\u0430\u0441\u0441\u043d\u044b\u0435\t82 | 1 \u0438 \u0432\u0430\u043b\u044e\u0442\u043d\u044b\u0435\t11 | 1 \u0438 \u043d\u0435\u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e\u0441\u0442\u0438\t24 | 1 \u0441\u043d\u0438\u043b\u043e\u0441\u044c \u044f\u0432\u043b\u044f\u043b\u043e\u0441\u044c\t18 | 1 \u043d\u0430\u0448\u043b\u043e\u0441\u044c \u043d\u0438\u043a\u043e\u0433\u043e\t31 | 1 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\t45 | 1 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043e\u043c\u0430\t97 | 1 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u0448\u0430\t71 | 1 ...  \\3-grams: &lt;s&gt; &lt;num&gt; &lt;\/s&gt;\t3 | 1 &lt;s&gt; \u0430 \u0432\t6 | 1 &lt;s&gt; \u0430 \u044f\t4 | 1 &lt;s&gt; \u0430 \u043d\u0430\t2 | 1 &lt;s&gt; \u0430 \u0442\u043e\t3 | 1 \u043c\u043e\u0436\u043d\u043e \u0438 \u043d\u0443\u0436\u043d\u043e\t2 | 1 \u0431\u0443\u0434\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e &lt;\/s&gt;\t2 | 1 \u043f\u0435\u0439\u0437\u0430\u0436\u0438 \u0437\u0430 \u043e\u043a\u043d\u043e\u043c\t2 | 1 \u0441\u0442\u0430\u0442\u0443\u0441\u044b \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u043e\u0432\t2 | 1 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c\t2 | 1 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441\t2 | 1 \u0433\u043e\u0432\u043e\u0440\u044f \u043f\u0440\u043e \u0442\u043e\t2 | 1 \u043e\u0442\u0431\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u044f \u0437\u0443\u0431\u043e\u0432 &lt;\/s&gt;\t2 | 1 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 &lt;\/s&gt;\t3 | 1 \u043f\u0440\u0435\u043f\u0430\u0440\u0430\u0442\u044b \u043e\u0442 \u0432\u0430\u0440\u0438\u043a\u043e\u0437\u0430\t2 | 1 ...  \\end\\ <\/code><\/pre>\n<p>  <b>Ngrams<\/b> \u2013 \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 <b>ARPA<\/b>.  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<td><b>N-\u0433\u0440\u0430\u043c\u043c\u0430<\/b><\/td>\n<td><b>\u0412\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435<\/b><\/td>\n<td><b>\u0412\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445<\/b><\/td>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c<\/td>\n<td>2<\/td>\n<td>1<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <b>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435:<\/b>  <\/p>\n<ul>\n<li><b>ad<\/b>\u00a0&#8212; \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435<\/li>\n<li><b>cw<\/b>\u00a0&#8212; \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430<\/li>\n<li><b>unq<\/b>\u00a0&#8212; \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0432<\/li>\n<\/ul>\n<p>  <\/p>\n<h4>VOCAB:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">\\data\\ ad=1 cw=23832 unq=9390  \\words: 33\t\u0430\t244 | 1 | 0.010238 | 0.000000 | -3.581616 34\t\u0431\t11 | 1 | 0.000462 | 0.000000 | -6.680889 35\t\u0432\t762 | 1 | 0.031974 | 0.000000 | -2.442838 40\t\u0436\t12 | 1 | 0.000504 | 0.000000 | -6.593878 330344\t\u0431\u044b\u043b\t47 | 1 | 0.001972 | 0.000000 | -5.228637 335190\t\u0432\u0430\u043c\t17 | 1 | 0.000713 | 0.000000 | -6.245571 335192\t\u0434\u0430\u043c\t1 | 1 | 0.000042 | 0.000000 | -9.078785 335202\t\u043d\u0430\u043c\t22 | 1 | 0.000923 | 0.000000 | -5.987742 335206\t\u0441\u0430\u043c\t7 | 1 | 0.000294 | 0.000000 | -7.132874 335207\t\u0442\u0430\u043c\t29 | 1 | 0.001217 | 0.000000 | -5.711489 2282019644\t\u043f\u043e\u0445\u043e\u0436\u0435\u0441\u0442\u044c\t1 | 1 | 0.000042 | 0.000000 | -9.078785 2282345502\t\u043d\u043e\u0432\u044b\u0439\t10 | 1 | 0.000420 | 0.000000 | -6.776199 2282416889\t\u0431\u0435\u043b\u044b\u0439\t2 | 1 | 0.000084 | 0.000000 | -8.385637 3009239976\t\u0433\u0440\u0430\u0436\u0434\u0430\u043d\u0441\u043a\u0438\u0439\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3009763109\t\u0431\u0430\u043d\u043a\u0438\u0440\u044b\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3013240091\t\u0433\u0435\u043d\u044b\u0447\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3014009989\t\u043f\u0440\u0435\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f\u0445\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3015727462\t\u0442\u044b\u0441\u044f\u0447\t2 | 1 | 0.000084 | 0.000000 | -8.385637 3025113549\t\u043f\u043e\u0437\u0430\u0431\u043e\u0442\u044c\u0442\u0435\u0441\u044c\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3049820849\t\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u043c\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3061388599\t\u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u0430\u044f\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3063804798\t\u0448\u0430\u0431\u043b\u043e\u043d\u043e\u0432\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3071212736\t\u0437\u0430\u0432\u0438\u0434\u043d\u043e\u0439\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3074971025\t\u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0439\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3075044360\t\u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3123271427\t\u0434\u0435\u043b\u0430\u0435\u0448\u044c\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3123322362\t\u0447\u0438\u0442\u0430\u0435\u0448\u044c\t1 | 1 | 0.000042 | 0.000000 | -9.078785 3126399411\t\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u0441\u044f\t1 | 1 | 0.000042 | 0.000000 | -9.078785 \u2026 <\/code><\/pre>\n<p>  <b>Vocab<\/b> \u2013 \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<td><b>\u0418\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0441\u043b\u043e\u0432\u0430<\/b><\/td>\n<td><b>\u0421\u043b\u043e\u0432\u043e<\/b><\/td>\n<td><b>\u0412\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435<\/b><\/td>\n<td><b>\u0412\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445<\/b><\/td>\n<td><b>tf<\/b><\/td>\n<td><b>tf-idf<\/b><\/td>\n<td><b>wltf<\/b><\/td>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>2282345502<\/td>\n<td>\u043d\u043e\u0432\u044b\u0439<\/td>\n<td>10<\/td>\n<td>1<\/td>\n<td>0.000420<\/td>\n<td>0.000000<\/td>\n<td>-6.776199<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <b>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435:<\/b>  <\/p>\n<ul>\n<li><b>oc<\/b>\u00a0&#8212; \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435<\/li>\n<li><b>dc<\/b>\u00a0&#8212; \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445<\/li>\n<li><b>tf<\/b>\u00a0&#8212; (term frequency \u2014 \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0441\u043b\u043e\u0432\u0430) \u2014 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u0430 \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0439 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u043a \u043e\u0431\u0449\u0435\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u0441\u043b\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a: [tf = oc \/ cw]<\/li>\n<li><b>idf<\/b>\u00a0&#8212; (inverse document frequency \u2014 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430) \u2014 \u0438\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u044b, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a: [idf = log(ad \/ dc)]<\/li>\n<li><b>tf-idf<\/b>\u00a0&#8212; \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a: [tf-idf = tf * idf]<\/li>\n<li><b>wltf<\/b>\u00a0&#8212; \u0440\u0435\u0439\u0442\u0438\u043d\u0433 \u0441\u043b\u043e\u0432\u0430, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a: [wltf = 1 + log(tf * dc)]<\/li>\n<\/ul>\n<p>  <\/p>\n<h4>MAP:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">1:{2022,1,0}|42:{57,1,0}|279603:{2,1,0} 1:{2022,1,0}|42:{57,1,0}|320749:{2,1,0} 1:{2022,1,0}|42:{57,1,0}|351283:{2,1,0} 1:{2022,1,0}|42:{57,1,0}|379815:{3,1,0} 1:{2022,1,0}|42:{57,1,0}|26122748:{3,1,0} 1:{2022,1,0}|44:{6,1,0} 1:{2022,1,0}|48:{1,1,0} 1:{2022,1,0}|51:{11,1,0}|335967:{3,1,0} 1:{2022,1,0}|53:{14,1,0}|371327:{3,1,0} 1:{2022,1,0}|53:{14,1,0}|40260976:{7,1,0} 1:{2022,1,0}|65:{68,1,0}|34:{2,1,0} 1:{2022,1,0}|65:{68,1,0}|3277:{3,1,0} 1:{2022,1,0}|65:{68,1,0}|278003:{2,1,0} 1:{2022,1,0}|65:{68,1,0}|320749:{2,1,0} 1:{2022,1,0}|65:{68,1,0}|11353430797:{2,1,0} 1:{2022,1,0}|65:{68,1,0}|34270133320:{2,1,0} 1:{2022,1,0}|65:{68,1,0}|51652356484:{2,1,0} 1:{2022,1,0}|65:{68,1,0}|66967237546:{2,1,0} 1:{2022,1,0}|2842:{11,1,0}|42:{7,1,0} \u2026 <\/code><\/pre>\n<p>  <b>Map<\/b> \u2014 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0444\u0430\u0439\u043b\u0430, \u0438\u043c\u0435\u0435\u0442 \u0447\u0438\u0441\u0442\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <b>\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e \u0441 \u0444\u0430\u0439\u043b\u043e\u043c vocab<\/b>, \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0445\u0440\u0430\u043d\u0438\u0442\u044c, \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c \u0438 \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043b\u044e\u0431\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b (<b>arpa<\/b>, <b>ngrams<\/b>, <b>binary alm<\/b>).<\/p>\n<h3>\u0412\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\">ALM<\/a><\/h3>\n<p>  \u0427\u0430\u0441\u0442\u043e, \u043f\u0440\u0438 \u0441\u0431\u043e\u0440\u043a\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u0437\u0430\u043c\u0435\u043d\u044b \u0431\u0443\u043a\u0432 (\u043d\u0430 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e-\u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0431\u0443\u043a\u0432\u044b \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0430\u043b\u0444\u0430\u0432\u0438\u0442\u0430).<\/p>\n<p>  <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0444\u0430\u0439\u043b\u0430 \u0441 \u0432\u043d\u0435\u0448\u043d\u0435-\u043f\u043e\u0445\u043e\u0436\u0438\u043c\u0438 \u0431\u0443\u043a\u0432\u0430\u043c\u0438.<\/p>\n<pre><code class=\"plaintext\">p  \u0440 c  \u0441 o  \u043e t  \u0442 k  \u043a e  \u0435 a  \u0430 h  \u043d x  \u0445 b  \u0432 m  \u043c <\/code><\/pre>\n<p>  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<td><b>\u0418\u0441\u043a\u043e\u043c\u0430\u044f \u0431\u0443\u043a\u0432\u0430<\/b><\/td>\n<td><b>\u0420\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044c<\/b><\/td>\n<td><b>\u0411\u0443\u043a\u0432\u0430 \u043d\u0430 \u0437\u0430\u043c\u0435\u043d\u0443<\/b><\/td>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>t<\/td>\n<td>\\t<\/td>\n<td>\u0442<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  \u0415\u0441\u043b\u0438, \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0441\u043e \u0441\u043f\u0438\u0441\u043a\u043e\u043c \u0434\u043e\u043c\u0435\u043d\u043e\u0432 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0438 \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043c\u043e\u0447\u044c <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u0441 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432\u044b\u0445 \u0442\u0435\u0433\u043e\u0432 <b>\u2329url\u232a<\/b> \u0438 <b>\u2329abbr\u232a<\/b>.<\/p>\n<h4>\u0424\u0430\u0439\u043b \u0441\u043f\u0438\u0441\u043a\u0430 \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">\u0433 \u0440 \u0421\u0428\u0410 \u0443\u043b \u0440\u0443\u0431 \u0440\u0443\u0441 \u0447\u0435\u043b \u2026 <\/code><\/pre>\n<h4>\u0424\u0430\u0439\u043b \u0441\u043f\u0438\u0441\u043a\u0430 \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0445 \u0437\u043e\u043d:<\/h4>\n<p>  <\/p>\n<pre><code class=\"plaintext\">ru su cc net com org info \u2026 <\/code><\/pre>\n<p>  \u0414\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u0430 <b>\u2329url\u232a<\/b> \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0435 \u0437\u043e\u043d\u044b \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f <b>(\u0432\u0441\u0435 \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0435 \u0437\u043e\u043d\u044b \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b)<\/b>.<\/p>\n<h3>\u0411\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\">ALM<\/a><\/h3>\n<p>  \u0414\u043b\u044f \u0441\u0431\u043e\u0440\u043a\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c <b>\u0444\u0430\u0439\u043b \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 JSON<\/b> \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u0441\u0432\u043e\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<h4>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b JSON:<\/h4>\n<p>  <\/p>\n<pre><code class=\"json\">{ \t&quot;aes&quot;: 128, \t&quot;name&quot;: &quot;Name dictionary&quot;, \t&quot;author&quot;: &quot;Name author&quot;, \t&quot;lictype&quot;: &quot;License type&quot;, \t&quot;lictext&quot;: &quot;License text&quot;, \t&quot;contacts&quot;: &quot;Contacts data&quot;, \t&quot;password&quot;: &quot;Password if needed&quot;, \t&quot;copyright&quot;: &quot;Copyright author&quot; } <\/code><\/pre>\n<p>  <b>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435:<\/b>  <\/p>\n<ul>\n<li><b>aes<\/b> \u2014 \u0420\u0430\u0437\u043c\u0435\u0440 \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u044f AES (128, 192, 256) \u0431\u0438\u0442<\/li>\n<li><b>name<\/b> \u2014 \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044f<\/li>\n<li><b>author<\/b> \u2014 \u0410\u0432\u0442\u043e\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f<\/li>\n<li><b>lictype<\/b> \u2014 \u0422\u0438\u043f \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0438<\/li>\n<li><b>lictext<\/b> \u2014 \u0422\u0435\u043a\u0441\u0442 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0438<\/li>\n<li><b>contacts<\/b> \u2014 \u041a\u043e\u043d\u0442\u0430\u043a\u0442\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u0430<\/li>\n<li><b>password<\/b> \u2014 \u041f\u0430\u0440\u043e\u043b\u044c \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u044f (\u0435\u0441\u043b\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f), \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043f\u0430\u0440\u043e\u043b\u044f<\/li>\n<li><b>copyright<\/b> \u2014 \u041a\u043e\u043f\u0438\u0440\u0430\u0439\u0442 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u044f<\/li>\n<\/ul>\n<p>  <b>\u0412\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043a\u0440\u043e\u043c\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430.<\/b><\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\">ALM<\/a><\/h3>\n<p>  <\/p>\n<h4>\u0420\u0430\u0431\u043e\u0442\u0430 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430<\/h4>\n<p>  \u041d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 JSON.<\/p>\n<pre><code class=\"bash\">$ echo 'Hello World?' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/aj\/fh\/at\/ajfhatpbj0xdqdghjn8jy1wqw-e.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">Hello World? <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"json\">[ \t[&quot;Hello&quot;,&quot;World&quot;,&quot;?&quot;] ] <\/code><\/pre>\n<p>  \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435\u2026<\/p>\n<pre><code class=\"bash\">$ echo '\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430....' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/1c\/4o\/9g\/1c4o9g9h0kikefnegit6u2wru0c.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430.... <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"bash\">[ \t[ \t\t&quot;\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e&quot;, \t\t&quot;\u0438\u0437&quot;, \t\t&quot;\u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438&quot;, \t\t&quot;\u0432&quot;, \t\t&quot;\u041e\u043b\u0435\u0433\u0430&quot;, \t\t&quot;\u0443\u0434\u0430\u0440\u0438\u043b&quot;, \t\t&quot;\u044f\u0440\u043a\u0438\u0439&quot;, \t\t&quot;\u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440&quot;, \t\t&quot;\u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439&quot;, \t\t&quot;\u0442\u0440\u0430\u043a\u0442\u043e\u0440&quot;, \t\t&quot;?&quot;, \t\t&quot;?&quot;, \t\t&quot;?&quot; ],[ \t\t&quot;\u0421&quot;, \t\t&quot;\u043b\u044f\u0437\u0433\u043e\u043c&quot;, \t\t&quot;\u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f&quot;, \t\t&quot;\u0438&quot;, \t\t&quot;\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f&quot;, \t\t&quot;\u0432\u043e\u0437\u043b\u0435&quot;, \t\t&quot;\u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430&quot;, \t\t&quot;.&quot;, \t\t&quot;.&quot;, \t\t&quot;.&quot;, \t\t&quot;.&quot; \t] ] <\/code><\/pre>\n<p>  \u041a\u0430\u043a \u0432\u0438\u0434\u0438\u0442\u0435, \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438.<br \/>  \u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u0435\u043c \u0442\u0435\u043a\u0441\u0442 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<pre><code class=\"bash\">$ echo '\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440...\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430.' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dj\/su\/mm\/djsummg1bbl0ybro6i8dtsalfma.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440...\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430. <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"json\">[ \t[ \t\t&quot;\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e&quot;, \t\t&quot;\u0438\u0437&quot;, \t\t&quot;\u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438&quot;, \t\t&quot;\u0432&quot;, \t\t&quot;\u041e\u043b\u0435\u0433\u0430&quot;, \t\t&quot;\u0443\u0434\u0430\u0440\u0438\u043b&quot;, \t\t&quot;\u044f\u0440\u043a\u0438\u0439&quot;, \t\t&quot;\u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440&quot;, \t\t&quot;\u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439&quot;, \t\t&quot;\u0442\u0440\u0430\u043a\u0442\u043e\u0440&quot;, \t\t&quot;.&quot;, \t\t&quot;.&quot;, \t\t&quot;.&quot;, \t\t&quot;\u0441&quot;, \t\t&quot;\u043b\u044f\u0437\u0433\u043e\u043c&quot;, \t\t&quot;\u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f&quot;, \t\t&quot;\u0438&quot;, \t\t&quot;\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f&quot;, \t\t&quot;\u0432\u043e\u0437\u043b\u0435&quot;, \t\t&quot;\u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430&quot;, \t\t&quot;.&quot; \t] ] <\/code><\/pre>\n<p>  \u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0435.<\/p>\n<pre><code class=\"bash\">$ echo '\u041a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0439 \u0434\u0443\u0448 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 5\u20137 \u043c\u0438\u043d. \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f: 1 \u043c\u0438\u043d. \u0433\u043e\u0440\u044f\u0447\u0430\u044f \u0432\u043e\u0434\u0430 ( +37\u201338\u00b0), \u0437\u0430\u0442\u0435\u043c 5\u201310 \u0441\u0435\u043a. \u2013 \u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f \u0432\u043e\u0434\u0430 ( +12\u201315\u00b0) \u0438 \u0442.\u0434.\u00bb| |()' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jh\/j1\/yt\/jhj1ytmj7c5en0dijbzzja7vio4.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u041a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0439 \u0434\u0443\u0448 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 5\u20137 \u043c\u0438\u043d. \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f: 1 \u043c\u0438\u043d. \u0433\u043e\u0440\u044f\u0447\u0430\u044f \u0432\u043e\u0434\u0430 ( +37\u201338\u00b0), \u0437\u0430\u0442\u0435\u043c 5\u201310 \u0441\u0435\u043a. \u2013 \u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f \u0432\u043e\u0434\u0430 ( +12\u201315\u00b0) \u0438 \u0442.\u0434.\u00bb| |() <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"json\">[ \t[ \t\t&quot;\u041a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0439&quot;, \t\t&quot;\u0434\u0443\u0448&quot;, \t\t&quot;\u0432&quot;, \t\t&quot;\u0442\u0435\u0447\u0435\u043d\u0438\u0435&quot;, \t\t&quot;5\u20137&quot;, \t\t&quot;\u043c\u0438\u043d.&quot;, \t\t&quot;\u0442\u0430\u043a\u0436\u0435&quot;, \t\t&quot;\u043c\u043e\u0436\u0435\u0442&quot;, \t\t&quot;\u0441\u0442\u0430\u0442\u044c&quot;, \t\t&quot;\u043f\u0440\u043e\u0441\u0442\u044b\u043c&quot;, \t\t&quot;\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c&quot;, \t\t&quot;\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f&quot;, \t\t&quot;\u0432&quot;, \t\t&quot;\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435&quot;, \t\t&quot;\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438&quot;, \t\t&quot;\u043f\u0440\u0438&quot;, \t\t&quot;\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439&quot;, \t\t&quot;\u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435&quot;, \t\t&quot;\u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f&quot;, \t\t&quot;:&quot;, \t\t&quot;1&quot;, \t\t&quot;\u043c\u0438\u043d.&quot;, \t\t&quot;\u0433\u043e\u0440\u044f\u0447\u0430\u044f&quot;, \t\t&quot;\u0432\u043e\u0434\u0430&quot;, \t\t&quot;(&quot;, \t\t&quot;+37\u201338\u00b0&quot;, \t\t&quot;)&quot;, \t\t&quot;,&quot;, \t\t&quot;\u0437\u0430\u0442\u0435\u043c&quot;, \t\t&quot;5\u201310&quot;, \t\t&quot;\u0441\u0435\u043a.&quot;, \t\t&quot;\u2013&quot;, \t\t&quot;\u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f&quot;, \t\t&quot;\u0432\u043e\u0434\u0430&quot;, \t\t&quot;(&quot;, \t\t&quot;+12\u201315\u00b0&quot;, \t\t&quot;)&quot;, \t\t&quot;\u0438&quot;, \t\t&quot;\u0442.\u0434.&quot;, \t\t&quot;\u00bb&quot;, \t\t&quot;|&quot;, \t\t&quot;|&quot;, \t\t&quot;(&quot;, \t\t&quot;)&quot; \t] ] <\/code><\/pre>\n<p>  <\/p>\n<h3>\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043c \u0432\u0441\u0435 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0442\u0435\u043a\u0441\u0442<\/h3>\n<p>  \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u0435\u0441\u0442.<\/p>\n<pre><code class=\"bash\">$ echo '[[&quot;Hello&quot;,&quot;World&quot;,&quot;?&quot;]]' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/3d\/po\/j2\/3dpoj2wy29gmgzsllxoya7bzzki.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"json\">[[&quot;Hello&quot;,&quot;World&quot;,&quot;?&quot;]]<\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">Hello World?<\/code><\/pre>\n<p>  \u0412\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0442\u0435\u0441\u0442.<\/p>\n<pre><code class=\"bash\">$ echo '[[&quot;\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e&quot;,&quot;\u0438\u0437&quot;,&quot;\u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438&quot;,&quot;\u0432&quot;,&quot;\u041e\u043b\u0435\u0433\u0430&quot;,&quot;\u0443\u0434\u0430\u0440\u0438\u043b&quot;,&quot;\u044f\u0440\u043a\u0438\u0439&quot;,&quot;\u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440&quot;,&quot;\u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439&quot;,&quot;\u0442\u0440\u0430\u043a\u0442\u043e\u0440&quot;,&quot;?&quot;,&quot;?&quot;,&quot;?&quot;],[&quot;\u0421&quot;,&quot;\u043b\u044f\u0437\u0433\u043e\u043c&quot;,&quot;\u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f&quot;,&quot;\u0438&quot;,&quot;\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f&quot;,&quot;\u0432\u043e\u0437\u043b\u0435&quot;,&quot;\u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430&quot;,&quot;.&quot;,&quot;.&quot;,&quot;.&quot;,&quot;.&quot;]]' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/6s\/vr\/ga\/6svrganblqpfw0swfc-ve6s9s1i.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"json\">[[&quot;\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e&quot;,&quot;\u0438\u0437&quot;,&quot;\u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438&quot;,&quot;\u0432&quot;,&quot;\u041e\u043b\u0435\u0433\u0430&quot;,&quot;\u0443\u0434\u0430\u0440\u0438\u043b&quot;,&quot;\u044f\u0440\u043a\u0438\u0439&quot;,&quot;\u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440&quot;,&quot;\u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439&quot;,&quot;\u0442\u0440\u0430\u043a\u0442\u043e\u0440&quot;,&quot;?&quot;,&quot;?&quot;,&quot;?&quot;],[&quot;\u0421&quot;,&quot;\u043b\u044f\u0437\u0433\u043e\u043c&quot;,&quot;\u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f&quot;,&quot;\u0438&quot;,&quot;\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f&quot;,&quot;\u0432\u043e\u0437\u043b\u0435&quot;,&quot;\u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430&quot;,&quot;.&quot;,&quot;.&quot;,&quot;.&quot;,&quot;.&quot;]]<\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>   <\/p>\n<pre><code class=\"plaintext\">\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440??? \u0421 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430\u2026. <\/code><\/pre>\n<p>  \u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u0441\u043c\u043e\u0433 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0441\u043b\u043e\u043c\u0430\u043d\u043d\u044b\u0439 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>  \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<pre><code class=\"bash\">$ echo '[[&quot;\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e&quot;,&quot;\u0438\u0437&quot;,&quot;\u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438&quot;,&quot;\u0432&quot;,&quot;\u041e\u043b\u0435\u0433\u0430&quot;,&quot;\u0443\u0434\u0430\u0440\u0438\u043b&quot;,&quot;\u044f\u0440\u043a\u0438\u0439&quot;,&quot;\u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440&quot;,&quot;\u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439&quot;,&quot;\u0442\u0440\u0430\u043a\u0442\u043e\u0440&quot;,&quot;.&quot;,&quot;.&quot;,&quot;.&quot;,&quot;\u0441&quot;,&quot;\u043b\u044f\u0437\u0433\u043e\u043c&quot;,&quot;\u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f&quot;,&quot;\u0438&quot;,&quot;\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f&quot;,&quot;\u0432\u043e\u0437\u043b\u0435&quot;,&quot;\u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430&quot;,&quot;.&quot;]]' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zz\/zb\/6v\/zzzb6vv8ladqqrnbxamx8xolqss.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"json\">[[&quot;\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e&quot;,&quot;\u0438\u0437&quot;,&quot;\u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438&quot;,&quot;\u0432&quot;,&quot;\u041e\u043b\u0435\u0433\u0430&quot;,&quot;\u0443\u0434\u0430\u0440\u0438\u043b&quot;,&quot;\u044f\u0440\u043a\u0438\u0439&quot;,&quot;\u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440&quot;,&quot;\u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439&quot;,&quot;\u0442\u0440\u0430\u043a\u0442\u043e\u0440&quot;,&quot;.&quot;,&quot;.&quot;,&quot;.&quot;,&quot;\u0441&quot;,&quot;\u043b\u044f\u0437\u0433\u043e\u043c&quot;,&quot;\u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f&quot;,&quot;\u0438&quot;,&quot;\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f&quot;,&quot;\u0432\u043e\u0437\u043b\u0435&quot;,&quot;\u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430&quot;,&quot;.&quot;]] <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440... \u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430. <\/code><\/pre>\n<p>  \u041d\u0443 \u0438 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0441\u0430\u043c\u044b\u0439 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442.<\/p>\n<pre><code class=\"bash\">$ echo '[[&quot;\u041a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0439&quot;,&quot;\u0434\u0443\u0448&quot;,&quot;\u0432&quot;,&quot;\u0442\u0435\u0447\u0435\u043d\u0438\u0435&quot;,&quot;5\u20137&quot;,&quot;\u043c\u0438\u043d.&quot;,&quot;\u0442\u0430\u043a\u0436\u0435&quot;,&quot;\u043c\u043e\u0436\u0435\u0442&quot;,&quot;\u0441\u0442\u0430\u0442\u044c&quot;,&quot;\u043f\u0440\u043e\u0441\u0442\u044b\u043c&quot;,&quot;\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c&quot;,&quot;\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f&quot;,&quot;\u0432&quot;,&quot;\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435&quot;,&quot;\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438&quot;,&quot;\u043f\u0440\u0438&quot;,&quot;\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439&quot;,&quot;\u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435&quot;,&quot;\u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f&quot;,&quot;:&quot;,&quot;1&quot;,&quot;\u043c\u0438\u043d.&quot;,&quot;\u0433\u043e\u0440\u044f\u0447\u0430\u044f&quot;,&quot;\u0432\u043e\u0434\u0430&quot;,&quot;(&quot;,&quot;+37\u201338\u00b0&quot;,&quot;)&quot;,&quot;,&quot;,&quot;\u0437\u0430\u0442\u0435\u043c&quot;,&quot;5\u201310&quot;,&quot;\u0441\u0435\u043a.&quot;,&quot;\u2013&quot;,&quot;\u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f&quot;,&quot;\u0432\u043e\u0434\u0430&quot;,&quot;(&quot;,&quot;+12\u201315\u00b0&quot;,&quot;)&quot;,&quot;\u0438&quot;,&quot;\u0442.\u0434.&quot;,&quot;\u00bb&quot;,&quot;|&quot;,&quot;|&quot;,&quot;(&quot;,&quot;)&quot;]]' | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method tokens <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/hr\/34\/su\/hr34suhjeirezdi8z7mnqmiv48q.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"json\">[[&quot;\u041a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0439&quot;,&quot;\u0434\u0443\u0448&quot;,&quot;\u0432&quot;,&quot;\u0442\u0435\u0447\u0435\u043d\u0438\u0435&quot;,&quot;5\u20137&quot;,&quot;\u043c\u0438\u043d.&quot;,&quot;\u0442\u0430\u043a\u0436\u0435&quot;,&quot;\u043c\u043e\u0436\u0435\u0442&quot;,&quot;\u0441\u0442\u0430\u0442\u044c&quot;,&quot;\u043f\u0440\u043e\u0441\u0442\u044b\u043c&quot;,&quot;\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c&quot;,&quot;\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f&quot;,&quot;\u0432&quot;,&quot;\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435&quot;,&quot;\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438&quot;,&quot;\u043f\u0440\u0438&quot;,&quot;\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439&quot;,&quot;\u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435&quot;,&quot;\u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f&quot;,&quot;:&quot;,&quot;1&quot;,&quot;\u043c\u0438\u043d.&quot;,&quot;\u0433\u043e\u0440\u044f\u0447\u0430\u044f&quot;,&quot;\u0432\u043e\u0434\u0430&quot;,&quot;(&quot;,&quot;+37\u201338\u00b0&quot;,&quot;)&quot;,&quot;,&quot;,&quot;\u0437\u0430\u0442\u0435\u043c&quot;,&quot;5\u201310&quot;,&quot;\u0441\u0435\u043a.&quot;,&quot;\u2013&quot;,&quot;\u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f&quot;,&quot;\u0432\u043e\u0434\u0430&quot;,&quot;(&quot;,&quot;+12\u201315\u00b0&quot;,&quot;)&quot;,&quot;\u0438&quot;,&quot;\u0442.\u0434.&quot;,&quot;\u00bb&quot;,&quot;|&quot;,&quot;|&quot;,&quot;(&quot;,&quot;)&quot;]] <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u041a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u043d\u044b\u0439 \u0434\u0443\u0448 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 5\u20137 \u043c\u0438\u043d. \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f: 1 \u043c\u0438\u043d. \u0433\u043e\u0440\u044f\u0447\u0430\u044f \u0432\u043e\u0434\u0430 (+37\u201338\u00b0), \u0437\u0430\u0442\u0435\u043c 5\u201310 \u0441\u0435\u043a. \u2013 \u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f \u0432\u043e\u0434\u0430 (+12\u201315\u00b0) \u0438 \u0442.\u0434.\u00bb || () <\/code><\/pre>\n<p>  \u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<h3>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -size 3 -smoothing wittenbell -method train -debug 1 -w-arpa .\/lm.arpa -w-map .\/lm.map -w-vocab .\/lm.vocab -w-ngram .\/lm.ngrams -allow-unk -interpolate -corpus .\/text.txt -threads 0 -train-segments <\/code><\/pre>\n<p>  \u041e\u043f\u0438\u0448\u0443 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0431\u043e\u0440\u043a\u0438.<\/p>\n<ul>\n<li><b>size<\/b> \u2014 \u0420\u0430\u0437\u043c\u0435\u0440 \u0434\u043b\u0438\u043d\u044b N-\u0433\u0440\u0430\u043c\u043c\u044b (\u0440\u0430\u0437\u043c\u0435\u0440 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u0432 <b>3 \u0433\u0440\u0430\u043c\u043c\u044b<\/b>)<\/li>\n<li><b>smoothing<\/b> \u2014 \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u044f (\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u044b\u0431\u0440\u0430\u043d <b>Witten-Bell<\/b>)<\/li>\n<li><b>method<\/b> \u2014 \u041c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u044b (\u043c\u0435\u0442\u043e\u0434 \u0443\u043a\u0430\u0437\u0430\u043d <b>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/b>)<\/li>\n<li><b>debug<\/b> \u2014 \u0420\u0435\u0436\u0438\u043c \u043e\u0442\u043b\u0430\u0434\u043a\u0438 (\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0441\u0442\u0430\u0442\u0443\u0441\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f)<\/li>\n<li><b>w-arpa<\/b> \u2014 \u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043d \u044d\u043a\u0441\u043f\u043e\u0440\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0444\u0430\u0439\u043b <b>ARPA<\/b><\/li>\n<li><b>w-map<\/b> \u2014 \u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043d \u044d\u043a\u0441\u043f\u043e\u0440\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0444\u0430\u0439\u043b <b>MAP<\/b><\/li>\n<li><b>w-vocab<\/b> \u2014 \u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043d \u044d\u043a\u0441\u043f\u043e\u0440\u0442 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0432 \u0444\u0430\u0439\u043b <b>VOCAB<\/b><\/li>\n<li><b>w-ngram<\/b> \u2014 \u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043d \u044d\u043a\u0441\u043f\u043e\u0440\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0444\u0430\u0439\u043b <b>NGRAM<\/b><\/li>\n<li><b>allow-unk<\/b> \u2014 \u0412 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u0433 <b>\u2329unk\u232a<\/b><\/li>\n<li><b>interpolate<\/b> \u2014 \u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044e<\/li>\n<li><b>corpus<\/b> \u2014 \u0410\u0434\u0440\u0435\u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b, \u0438 \u043a\u0430\u0442\u0430\u043b\u043e\u0433 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u0430\u0439\u043b\u044b<\/li>\n<li><b>threads<\/b> \u2014 \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c (0 \u2014 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0434\u0430\u043d\u044b \u0432\u0441\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u044f\u0434\u0440\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430, &gt; 0 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044f\u0434\u0435\u0440 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438)<\/li>\n<li><b>train-segments<\/b> \u2014 \u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e \u0432\u0441\u0435\u043c \u044f\u0434\u0440\u0430\u043c<\/li>\n<\/ul>\n<p>  \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u043b\u0430\u0433\u0430 <b>[-help]<\/b>.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rp\/yu\/1f\/rpyu1fawwwxcrcw5a-a8rnvafs8.png\" alt=\"terminal\"><\/p>\n<h3>\u0420\u0430\u0441\u0447\u0451\u0442 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ echo &quot;\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430....&quot; | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method ppl -debug 2 -r-arpa .\/lm.arpa -confidence -threads 0 <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jy\/3j\/ea\/jy3jeado8cxrhvr6qzvparddkba.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430\u2026. <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"bash\">info: &lt;s&gt; \u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u043e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440 &lt;punct&gt; &lt;punct&gt; &lt;punct&gt; &lt;\/s&gt;  info: p( \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e | &lt;s&gt; ) = [2gram] 0.00209192 [ -2.67945500 ] \/ 0.99999999 info: p( \u0438\u0437 | \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e ...) = [3gram] 0.91439744 [ -0.03886500 ] \/ 1.00000035 info: p( \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 | \u0438\u0437 ...) = [3gram] 0.86302624 [ -0.06397600 ] \/ 0.99999998 info: p( \u0432 | \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 ...) = [3gram] 0.98003368 [ -0.00875900 ] \/ 1.00000088 info: p( \u043e\u043b\u0435\u0433\u0430 | \u0432 ...) = [3gram] 0.85783547 [ -0.06659600 ] \/ 0.99999955 info: p( \u0443\u0434\u0430\u0440\u0438\u043b | \u043e\u043b\u0435\u0433\u0430 ...) = [3gram] 0.95238819 [ -0.02118600 ] \/ 0.99999897 info: p( \u044f\u0440\u043a\u0438\u0439 | \u0443\u0434\u0430\u0440\u0438\u043b ...) = [3gram] 0.97959599 [ -0.00895300 ] \/ 1.00000090 info: p( \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 | \u044f\u0440\u043a\u0438\u0439 ...) = [3gram] 0.97959599 [ -0.00895300 ] \/ 1.00000090 info: p( \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 | \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 ...) = [3gram] 0.97959599 [ -0.00895300 ] \/ 1.00000090 info: p( \u0442\u0440\u0430\u043a\u0442\u043e\u0440 | \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 ...) = [3gram] 0.97959599 [ -0.00895300 ] \/ 1.00000090 info: p( &lt;punct&gt; | \u0442\u0440\u0430\u043a\u0442\u043e\u0440 ...) = [3gram] 0.78127873 [ -0.10719400 ] \/ 1.00000031 info: p( &lt;punct&gt; | &lt;punct&gt; ...) = [2gram] 0.29417110 [ -0.53140000 ] \/ 0.99999998 info: p( &lt;punct&gt; | &lt;punct&gt; ...) = [3gram] 0.51262054 [ -0.29020400 ] \/ 0.99999998 info: p( &lt;\/s&gt; | &lt;punct&gt; ...) = [3gram] 0.45569787 [ -0.34132300 ] \/ 0.99999998  info: 1 sentences, 13 words, 0 OOVs info: 0 zeroprobs, logprob= -4.18477000 ppl= 1.99027067 ppl1= 2.09848266  info: &lt;s&gt; \u0421 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430 &lt;punct&gt; &lt;punct&gt; &lt;punct&gt; &lt;punct&gt; &lt;\/s&gt;  info: p( \u0441 | &lt;s&gt; ) = [2gram] 0.00809597 [ -2.09173100 ] \/ 0.99999999 info: p( \u043b\u044f\u0437\u0433\u043e\u043c | \u0441 ...) = [3gram] 0.19675329 [ -0.70607800 ] \/ 0.99999972 info: p( \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f | \u043b\u044f\u0437\u0433\u043e\u043c ...) = [3gram] 0.97959599 [ -0.00895300 ] \/ 1.00000090 info: p( \u0438 | \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f ...) = [3gram] 0.98007204 [ -0.00874200 ] \/ 0.99999931 info: p( \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f | \u0438 ...) = [3gram] 0.85785325 [ -0.06658700 ] \/ 1.00000018 info: p( \u0432\u043e\u0437\u043b\u0435 | \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f ...) = [3gram] 0.81482810 [ -0.08893400 ] \/ 1.00000027 info: p( \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430 | \u0432\u043e\u0437\u043b\u0435 ...) = [3gram] 0.93507404 [ -0.02915400 ] \/ 1.00000058 info: p( &lt;punct&gt; | \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430 ...) = [3gram] 0.76391493 [ -0.11695500 ] \/ 0.99999971 info: p( &lt;punct&gt; | &lt;punct&gt; ...) = [2gram] 0.29417110 [ -0.53140000 ] \/ 0.99999998 info: p( &lt;punct&gt; | &lt;punct&gt; ...) = [3gram] 0.51262054 [ -0.29020400 ] \/ 0.99999998 info: p( &lt;punct&gt; | &lt;punct&gt; ...) = [3gram] 0.51262054 [ -0.29020400 ] \/ 0.99999998 info: p( &lt;\/s&gt; | &lt;punct&gt; ...) = [3gram] 0.45569787 [ -0.34132300 ] \/ 0.99999998  info: 1 sentences, 11 words, 0 OOVs info: 0 zeroprobs, logprob= -4.57026500 ppl= 2.40356248 ppl1= 2.60302678  info: 2 sentences, 24 words, 0 OOVs info: 0 zeroprobs, logprob= -8.75503500 ppl= 2.23975957 ppl1= 2.31629103  info: work time shifting: 0 seconds <\/code><\/pre>\n<p>  \u0414\u0443\u043c\u0430\u044e, \u0442\u0443\u0442 \u043e\u0441\u043e\u0431\u043e \u043d\u0435\u0447\u0435\u0433\u043e \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043c \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ echo &quot;&lt;s&gt; \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0441\u044b\u0433\u0440\u0430\u043b \u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440 \u0441 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0441\u0435\u043a\u0442\u043e\u0440\u043e\u043c &lt;\/s&gt;&quot; | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method checktext -debug 1 -r-arpa .\/lm.arpa -confidence <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/j8\/uq\/sc\/j8uqscm5eln_yjlrkiu1ulk3-6k.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">&lt;s&gt; \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0441\u044b\u0433\u0440\u0430\u043b \u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440 \u0441 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0441\u0435\u043a\u0442\u043e\u0440\u043e\u043c &lt;\/s&gt; <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">YES | &lt;s&gt; \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0441\u044b\u0433\u0440\u0430\u043b \u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440 \u0441 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0441\u0435\u043a\u0442\u043e\u0440\u043e\u043c &lt;\/s&gt; <\/code><\/pre>\n<p>  \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0438\u043c\u0435\u0435\u0442 \u0432\u0435\u0440\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>  \u0424\u043b\u0430\u0433 [<b>-confidence<\/b>] \u2014 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u0430 \u0442\u0430\u043a, \u043a\u0430\u043a \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0441\u043e\u0431\u0440\u0430\u043d\u0430, \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h3>\u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u0432 \u0441\u043b\u043e\u0432<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ echo &quot;\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430....&quot; | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method fixcase -debug 1 -r-arpa .\/lm.arpa -confidence <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/kz\/xz\/xj\/kzxzxj_ibhpthi6wpq2nijy1dzg.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430.... <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u041d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440??? \u0421 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430.... <\/code><\/pre>\n<p>  \u0420\u0435\u0433\u0438\u0441\u0442\u0440\u044b \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>  \u0412\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b \u043a \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0443 \u0441\u043b\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, N-\u0433\u0440\u0430\u043c\u043c\u0430 \u00ab<b>\u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0437\u0430\u0432\u0442\u0440\u0430 \u0434\u043e\u0436\u0434\u044c<\/b>\u00bb \u043d\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e N-\u0433\u0440\u0430\u043c\u043c\u0430 \u00ab<b>\u0432 \u043c\u043e\u0441\u043a\u0432\u0435 \u0437\u0430\u0432\u0442\u0440\u0430 \u0434\u043e\u0436\u0434\u044c<\/b>\u00bb, \u044d\u0442\u043e \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 N-\u0433\u0440\u0430\u043c\u043c\u044b. \u041d\u043e \u043a\u0430\u043a \u0431\u044b\u0442\u044c, \u0435\u0441\u043b\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0443\u0447\u0451\u0442 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u0432 \u0441\u043b\u043e\u0432 \u0438, \u0432 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f, \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 N-\u0433\u0440\u0430\u043c\u043c\u044b \u043d\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e? <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u0432\u0441\u0435 N-\u0433\u0440\u0430\u043c\u043c\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432 \u043d\u0438\u0436\u043d\u0435\u043c \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0435. \u0422\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f N-\u0433\u0440\u0430\u043c\u043c. <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u0442\u0430\u043a\u0436\u0435 \u0432\u0435\u0434\u0451\u0442 \u0441\u0432\u043e\u0439 \u0440\u0435\u0439\u0442\u0438\u043d\u0433 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u043e\u0432 \u0441\u043b\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 N-\u0433\u0440\u0430\u043c\u043c\u0435. \u041f\u0440\u0438 \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0435 \u0432 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u044b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0438\u0445 \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0430.<\/p>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 N-\u0433\u0440\u0430\u043c\u043c<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ echo &quot;\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430....&quot; | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method counts -debug 1 -r-arpa .\/lm.arpa -confidence <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jq\/tw\/zt\/jqtwztws_lzkvujxrfm9mtpreco.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430.... <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">10 [3gram] |  \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 N-\u0433\u0440\u0430\u043c\u043c\u044b \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043f\u043e \u0431\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c \u0438 \u0442\u0440\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c. <\/code><\/pre>\n<p>  \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 N-\u0433\u0440\u0430\u043c\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 N-\u0433\u0440\u0430\u043c\u043c\u044b \u0432 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0415\u0449\u0451 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043f\u043e <b>\u0431\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c<\/b> \u0438 <b>\u0442\u0440\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c<\/b>.<\/p>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e \u0431\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ echo &quot;\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430....&quot; | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method counts -ngrams bigram -debug 1 -r-arpa .\/lm.arpa -confidence <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/44\/cj\/yq\/44cjyq3fy7y_bizac-77wjqk9jc.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430.... <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">12 [2gram] | \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430\u2026. <\/code><\/pre>\n<p>  <\/p>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e \u0442\u0440\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ echo &quot;\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430....&quot; | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method counts -ngrams trigram -debug 1 -r-arpa .\/lm.arpa -confidence <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jq\/tw\/zt\/jqtwztws_lzkvujxrfm9mtpreco.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430.... <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">10 [3gram] | \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u0438\u0437 \u043f\u043e\u0434\u0432\u043e\u0440\u043e\u0442\u043d\u0438 \u0432 \u041e\u043b\u0435\u0433\u0430 \u0443\u0434\u0430\u0440\u0438\u043b \u044f\u0440\u043a\u0438\u0439 \u043f\u0440\u043e\u0436\u0435\u043a\u0442\u043e\u0440 \u043f\u0430\u0442\u0440\u0443\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043a\u0442\u043e\u0440???\u0441 \u043b\u044f\u0437\u0433\u043e\u043c \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0441\u044f \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0432\u043e\u0437\u043b\u0435 \u043c\u0430\u043b\u044c\u0447\u0438\u043a\u0430\u2026. <\/code><\/pre>\n<p>  <\/p>\n<h3>\u041f\u043e\u0438\u0441\u043a N-\u0433\u0440\u0430\u043c\u043c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435<\/h3>\n<p>  <\/p>\n<pre><code class=\"bash\">$ echo &quot;\u041e\u0441\u043e\u0431\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0447\u0443\u0434\u043e\u0442\u0432\u043e\u0440\u043d\u0430\u044f \u0438\u043a\u043e\u043d\u0430 \u041b\u043e\u0431\u0437\u0430\u043d\u0438\u0435 \u0425\u0440\u0438\u0441\u0442\u0430 \u0418\u0443\u0434\u043e\u044e&quot; | .\/alm -alphabet &quot;abcdefghijklmnopqrstuvwxyz\u0430\u0431\u0432\u0433\u0434\u0435\u0451\u0436\u0437\u0438\u0439\u043a\u043b\u043c\u043d\u043e\u043f\u0440\u0441\u0442\u0443\u0444\u0445\u0446\u0447\u0448\u0449\u044a\u044b\u044c\u044d\u044e\u044f&quot; -method find -debug 1 -r-arpa .\/lm.arpa -confidence <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zb\/fw\/05\/zbfw05oqwamooxgyp_tt8vdmqz0.png\" alt=\"terminal\"><\/p>\n<p>  <b>\u0422\u0435\u0441\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">\u041e\u0441\u043e\u0431\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0447\u0443\u0434\u043e\u0442\u0432\u043e\u0440\u043d\u0430\u044f \u0438\u043a\u043e\u043d\u0430 \u041b\u043e\u0431\u0437\u0430\u043d\u0438\u0435 \u0425\u0440\u0438\u0441\u0442\u0430 \u0418\u0443\u0434\u043e\u044e <\/code><\/pre>\n<p>  <b>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/b>  <\/p>\n<pre><code class=\"plaintext\">&lt;s&gt; \u041e\u0441\u043e\u0431\u043e\u0435 \u041e\u0441\u043e\u0431\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043c\u0435\u0441\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0447\u0443\u0434\u043e\u0442\u0432\u043e\u0440\u043d\u0430\u044f \u0447\u0443\u0434\u043e\u0442\u0432\u043e\u0440\u043d\u0430\u044f \u0438\u043a\u043e\u043d\u0430 \u0438\u043a\u043e\u043d\u0430 \u041b\u043e\u0431\u0437\u0430\u043d\u0438\u0435 \u041b\u043e\u0431\u0437\u0430\u043d\u0438\u0435 \u0425\u0440\u0438\u0441\u0442\u0430 \u0425\u0440\u0438\u0441\u0442\u0430 \u0418\u0443\u0434\u043e\u044e \u0418\u0443\u0434\u043e\u044e &lt;\/s&gt; <\/code><\/pre>\n<p>  \u0421\u043f\u0438\u0441\u043e\u043a N-\u0433\u0440\u0430\u043c\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u044b \u0432 \u0442\u0435\u043a\u0441\u0442\u0435. \u041f\u043e\u044f\u0441\u043d\u044f\u0442\u044c \u0442\u0443\u0442 \u043e\u0441\u043e\u0431\u043e \u043d\u0435\u0447\u0435\u0433\u043e.<\/p>\n<h3>\u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f<\/h3>\n<p>  \u0412\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f. \u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u0430 <b>ALM_<\/b> \u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0432\u0435\u0440\u0445\u043d\u0435\u043c \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0435. \u0412 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f, \u0442\u043e \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442 \u043e\u0442\u0434\u0430\u0451\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n<pre><code class=\"bash\">$ export $ALM_SMOOTHING=wittenbell $ export $ALM_W-ARPA=.\/lm.arpa <\/code><\/pre>\n<p>  \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u0431\u043e\u0440\u043a\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0435\u0440\u0435\u0437 BASH-\u0441\u043a\u0440\u0438\u043f\u0442\u044b.<\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>  \u041f\u043e\u043d\u0438\u043c\u0430\u044e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432\u0440\u043e\u0434\u0435 <b>RnnLM<\/b> \u0438\u043b\u0438 <b>Bert<\/b>. \u041d\u043e \u0443\u0432\u0435\u0440\u0435\u043d, \u0447\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 N-\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0449\u0435 \u0434\u043e\u043b\u0433\u043e \u0431\u0443\u0434\u0443\u0442 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c\u0438.<br \/>  \u041d\u0430 \u044d\u0442\u0443 \u0440\u0430\u0431\u043e\u0442\u0443 \u0443\u0448\u043b\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0441\u0438\u043b. \u0417\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439 \u0432 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0435 \u043e\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0432\u0440\u0435\u043c\u044f, \u043f\u043e \u043d\u043e\u0447\u0430\u043c \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c. \u0422\u0435\u0441\u0442\u0430\u043c\u0438 \u043a\u043e\u0434 \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u043b, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0431\u0430\u0433\u0438. \u0411\u0443\u0434\u0443 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u0435\u043d \u0437\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u0422\u0430\u043a\u0436\u0435 \u044f \u043e\u0442\u043a\u0440\u044b\u0442 \u043a \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c \u043f\u043e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u043d\u043e\u0432\u043e\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0443 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438. <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\"><b>ALM<\/b><\/a> \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 <a href=\"http:\/\/opensource.org\/licenses\/MIT\" rel=\"nofollow\">MIT<\/a>, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u0435\u0437 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439.<\/p>\n<p>  <i>\u041d\u0430\u0434\u0435\u044e\u0441\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u043a\u0440\u0438\u0442\u0438\u043a\u0443, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/i><\/p>\n<p>  <b>\u0421\u0430\u0439\u0442 \u043f\u0440\u043e\u0435\u043a\u0442\u0430:<\/b> <a href=\"https:\/\/anyks.com\" rel=\"nofollow\">https:\/\/anyks.com<\/a><br \/>  <b>\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442\u0430:<\/b> <a href=\"https:\/\/github.com\/anyks\/alm\" rel=\"nofollow\">https:\/\/github.com\/anyks\/alm<\/a><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/499064\/\"> https:\/\/habr.com\/ru\/post\/499064\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/499064\/\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mp\/wd\/cc\/mpwdccv_0khoiqd88e0bo5vg9tq.png\" alt=\"ALM\"><\/p>\n<p>  \u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u043f\u043e\u043b\u043d\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430 \u0442\u0435\u043c\u0443 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 N-\u0433\u0440\u0430\u043c\u043c\u0430\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u043e.<\/p>\n<p>  \u0415\u0441\u0442\u044c <a href=\"https:\/\/github.com\/kpu\/kenlm\" rel=\"nofollow\"><b>KenLM<\/b><\/a>, <a href=\"https:\/\/github.com\/BitMindLab\/SRILM\" rel=\"nofollow\"><b>SriLM<\/b><\/a> \u0438 <a href=\"https:\/\/github.com\/irstlm-team\/irstlm\" rel=\"nofollow\"><b>IRSTLM<\/b><\/a>. \u041e\u043d\u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445. \u041d\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b:  <\/p>\n<ol>\n<li>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0441\u0442\u0430\u0440\u044b\u0435, \u043d\u0435 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0442\u0441\u044f.<\/li>\n<li>\u041f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/li>\n<li>\u0420\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0447\u0438\u0441\u0442\u044b\u043c, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c, \u0442\u0435\u043a\u0441\u0442\u043e\u043c<\/li>\n<li>\u041f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 UTF-8. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/github.com\/BitMindLab\/SRILM\" rel=\"nofollow\"><b>SriLM<\/b><\/a> \u0441 \u0444\u043b\u0430\u0433\u043e\u043c <b>tolower<\/b> \u043b\u043e\u043c\u0430\u0435\u0442 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0443.<\/li>\n<\/ol>\n<p>  \u0418\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f <a href=\"https:\/\/github.com\/kpu\/kenlm\" rel=\"nofollow\"><b>KenLM<\/b><\/a>. \u0420\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 UTF-8, \u043d\u043e \u043e\u043d\u0430 \u0442\u0430\u043a\u0436\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>  \u041a\u043e\u0433\u0434\u0430-\u0442\u043e \u043c\u043d\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0441\u0431\u043e\u0440\u043a\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u0441\u043b\u0435 \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u043e\u0431 \u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438\u0448\u0451\u043b \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0438 \u0434\u043e\u043b\u0433\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e <b>\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a<\/b>! \u0410 \u0432\u0435\u0434\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043a\u0430\u043a-\u0442\u043e \u0432\u0441\u0451 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<p>  \u0412 \u0441\u0432\u043e\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445 \u043e\u0442\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u043b\u0441\u044f \u043e\u0442 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/BitMindLab\/SRILM\" rel=\"nofollow\"><b>SriLM<\/b><\/a>. \u0421\u0440\u0430\u0437\u0443 \u043e\u0442\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u0434\u0430 \u0438 \u043d\u0435 <b>fork SriLM<\/b>. \u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441 \u043d\u0443\u043b\u044f.  <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-302536","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/302536","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=302536"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/302536\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=302536"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=302536"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=302536"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}