{"id":352393,"date":"2024-05-20T22:07:50","date_gmt":"2024-05-20T22:07:50","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=352393"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-05-20T22:07:50","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=352393","title":{"rendered":"<span>\u041e\u0442 \u043f\u043e\u043b\u0438\u0433\u043b\u043e\u0442\u0430 \u043a \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0443: \u043c\u043e\u0434\u0435\u043b\u0438 mGPT \u0434\u043b\u044f \u043c\u0430\u043b\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u0441\u0442\u0440\u0430\u043d \u0421\u041d\u0413<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ab9\/5c7\/439\/ab95c7439caf472572f987d390b5521a.png\" alt=\"\u041c\u0430\u043b\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0434\u043e\u0436\u0438\u043b\u0438 \u0434\u043e \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e\" title=\"\u041c\u0430\u043b\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0434\u043e\u0436\u0438\u043b\u0438 \u0434\u043e \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e\" width=\"782\" height=\"472\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab9\/5c7\/439\/ab95c7439caf472572f987d390b5521a.png\"\/><\/p>\n<div><figcaption>\u041c\u0430\u043b\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0434\u043e\u0436\u0438\u043b\u0438 \u0434\u043e \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0435 \u0442\u0430\u043a \u0434\u0430\u0432\u043d\u043e \u043c\u044b <a href=\"https:\/\/habr.com\/ru\/companies\/sberdevices\/articles\/662195\/\"><u>\u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438<\/u><\/a> \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c-\u043f\u043e\u043b\u0438\u0433\u043b\u043e\u0442 mGPT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430 61 \u044f\u0437\u044b\u043a\u0435. \u042d\u0442\u0438\u043c \u043b\u0435\u0442\u043e\u043c \u043c\u044b<a href=\"https:\/\/www.sberbank.ru\/ru\/sberpress\/all\/article?newsID=eddbb1af-9b7e-408f-90bb-cef2305c819f&amp;blockID=1303&amp;regionID=78&amp;lang=ru&amp;type=NEWS\"><u> \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438<\/u><\/a> \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d) mGPT-13B \u043f\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 MIT.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u0430\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 mGPT \u0434\u043b\u044f \u044f\u0437\u044b\u043a\u043e\u0432 \u0421\u041d\u0413 \u0438 \u043c\u0430\u043b\u044b\u0445 \u043d\u0430\u0440\u043e\u0434\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435 \u0432\u043b\u0430\u0434\u0435\u043b\u0430 \u044d\u0442\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u0430\u043c\u0438, \u043d\u043e \u043d\u0430\u043c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0441\u0435\u0442\u044b.<\/p>\n<p>\u0418\u0437 \u043e\u0431\u0449\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0432 61 \u044f\u0437\u044b\u043a \u043c\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 23 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0440\u0430\u043d \u0421\u041d\u0413 \u0438 \u043c\u0430\u043b\u044b\u0445 \u043d\u0430\u0440\u043e\u0434\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u0418 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043c\u044b \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0443\u0447\u0448\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d \u0437\u043d\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u044f\u0437\u044b\u043a. \u0410 \u0441\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/huggingface.co\/ai-forever\"><u>Hugging Face<\/u><\/a>.<\/p>\n<p>\u0412\u043e\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u044f\u0437\u044b\u043a\u043e\u0432 \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-armenian\"><em><u>?? mGPT-1.3B Armenian<\/u><\/em><\/a><em> \u2014 \u0430\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-azerbaijan\"><em><u>?? mGPT-1.3B Azerbaijan<\/u><\/em><\/a><em><u> <\/u>\u2014 \u0430\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-bashkir\"><em><u>? mGPT-1.3B Bashkir<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-belorussian\"><em><u>?? mGPT-1.3B Belorussian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-bulgarian\"><em><u>?? mGPT-1.3B Bulgarian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-buryat\"><em><u>? mGPT-1.3B Buryat<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u0443\u0440\u044f\u0442\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-chuvash\"><em><u>? mGPT-1.3B Chuvash<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0447\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-georgian\"><em><u>?? mGPT-1.3B Georgian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0433\u0440\u0443\u0437\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-kalmyk\"><em><u>? mGPT-1.3B Kalmyk<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-kazakh\"><em><u>?? mGPT-1.3B Kazakh<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043a\u0430\u0437\u0430\u0445\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-kirgiz\"><em><u>?? mGPT-1.3B Kirgiz<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043a\u0438\u0440\u0433\u0438\u0437\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-mari\"><em><u>? mGPT-1.3B Mari<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043c\u0430\u0440\u0438\u0439\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-mongol\"><em><u>?? mGPT-1.3B Mongol<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043c\u043e\u043d\u0433\u043e\u043b\u044c\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-ossetian\"><em><u>? mGPT-1.3B Ossetian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043e\u0441\u0435\u0442\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-persian\"><em><u>?? mGPT-1.3B Persian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-romanian\"><em><u>?? mGPT-1.3B Romanian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0440\u0443\u043c\u044b\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-tajik\"><em><u>?? mGPT-1.3B Tajik<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0430\u0434\u0436\u0438\u043a\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-tatar\"><em><u>\u2615 mGPT-1.3B Tatar<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-turkmen\"><em><u>?? mGPT-1.3B Turkmen<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0443\u0440\u043a\u043c\u0435\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-tuvan\"><em><u>? mGPT-1.3B Tuvan<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0443\u0432\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-ukranian\"><em><u>?? mGPT-1.3B Ukranian<\/u><\/em><\/a><em> \u2014 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-uzbek\"><em><u>?? mGPT-1.3B Uzbek<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0443\u0437\u0431\u0435\u043a\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-yakut\"><em><u>? mGPT-1.3B Yakut<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u044f\u043a\u0443\u0442\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<\/ul>\n<h2>\u041c\u043e\u0434\u0435\u043b\u0438 mGPT, mGPT-13B \u0438 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 mGPT<\/h2>\n<p>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 mGPT \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u043d\u0430\u0448\u0435\u0439 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 <a href=\"https:\/\/arxiv.org\/abs\/2204.07580\"><u>\u0441\u0442\u0430\u0442\u044c\u0435<\/u><\/a> \u043d\u0430 ArXiv, \u0433\u0434\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0434\u0435\u0442\u0430\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e XGLM \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435.<\/p>\n<p>\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u043b\u0438\u0448\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 1,3 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0432\u0435\u0440\u0441\u0438\u044f mGPT-13B \u2014 13 \u043c\u043b\u0440\u0434. \u041c\u044b \u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 2048 \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0435 \u043e\u043a\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 400 000 \u0448\u0430\u0433\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0443\u0447\u0438\u0432\u0430\u043b\u0438 \u043d\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043d\u0430 \u0435\u0449\u0451 200 000 \u0448\u0430\u0433\u0430\u0445, \u0443\u0436\u0435 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 2048. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430, \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043f\u0443\u0442\u0451\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0432 \u0441\u043e\u0441\u0442\u0430\u0432\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0430 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u0439 <a href=\"https:\/\/cloud.ru\/ru\/datahub\/rugpt3family\/mgpt-3-13b\"><u>\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435<\/u><\/a> ML Space \u0432 \u0445\u0430\u0431\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0421 \u044d\u0442\u043e\u0433\u043e \u043b\u0435\u0442\u0430 \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0432 HuggingFace \u043f\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 MIT, \u043c\u044b \u0440\u0430\u0434\u044b \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u043d\u0438\u043c\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c.<\/p>\n<p>\u041d\u043e\u0432\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0435 mGPT. \u0412 \u0442\u0435\u043e\u0440\u0438\u0438, \u0434\u0430\u0436\u0435 \u0441\u0430\u043c\u044b\u0435 \u043c\u0430\u043b\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0438\u0434\u0435\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0438 \u0440\u0435\u0448\u0430\u0442\u044c \u0434\u0430\u0443\u043d-\u0441\u0442\u0440\u0438\u043c \u0442\u0430\u0441\u043a\u0438 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u0435\u0440\u0443 \u0437\u043d\u0430\u043d\u0438\u0439 \u0441 \u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u043e\u0439, \u043e\u0431\u0443\u0447\u0435\u043d\u043e\u0439 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u044f\u0437\u044b\u043a, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u043f\u0440\u0438\u044f\u0442\u043d\u0435\u0435 \u0438 \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0441\u043c\u044b\u0441\u043b, \u0442. \u043a. \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043e\u0442 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432, \u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f. \u041a\u0430\u0436\u0434\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0438 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0438\u0436\u0435.<\/p>\n<h2>\u0414\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h2>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u2014 \u044d\u0442\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0435 =) \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043d\u0443\u0436\u043d\u044b\u0445 \u043d\u0430\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u044b\u043b\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0432\u0437\u044f\u043b\u0438 \u043f\u043e\u0434\u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/mc4\"><u>mC4<\/u><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/oscar-corpus\"><u>OSCAR<\/u><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/opus.nlpl.eu\/OpenSubtitles-v2018.php\"><u>OpenSubtitles<\/u><\/a><\/p>\n<\/li>\n<li>\n<p>Wiki, Blogs, LibGen, Archive<\/p>\n<\/li>\n<\/ul>\n<p>\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u043b\u0438 \u0438\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u044f\u0437\u044b\u043a:<\/p>\n<ul>\n<li>\n<p><a href=\"http:\/\/eanc.net\/\"><strong><u>EANC<\/u><\/strong><\/a> <strong><em>\u2014 [\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439] <\/em><\/strong>\u0412\u043e\u0441\u0442\u043e\u0447\u043d\u043e\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439 \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 (\u0412\u0410\u041d\u041a) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u043e-\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439 \u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u043c, \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043b\u0435\u0436\u0438\u0442 \u043e\u0431\u0448\u0438\u0440\u043d\u0430\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u0432\u043e\u0441\u0442\u043e\u0447\u043d\u043e\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0420\u0435\u0441\u043f\u0443\u0431\u043b\u0438\u043a\u0438 \u0410\u0440\u043c\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/paperswithcode.com\/dataset\/ted-talks\"><strong><u>TED talks<\/u><\/strong><\/a><strong> (<\/strong><a href=\"https:\/\/huggingface.co\/datasets\/ted_talks_iwslt\"><strong><u>ted_talks_iwslt<\/u><\/strong><\/a><strong>) <em>\u2014 [\u0430\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u0438\u0439, \u0431\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u0438\u0439. \u0433\u0440\u0443\u0437\u0438\u043d\u0441\u043a\u0438\u0439, \u043a\u0430\u0437\u0430\u0445\u0441\u043a\u0438\u0439, \u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439, \u0440\u0443\u043c\u044b\u043d\u0441\u043a\u0438\u0439, \u0442\u0430\u0434\u0436\u0438\u043a\u0441\u043a\u0438\u0439, \u0442\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439, \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0439, \u0443\u0437\u0431\u0435\u043a\u0441\u043a\u0438\u0439]<\/em><\/strong><em> <\/em>(<a href=\"https:\/\/creativecommons.org\/licenses\/by-nc-nd\/4.0\/\"><u>CC BY-NC-ND 4.0<\/u><\/a>) The Web Inventory Talk \u2014 \u044d\u0442\u043e \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0441 TED talks \u0438 \u0438\u0445 \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0432\u0435\u0440\u0441\u0438\u0439. \u041f\u0435\u0440\u0435\u0432\u043e\u0434\u044b \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c 109+ \u044f\u0437\u044b\u043a\u0430\u0445, \u0445\u043e\u0442\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435\u043e\u0434\u043d\u043e\u0440\u043e\u0434\u043d\u043e\u0435.<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/web-corpora.net\/wsgi3\/minorlangs\/download\"><strong><u>minorlangs<\/u><\/strong><\/a><strong> <em>\u2014 [\u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439, \u0431\u0443\u0440\u044f\u0442\u0441\u043a\u0438\u0439, \u0447\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439, \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439, \u043c\u0430\u0440\u0438\u0439\u0441\u043a\u0438\u0439, \u0442\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439, \u0442\u0443\u0432\u0438\u043d\u0441\u043a\u0438\u0439, \u044f\u043a\u0443\u0442\u0441\u043a\u0438\u0439]. <\/em><\/strong>\u041a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0434\u043b\u044f \u043c\u0430\u043b\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u041d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u044f\u0437\u044b\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u2013 \u043d\u0435\u0442, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0435\u043c \u0432\u0430\u0441 \u044f\u0437\u044b\u043a\u0435. \u041f\u0440\u043e\u0435\u043a\u0442 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043c\u0430\u0433\u0438\u0441\u0442\u0435\u0440\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u00ab\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u043a\u0430\u00bb.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/AigizK\/bashkir-russian-parallel-corpora\"><strong><u>Bashkir<\/u><\/strong><\/a><strong> <em>\u2014 [\u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439]<\/em><\/strong><em> (<\/em><a href=\"https:\/\/github.com\/nevmenandr\/bashkir-corpus\/blob\/master\/LICENSE\"><u>GPL-3.0 license<\/u><\/a><em>) <\/em><a href=\"https:\/\/github.com\/AigizK\/bashkort-parallel-corpora\"><strong><em><u>parallel-corpora<\/u><\/em><\/strong><\/a><strong><em> <\/em><\/strong>520K \u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u043e-\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0438 \u0440\u0443\u0441\u0441\u043a\u043e-\u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 (\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043a\u043d\u0438\u0433\u0438, \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u0441 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435).<\/p>\n<p><a href=\"https:\/\/github.com\/nevmenandr\/bashkir-corpus\"><strong><em><u>bashkir corpus<\/u> <\/em><\/strong><\/a><em>\u2013<\/em> \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u0430\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0438\u0437 20 934 729 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0447\u0438\u0441\u0442\u044b\u0445 \u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p> <a href=\"https:\/\/huggingface.co\/datasets\/xnli\"><strong><u>XNLI<\/u><\/strong><\/a><strong> <em>\u2014 [\u0431\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0438\u0439] <\/em><\/strong><em>(<\/em><a href=\"https:\/\/github.com\/facebookresearch\/XNLI\/blob\/master\/LICENSE\"><u>Attribution-NonCommercial 4.0 International<\/u><\/a><em>) <\/em>\u0431\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0435\u0442\u0430 XNLI. XLNI \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0437 MNLI (\u0437\u0430\u0434\u0430\u0447\u0430 textual entailment), \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 14 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/alexantonov\/chuvash_parallel\"><strong><u>chuvash_parallel<\/u><\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/github.com\/AlAntonov\/chv_corpus\"><strong><u>chv_corpus<\/u><\/strong><\/a> <strong><em>\u2014 [\u0447\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439] <\/em><\/strong><em>(<\/em>CC0<strong><em>) <\/em><\/strong>\u0447\u0443\u0432\u0430\u0448\u0441\u043a\u043e-\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441, \u043e\u043a\u043e\u043b\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0445 \u0432\u0440\u0443\u0447\u043d\u0443\u044e.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/gitlab.com\/Nomin-Ger.Ru\/oyrad_corpus\"><strong><u>oyrad_corpus<\/u><\/strong><\/a> <strong><em>\u2014 [\u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439] <\/em><\/strong>(MIT) \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u043e\u0433\u043e \u0438 \u043e\u0439\u0440\u0430\u0442\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u043e\u0432. \u0420\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0434\u043b\u044f \u0438\u0437\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439 \u044f\u0437\u044b\u043a, \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u0438 \u043a\u0443\u043b\u044c\u0442\u0443\u0440\u0443 (\u0441\u0442\u0438\u0445\u0438, \u0444\u043e\u043b\u044c\u043a\u043b\u043e\u0440, \u043f\u0440\u043e\u0437\u0430, \u0440\u0435\u043b\u0438\u0433\u0438\u043e\u0437\u043d\u0430\u044f \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0430)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/udhr\"><strong><u>udhr<\/u><\/strong><\/a> <strong><em>\u2014 [\u043c\u043e\u043d\u0433\u043e\u043b\u044c\u0441\u043a\u0438\u0439] <\/em><\/strong>The Universal Declaration of Human Rights (UDHR). \u041d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044b \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c 400 \u044f\u0437\u044b\u043a\u0430\u0445 \u0438 \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/jon.dehdari.org\/corpora\/#persian\"><strong><em><u>VOA Corpus<\/u> <\/em><\/strong><\/a><strong><em>\u0438 Kayhan Corpus [\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439] <\/em><\/strong>\u041f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e-\u0430\u0440\u0430\u0431\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0437\u0430 2003\u20132008 \u0433\u043e\u0434\u044b, 7,9 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u043b\u043e\u0432, \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f: public domain. \u0418 Kayhan \u043a\u043e\u0440\u043f\u0443\u0441 \u2014 \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430 2005, \u0442\u0440\u0430\u043d\u0441\u043b\u0438\u0442\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439, 19 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u043b\u043e\u0432, \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f: public domain.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0432\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u043c\u0438, \u0438 \u0434\u043b\u044f \u0447\u0430\u0441\u0442\u0438 \u043c\u0430\u043b\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0438 \u0438\u0437 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u0437\u043a\u043e\u0433\u043e \u043a\u0440\u0443\u0433\u0430 \u0434\u043e\u043c\u0435\u043d\u043e\u0432. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0434\u043b\u044f \u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 54 079 874 \u0442\u0435\u043a\u0441\u0442\u0430\u0445, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0430\u0448\u043b\u043e\u0441\u044c \u0432\u0441\u0435\u0433\u043e 9 181 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0440\u0430\u0437\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0435\u0433\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f, \u044f\u0437\u044b\u043a\u0430 \u0438 \u0434\u043e\u043c\u0435\u043d\u0430. \u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u044b\u0441\u044f\u0447\u0430 \u0441\u043b\u043e\u0432. \u0414\u043b\u044f \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0431\u044b\u043b \u0440\u0430\u0437\u0431\u0438\u0442 \u043d\u0430 \u0448\u0430\u0440\u0434\u044b \u0438 \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><code>\u00ab\u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0442\u0435\u043a\u0441\u0442 &lt;|\u0442\u043e\u043a\u0435\u043d \u043a\u043e\u043d\u0446\u0430 \u0442\u0435\u043a\u0441\u0442\u0430|><br \/> \u0435\u0449\u0451 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0442\u0435\u043a\u0441\u0442 &lt;|\u0442\u043e\u043a\u0435\u043d \u043a\u043e\u043d\u0446\u0430 \u0442\u0435\u043a\u0441\u0442\u0430|>\u00bb<\/code><\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0432\u0441\u0435\u043c \u043a\u043e\u043b\u043b\u0435\u0433\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u043d\u044b \u043a \u043c\u0430\u043b\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u0430\u043c, \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432. \u041c\u044b \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u044d\u0442\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0435\u0441\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u0442\u0438\u0432. \u041c\u044b \u043e\u0442\u043a\u0440\u044b\u0442\u044b \u0434\u043b\u044f \u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0430\u0446\u0438\u0438, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b \u0431\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0438\u043b\u0438 \u0432\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0438\u043c\u0438 \u0441 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c, \u043d\u0430\u043f\u0438\u0448\u0438\u0442\u0435 \u043d\u0430\u043c. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0432 \u0435\u0434\u0438\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0438 \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438 \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u044f\u0437\u044b\u043a\u0435.<\/p>\n<h3>\u0422\u044e\u043d\u0438\u043d\u0433 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h3>\n<p>\u0412\u043e\u043e\u0440\u0443\u0436\u0438\u0432\u0448\u0438\u0441\u044c \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u0430, \u043c\u044b \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u043a \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041a\u0430\u0436\u0434\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u043b\u0438 250\u043a \u0448\u0430\u0433\u043e\u0432, \u0447\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e \u043d\u0435\u0434\u0435\u043b\u0438 \u043d\u0430 \u0441\u0443\u043f\u0435\u0440\u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0435 <a href=\"https:\/\/sbercloud.ru\/ru\/christofari\"><u>Christofari<\/u><\/a> \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 GPU A100 \u0441 80Gb \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0434\u0435\u043b\u0430\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u043a\u0430\u0436\u0434\u044b\u0435 50\u043a \u0448\u0430\u0433\u043e\u0432. \u0414\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<br \/><code><br \/>model-parallel-size = 1<br \/>num-layers\u00a0 = 24<br \/>hidden-size = 2048<br \/>num-attention-heads = 16<br \/>batch-size = 4<br \/>seq-length = 2048<br \/>max-position-embeddings = 2048<br \/>train-iters = 250000<br \/>distributed-backend\u00a0 = nccl<br \/>lr = 0.00001<br \/>lr-decay-style = cosine<br \/>lr-decay-iters = 200000<br \/>min-lr = 0.000005<br \/>warmup = .001<br \/>fp16 = True<\/code><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0438, \u0432\u044b\u0448\u043b\u0430 \u043b\u0438 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043f\u043e \u043b\u043e\u0441\u0441\u0443 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u0440\u0430\u043d\u044c\u0448\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430, \u0442\u043e \u043c\u044b \u0431\u0440\u0430\u043b\u0438 \u043b\u0443\u0447\u0448\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0438\u0437 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f, \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0436\u0435 \u043d\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u0415\u0441\u043b\u0438 \u0436\u0435 \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0448\u0430\u0433\u043e\u0432 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0438 \u043b\u043e\u0441\u0441 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 250 \u0442\u044b\u0441\u044f\u0447\u0430\u0445 \u0448\u0430\u0433\u043e\u0432 \u0432\u0441\u0435 \u0435\u0449\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b \u043f\u0430\u0434\u0430\u0442\u044c (\u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c 10 \u0438\u0437 23), \u0442\u043e \u043c\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0438 \u0435\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043e \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f <strong><em>\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e<\/em><\/strong> \u0438 <strong><em>\u0431\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e<\/em><\/strong> \u043d\u0430 \u044d\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0448\u0430\u0433\u043e\u0432. \u0421\u0442\u043e\u0438\u0442, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043f\u043e\u044f\u0441\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u0438\u0448\u044c \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0445 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u044b\u043b\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0438 \u043f\u0440\u0438\u0431\u0435\u0433\u043b\u0438 \u043a \u0442\u0430\u043a\u043e\u0439 \u0445\u0438\u0442\u0440\u043e\u0441\u0442\u0438, \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0432 \u043b\u0438\u0448\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b.\u00a0<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0432 \u0435\u0433\u043e \u0438 \u0432\u044b\u043a\u0438\u043d\u0443\u0432 \u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043e\u0448\u043b\u0438 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 mGPT.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0440\u0438\u0432\u044b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 \u043a\u0430\u043a \u0441\u043d\u0438\u0436\u0430\u043b\u0441\u044f \u043b\u043e\u0441\u0441 \u0438 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f \u043f\u0440\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e17\/b1e\/893\/e17b1e8935ebb926bb95f367bf42f5d2.png\" width=\"1057\" height=\"559\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e17\/b1e\/893\/e17b1e8935ebb926bb95f367bf42f5d2.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9f9\/02d\/a72\/9f902da720fe61c08ef484dd1474f420.png\" width=\"1057\" height=\"558\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f9\/02d\/a72\/9f902da720fe61c08ef484dd1474f420.png\"\/><\/figure>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u043a\u0440\u0438\u0432\u044b\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f <strong><em>\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e<\/em><\/strong>:<\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5b8\/edd\/39e\/5b8edd39e2777f552c0dfb0500a8753e.png\" width=\"1057\" height=\"560\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b8\/edd\/39e\/5b8edd39e2777f552c0dfb0500a8753e.png\"\/><\/figure>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/058\/fcb\/10c\/058fcb10cd036b7d58e41429f6a73c54.png\" width=\"1059\" height=\"551\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/058\/fcb\/10c\/058fcb10cd036b7d58e41429f6a73c54.png\"\/><\/figure>\n<p>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0441 \u043e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u043e\u0439 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438, \u043d\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c 500\u043a \u0448\u0430\u0433\u043e\u0432. <\/p>\n<p>\u0410 \u0432\u043e\u0442 \u0434\u043b\u044f <strong>\u043c\u0430\u0440\u0438\u0439\u0441\u043a\u043e\u0433\u043e<\/strong> \u0433\u0440\u0430\u0444\u0438\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443:<\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a02\/9b4\/2a7\/a029b42a7e4c6efe4ee2fea1d10622b5.png\" width=\"1056\" height=\"557\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a02\/9b4\/2a7\/a029b42a7e4c6efe4ee2fea1d10622b5.png\"\/><\/figure>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ede\/55f\/561\/ede55f561b3d9939b92193f3c2e28d8b.png\" width=\"1056\" height=\"551\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ede\/55f\/561\/ede55f561b3d9939b92193f3c2e28d8b.png\"\/><\/figure>\n<p>\u0437\u0434\u0435\u0441\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0441 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438, \u043d\u043e \u0432\u0441\u0435\u0433\u043e \u0437\u0430 5\u043a \u0448\u0430\u0433\u043e\u0432 \u043e\u043d\u0430 \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u0430. \u0414\u043b\u044f <strong><em>\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e<\/em><\/strong> \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u043f\u043b\u0430\u0442\u043e \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0437\u0430 200 \u0442\u044b\u0441\u044f\u0447 \u0448\u0430\u0433\u043e\u0432:<\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/83a\/4eb\/f78\/83a4ebf78e1860440d6a044c5c355463.png\" width=\"1061\" height=\"563\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/83a\/4eb\/f78\/83a4ebf78e1860440d6a044c5c355463.png\"\/><\/figure>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a13\/d94\/abf\/a13d94abf532a5eb18389103ac722a0f.png\" width=\"1051\" height=\"557\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a13\/d94\/abf\/a13d94abf532a5eb18389103ac722a0f.png\"\/><\/figure>\n<p>\u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0434\u043b\u044f <em>\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e<\/em> \u0433\u0440\u0430\u0444\u0438\u043a \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u00ab\u0448\u0442\u043e\u0440\u043c\u0438\u0442\u00bb. \u0422\u0430\u043a\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e, \u043a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b\u0438, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u043e \u043e\u0431\u044a\u0435\u043c\u0443, \u0442\u0430\u043a \u0438 \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0434\u043e\u043c\u0435\u043d\u043e\u0432. \u0418 \u0432 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u043b\u044f <em>\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e<\/em> \u0438 <em>\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e<\/em> \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0435, \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f <em>\u043c\u0430\u0440\u0438\u0439\u0441\u043a\u043e\u0433\u043e<\/em> \u043a\u0440\u0430\u0439\u043d\u0435 \u043c\u0430\u043b\u043e, \u0438 \u043e\u043d\u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c \u043a\u0440\u0443\u0433\u043e\u043c \u0434\u043e\u043c\u0435\u043d\u043e\u0432. \u0414\u0430\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0434\u043d\u0430\u043a\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 \u043f\u043e\u043a\u0430 \u043c\u044b \u0435\u0433\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0434\u043b\u044f \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0441\u0432\u043e\u0434\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0434\u043b\u044f \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u042f\u0437\u044b\u043a<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>loss\/ppl \u043d\u0430 test<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041b\u0443\u0447\u0448\u0438\u0439 \u0448\u0430\u0433<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0410\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 0.55 ppl: 1.73<\/p>\n<\/td>\n<td>\n<p align=\"center\">500000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.68 ppl: 5.37<\/p>\n<\/td>\n<td>\n<p align=\"center\">70000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.95 ppl: 7.06<\/p>\n<\/td>\n<td>\n<p align=\"center\">5000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.32 ppl: 27.65<\/p>\n<\/td>\n<td>\n<p align=\"center\">10000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.72 ppl: 15.20<\/p>\n<\/td>\n<td>\n<p align=\"center\">200<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u0443\u0440\u044f\u0442\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.87 ppl: 17.63<\/p>\n<\/td>\n<td>\n<p align=\"center\">1000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0427\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.36 ppl: 28.76<\/p>\n<\/td>\n<td>\n<p align=\"center\">1000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0413\u0440\u0443\u0437\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.82 ppl: 16.85<\/p>\n<\/td>\n<td>\n<p align=\"center\">10000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.64 ppl: 13.97<\/p>\n<\/td>\n<td>\n<p align=\"center\">200<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041a\u0430\u0437\u0430\u0445\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.22 ppl: 3.38<\/p>\n<\/td>\n<td>\n<p align=\"center\">150000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041a\u0438\u0440\u0433\u0438\u0437\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.10 ppl: 8.20<\/p>\n<\/td>\n<td>\n<p align=\"center\">50000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041c\u0430\u0440\u0438\u0439\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.05 ppl: 21.19<\/p>\n<\/td>\n<td>\n<p align=\"center\">5000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041c\u043e\u043d\u0433\u043e\u043b\u044c\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.47 ppl: 4.35<\/p>\n<\/td>\n<td>\n<p align=\"center\">50000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041e\u0441\u0435\u0442\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.93 ppl: 18.70<\/p>\n<\/td>\n<td>\n<p align=\"center\">200<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u041f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.51 ppl: 33.44<\/p>\n<\/td>\n<td>\n<p align=\"center\">200<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0420\u0443\u043c\u044b\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.24 ppl: 3.44<\/p>\n<\/td>\n<td>\n<p align=\"center\">5000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0422\u0430\u0434\u0436\u0438\u043a\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.88 ppl: 6.52<\/p>\n<\/td>\n<td>\n<p align=\"center\">50000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0422\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.31 ppl: 3.69<\/p>\n<\/td>\n<td>\n<p align=\"center\">5000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0422\u0443\u0440\u043a\u043c\u0435\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.35 ppl: 28.47<\/p>\n<\/td>\n<td>\n<p align=\"center\">200<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0422\u0443\u0432\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.71 ppl: 40.84<\/p>\n<\/td>\n<td>\n<p align=\"center\">2000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0423\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.96 ppl: 7.10<\/p>\n<\/td>\n<td>\n<p align=\"center\">10000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0423\u0437\u0431\u0435\u043a\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.92 ppl: 6.84<\/p>\n<\/td>\n<td>\n<p align=\"center\">50000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u042f\u043a\u0443\u0442\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.37 ppl: 10.65<\/p>\n<\/td>\n<td>\n<p align=\"center\">2000<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438: \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/h3>\n<p>\u041c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b, \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0430 \u0435\u0441\u0442\u044c \u043b\u0438 \u043e\u0442 \u0432\u0441\u0435\u0439 \u043d\u0430\u0448\u0435\u0439 \u0434\u0435\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0421\u0442\u0430\u043b\u0438 \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u0437\u043d\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u044b\u0435 \u044f\u0437\u044b\u043a\u0438? \u0412\u0434\u0440\u0443\u0433 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f mGPT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u043d\u0430\u0435\u0442 \u0430\u0436 61 \u044f\u0437\u044b\u043a, \u043f\u043e\u043d\u0438\u043c\u0430\u043b\u0430 \u0438\u0445 \u0442\u0430\u043a \u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e, \u0430 \u0432\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0437\u0440\u044f? \u0421\u043f\u043e\u0439\u043b\u0435\u0440: \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u044b \u0443\u0431\u0435\u0434\u0438\u043c\u0441\u044f, \u0447\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u0437\u0440\u044f.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 mGPT \u0438 \u0435\u0435 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u043e\u0432 \u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043c\u044b \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u043b\u043e\u0441\u0441 \u0438 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044e \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u041a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b\u0438, \u0434\u0430\u043d\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043d\u0435 \u0432\u0445\u043e\u0434\u0438\u043b\u0430 \u043d\u0438 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432, \u043d\u0438 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\"><strong>\u042f\u0437\u044b\u043a\u0438<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d mGPT<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\"><strong>\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f mGPT<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u0440\u043e\u0441\u0442<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0410\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 0.55 ppl: 1.73<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 1.83 ppl: 6.23<\/p>\n<\/td>\n<td>\n<p align=\"center\">260%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.68 ppl: 5.37<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 3.86 ppl: 47.46<\/p>\n<\/td>\n<td>\n<p align=\"center\">783%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0411\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.95 ppl: 7.06<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 3.56 ppl: 35.01<\/p>\n<\/td>\n<td>\n<p align=\"center\">395%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0411\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.32 ppl: 27.65<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.14 ppl: 62.73<\/p>\n<\/td>\n<td>\n<p align=\"center\">126%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0411\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.72 ppl: 15.20<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.45 ppl: 85.70<\/p>\n<\/td>\n<td>\n<p align=\"center\">463%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0411\u0443\u0440\u044f\u0442\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.87 ppl: 17.63<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.19 ppl: 65.70<\/p>\n<\/td>\n<td>\n<p align=\"center\">272%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0427\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.36 ppl: 28.76<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.79 ppl: 120.66<\/p>\n<\/td>\n<td>\n<p align=\"center\">319%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0413\u0440\u0443\u0437\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.82 ppl: 16.85<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.05 ppl: 57.20<\/p>\n<\/td>\n<td>\n<p align=\"center\">239%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u041a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.64 ppl: 13.97<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.30 ppl: 74.12<\/p>\n<\/td>\n<td>\n<p align=\"center\">430%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u041a\u0430\u0437\u0430\u0445\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.22 ppl: 3.38<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 3.27 ppl: 26.43<\/p>\n<\/td>\n<td>\n<p align=\"center\">680%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u041a\u0438\u0440\u0433\u0438\u0437\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.10 ppl: 8.20<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.23 ppl: 68.44<\/p>\n<\/td>\n<td>\n<p align=\"center\">734%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u041c\u0430\u0440\u0438\u0439\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.05 ppl: 21.19<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 5.26 ppl: 193.19<\/p>\n<\/td>\n<td>\n<p align=\"center\">811%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u041c\u043e\u043d\u0433\u043e\u043b\u044c\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.47 ppl: 4.35<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 3.32 ppl: 27.69<\/p>\n<\/td>\n<td>\n<p align=\"center\">536%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u041e\u0441\u0435\u0442\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.93 ppl: 18.70<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.36 ppl: 78.17<\/p>\n<\/td>\n<td>\n<p align=\"center\">318%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u041f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.51 ppl: 33.44<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.45 ppl: 86.05<\/p>\n<\/td>\n<td>\n<p align=\"center\">157%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0420\u0443\u043c\u044b\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.24 ppl: 3.44<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 1.63 ppl: 5.08<\/p>\n<\/td>\n<td>\n<p align=\"center\">47%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0422\u0430\u0434\u0436\u0438\u043a\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.88 ppl: 6.52<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.09 ppl: 59.88<\/p>\n<\/td>\n<td>\n<p align=\"center\">818%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0422\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.31 ppl: 3.69<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 3.17 ppl: 23.84<\/p>\n<\/td>\n<td>\n<p align=\"center\">546%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0422\u0443\u0440\u043a\u043c\u0435\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.35 ppl: 28.47<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 5.29 ppl: 199.11<\/p>\n<\/td>\n<td>\n<p align=\"center\">600%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0422\u0443\u0432\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.71 ppl: 40.84<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 5.10 ppl: 164.40<\/p>\n<\/td>\n<td>\n<p align=\"center\">302%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0423\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.96 ppl: 7.11<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.00 ppl: 54.93<\/p>\n<\/td>\n<td>\n<p align=\"center\">672%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u0423\u0437\u0431\u0435\u043a\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.92 ppl: 6.84<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 5.33 ppl: 206.85<\/p>\n<\/td>\n<td>\n<p align=\"center\">2924%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">\u042f\u043a\u0443\u0442\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.37 ppl: 10.65<\/p>\n<\/td>\n<td data-colwidth=\"175\" width=\"175\">\n<p align=\"center\">loss: 4.31 ppl: 74.74<\/p>\n<\/td>\n<td>\n<p align=\"center\">611%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0423\u0440\u0430! \u041c\u044b \u0432\u0438\u0434\u0438\u043c \u044f\u0432\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0437\u044b\u043a\u043e\u0432, \u0430 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f \u0441\u043d\u0438\u0437\u0438\u043b\u0430\u0441\u044c \u0432 \u0440\u0430\u0437\u044b, \u0430 \u0442\u043e \u0438 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437.<\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u043e\u0432 \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e mGPT \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0432\u0437\u044f\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0435 \u043d\u0430\u0441 \u044f\u0437\u044b\u043a\u0438 \u0438\u0437 <a href=\"https:\/\/huggingface.co\/datasets\/facebook\/flores\"><u>FLORES-200<\/u><\/a> \u2014 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043d\u0430 200 \u044f\u0437\u044b\u043a\u043e\u0432. \u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u043b\u0441\u044f \u0441 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u043e\u0432 \u043d\u0430 \u044f\u0437\u044b\u043a, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u044f\u0437\u044b\u043a\u0443 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u0430. \u041e\u0446\u0435\u043d\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 zero-shot \u0438 few-shot \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0437\u0430\u0442\u0440\u0430\u0432\u043e\u043a (\u0430\u043d\u0433\u043b. prompts) \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 (en prompt) \u0438 \u044f\u0437\u044b\u043a\u0435 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u0430 (tgt prompt). \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u0442\u0440\u0430\u0432\u043a\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435:<\/p>\n<p><code>\u201cTranslate from SRC_LANG to TGT_LANG: SRC_TEXT ==> \u201c<\/code>,<\/p>\n<p>\u0433\u0434\u0435 SRC_LANG \u2014 \u044f\u0437\u044b\u043a \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430, TGT_LANG \u2014 \u044f\u0437\u044b\u043a, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434, SRC_TEXT \u2014 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u0414\u043b\u044f few-shot \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 1 \u0438 4 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f ROUGE \u0438 BLEU. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">\n<\/td>\n<td colspan=\"2\" data-colwidth=\"57,56\" width=\"57\">\n<p align=\"left\"><strong>mono mgpt<\/strong><\/p>\n<\/td>\n<td colspan=\"2\">\n<p align=\"left\"><strong>original mgpt<\/strong><\/p>\n<\/td>\n<td colspan=\"2\">\n<p align=\"left\"><strong>mono mgpt<\/strong><\/p>\n<\/td>\n<td colspan=\"2\">\n<p align=\"left\"><strong>original mgpt<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">\n<\/td>\n<td colspan=\"4\" data-colwidth=\"57,56,0,0\" width=\"57\">\n<p align=\"center\"><strong><em>en prompt<\/em><\/strong><\/p>\n<\/td>\n<td colspan=\"4\">\n<p align=\"center\"><strong><em>tgt prompt<\/em><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\"><strong>SRC_LANG<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>TGT_LANG<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><strong>n_shots<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\"><strong>rouge<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\"><strong>bleu<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>rouge<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>bleu<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>rouge<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>bleu<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>rouge<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>bleu<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\"><strong>russian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>armenian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.381<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.007<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.098<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.008<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.420<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.056<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.426<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.050<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.377<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.009<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.386<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.009<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.414<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.052<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.417<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.054<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.408<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.007<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.321<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.439<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.061<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.364<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.013<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>azerbaijani<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.371<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.048<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.150<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.018<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.453<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.085<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.247<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.055<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.418<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.085<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.364<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.083<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.460<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.106<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.520<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.181<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.506<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.110<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.334<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.047<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.521<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.138<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.145<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.017<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>bashkir<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.413<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.052<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.356<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.053<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.475<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.085<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.492<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.087<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.444<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.067<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.453<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.090<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.495<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.101<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.531<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.128<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.476<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.068<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.382<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.035<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.522<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.110<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.440<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.038<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>belarusian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.231<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.033<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.429<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.073<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.305<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.041<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.499<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.105<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.425<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.070<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.533<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.149<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.468<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.080<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.656<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.214<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.398<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.053<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.507<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.106<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.485<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.075<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.511<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.052<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>bulgarian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.291<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.064<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.439<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.113<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.356<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.086<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.487<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.133<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.390<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.100<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.544<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.238<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.448<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.124<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.651<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.253<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.321<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.087<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.485<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.215<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.371<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.098<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.566<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.243<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>georgian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.306<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.050<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.028<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.008<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.384<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.067<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.257<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.056<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.416<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.078<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.249<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.091<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.429<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.080<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.541<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.197<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.343<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.078<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.171<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.039<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.419<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.084<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.407<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.092<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>kazakh<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.290<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.042<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.393<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.057<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.414<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.083<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.518<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.114<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.468<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.093<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.485<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.106<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.463<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.108<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.563<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.158<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.513<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.084<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.417<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.047<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.559<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.142<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.471<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.043<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>kyrgyz<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.352<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.052<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.419<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.058<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.539<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.095<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.511<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.089<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.513<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.091<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.496<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.114<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.557<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.103<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.594<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.154<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.525<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.083<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.450<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.067<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.573<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.105<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.471<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.065<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>mongolian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.262<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.034<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.378<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.041<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.337<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.057<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.512<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.103<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.364<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.063<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.484<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.091<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.432<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.082<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.570<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.121<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.522<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.087<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.419<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.031<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.580<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.124<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.508<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.042<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>persian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.012<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.006<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.013<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.007<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.027<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.005<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.259<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.068<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.037<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.009<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.215<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.101<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.092<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.014<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.470<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.203<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.091<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.017<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.080<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.036<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.113<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.016<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.305<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.107<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>romanian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.495<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.070<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.148<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.024<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.609<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.118<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.350<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.102<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.588<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.118<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.597<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.263<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.592<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.136<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.680<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.344<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.562<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.124<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.622<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.232<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.568<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.135<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.587<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.210<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>tajik<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.277<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.038<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.389<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.059<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.354<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.064<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.502<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.144<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.494<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.124<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.498<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.138<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.528<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.161<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.555<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.202<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.510<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.126<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.421<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.045<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.548<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.172<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.518<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.058<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>tatar<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.426<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.052<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.414<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.063<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.481<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.082<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.522<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.107<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.467<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.057<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.488<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.111<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.511<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.095<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.571<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.163<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.493<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.079<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.447<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.044<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.539<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.119<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.510<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.050<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>turkmen<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.216<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.018<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.134<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.016<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.218<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.029<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.130<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.020<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.254<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.035<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.433<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.095<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.364<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.072<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.397<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.084<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.350<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.058<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.363<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.078<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.395<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.078<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.343<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.073<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>ukranian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.276<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.065<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.434<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.089<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.341<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.074<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.497<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.119<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.332<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.083<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.601<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.263<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.383<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.088<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.744<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.284<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.459<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.108<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.564<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.199<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.511<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.118<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.568<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.107<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>uzbek<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.423<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.041<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.142<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.017<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.392<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.058<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.208<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.038<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.311<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.046<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.373<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.079<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.366<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.079<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.442<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.129<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.508<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.141<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.228<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.058<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.472<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.136<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.270<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.079<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\"><strong>english<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>armenian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.292<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.005<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.359<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.003<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.397<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.042<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.423<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.040<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.361<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.004<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.372<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.004<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.413<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.042<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.396<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.045<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.399<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.002<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.327<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.442<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.047<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.361<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.008<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>azerbaijani<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.434<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.053<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.237<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.030<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.502<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.101<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.516<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.133<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.523<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.105<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.521<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.132<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.541<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.140<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.572<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.208<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.515<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.092<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.507<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.101<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.537<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.142<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.399<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.061<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>bashkir<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.353<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.028<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.081<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.012<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.457<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.072<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.459<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.069<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.432<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.037<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.465<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.048<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.472<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.081<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.512<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.100<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.449<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.036<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.145<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.012<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.496<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.084<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.191<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.015<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>belarusian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.056<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.008<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.107<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.014<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.144<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.018<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.403<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.069<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.147<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.016<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.480<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.103<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.237<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.032<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.585<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.180<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.215<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.019<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.472<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.082<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.338<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.043<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.288<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.025<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>bulgarian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.051<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.010<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.125<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.030<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.134<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.030<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.391<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.102<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.197<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.037<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.378<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.150<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.236<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.050<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.518<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.235<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.169<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.043<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.468<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.248<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.227<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.051<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.542<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.270<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>georgian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.210<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.027<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.031<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.005<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.389<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.056<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.366<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.071<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.420<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.060<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.520<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.158<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.452<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.074<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.584<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.192<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.438<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.090<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.515<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.119<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.488<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.113<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.554<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.136<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>kazakh<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.217<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.021<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.277<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.030<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.357<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.060<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.468<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.092<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.478<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.053<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.495<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.067<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.475<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.091<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.552<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.142<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.497<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.055<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.407<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.030<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.540<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.117<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.275<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.021<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>kyrgyz<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.169<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.020<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.127<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.016<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.471<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.068<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.457<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.074<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.462<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.053<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.497<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.076<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.509<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.075<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.566<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.125<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.512<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.061<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.461<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.058<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.536<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.092<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.434<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.052<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>mongolian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.102<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.013<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.069<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.008<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.344<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.054<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.470<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.076<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.500<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.058<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.496<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.060<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.530<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.098<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.551<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.102<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.513<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.058<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.308<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.018<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.554<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.105<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.386<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.036<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>persian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.027<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.008<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.101<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.024<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.076<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.013<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.331<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.081<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.183<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.032<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.323<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.144<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.321<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.064<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.515<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.244<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.363<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.080<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.447<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.226<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.439<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.095<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.507<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.244<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>romanian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.557<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.078<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.504<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.119<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.621<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.115<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.577<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.201<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.601<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.110<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.726<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.336<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.613<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.130<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.747<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.395<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.595<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.123<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.719<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.315<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.602<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.148<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.697<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.301<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>tajik<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.073<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.012<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.118<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.017<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.257<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.062<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.480<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.135<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.486<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.086<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.505<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.101<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.509<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.147<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.552<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.182<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.503<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.092<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.374<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.037<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.528<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.156<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.431<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.058<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>tatar<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.248<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.018<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.155<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.017<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.435<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.063<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.475<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.080<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.414<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.028<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.494<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.070<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.473<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.077<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.546<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.142<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.476<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.047<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.431<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.033<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.518<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.098<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.425<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.030<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>turkmen<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.446<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.046<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.292<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.036<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.464<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.076<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.369<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.068<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.431<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.057<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.113<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.016<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.488<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.089<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.358<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.075<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.475<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.078<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.470<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.093<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.524<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.110<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.568<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.140<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>ukranian<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.132<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.017<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.087<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.015<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.223<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.041<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.428<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.087<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.295<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.045<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.586<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.193<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.349<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.062<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.676<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.278<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.484<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.094<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.484<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.119<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.531<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.117<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.456<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.076<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\"><strong>uzbek<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.530<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.072<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.320<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.044<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.500<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.075<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.377<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.073<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.527<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.081<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.153<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.035<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.541<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.111<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.217<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.060<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"58\" width=\"58\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"77\" width=\"77\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"57\" width=\"57\">\n<p align=\"left\">0.590<\/p>\n<\/td>\n<td data-colwidth=\"56\" width=\"56\">\n<p align=\"left\">0.141<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.380<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.110<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.583<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.167<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.613<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.222<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u044f\u0437\u044b\u043a\u043e\u0432 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0447\u0435\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f mGPT, \u043f\u0440\u0438\u0447\u0435\u043c \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 zero- \u0438 4-shot \u0444\u043e\u0440\u043c\u0430\u0442\u0435, \u0430 \u0434\u043b\u044f \u0440\u044f\u0434\u0430 \u044f\u0437\u044b\u043a\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <em>\u0443\u0437\u0431\u0435\u043a\u0441\u043a\u043e\u0433\u043e<\/em>, <em>\u0442\u0443\u0440\u043a\u043c\u0435\u043d\u0441\u043a\u043e\u0433\u043e<\/em> \u0438 <em>\u0430\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u043e\u0433\u043e<\/em>) \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0441 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u043c\u0438 \u0437\u0430\u0442\u0440\u0430\u0432\u043a\u0430\u043c\u0438 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0432\u043e \u0432\u0441\u0435\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u0445. \u041e\u0434\u043d\u0430\u043a\u043e, \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0430, \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0446\u0435\u043d\u043a\u0435 \u043f\u0435\u0440\u043f\u0440\u0435\u043a\u0441\u0438\u0438 \u043d\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f <em>\u0431\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u043e\u0433\u043e<\/em>, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u0436\u0435 \u0441\u043d\u0438\u0437\u0438\u043b\u043e\u0441\u044c. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u0442 \u044f\u0437\u044b\u043a \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0438\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 (\u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e <em>\u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439<\/em> \u0438 <em>\u0440\u0443\u0441\u0441\u043a\u0438\u0439<\/em>), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u043d\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043e\u0431 \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043a\u0430\u043a \u0442\u0430\u043a\u043e\u0432\u043e\u0433\u043e. \u0418 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043c\u044b \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 (downstream) \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<h2>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435<\/h2>\n<p>\u0427\u0442\u043e \u0436, \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u0432\u0430\u043c \u043f\u0440\u043e \u043d\u043e\u0432\u044b\u0435 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b mGPT, \u0442\u0435\u043f\u0435\u0440\u044c \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u0438\u0447\u0435\u043c \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e mGPT. \u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0430 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 <a href=\"https:\/\/github.com\/ai-forever\/mgpt\"><u>mgpt<\/u><\/a>.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0442\u0430\u0442\u0430\u0440\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 HuggingFace<\/p>\n<p><code>from transformers import GPT2LMHeadModel, GPT2Tokenizer<br \/>import torch<br \/>device = torch.device(\"cuda\")<br \/>model.to(device)<br \/>tokenizer = GPT2Tokenizer.from_pretrained(\"ai-forever\/mGPT-1.3B-tatar\")<br \/>model = GPT2LMHeadModel.from_pretrained(\"ai-forever\/mGPT-1.3B-tatar\")<br \/>text = \"\u041a\u0430\u0437\u0430\u043d \u0438\u043b\u0434\u04d9 \u0443\u0440\u043d\u0430\u0448\u043a\u0430\u043d \"<br \/>input_ids = tokenizer.encode(text, return_tensors=\"pt\").cuda(device)<br \/>out = model.generate(<br \/>        input_ids,\u00a0<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0min_length=100,<br \/>        max_length=100,<br \/>        eos_token_id=5,<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0pad_token_id=1,<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0top_k=10,<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0top_p=0.0,<br \/>\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0no_repeat_ngram_size=5<br \/>)<br \/>generated_text = list(map(tokenizer.decode, out))[0]<br \/>print(generated_text)<br \/>\u041a\u0430\u0437\u0430\u043d \u0438\u043b\u0434\u04d9 \u0443\u0440\u043d\u0430\u0448\u043a\u0430\u043d \u04bb\u04d9\u043c \u0422\u0430\u0442\u0430\u0440\u0441\u0442\u0430\u043d \u0420\u0435\u0441\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0441\u044b\u043d\u044b\u04a3 \u041a\u0443\u043a\u043c\u0430\u0440\u0430 \u0440\u0430\u0439\u043e\u043d\u044b\u043d\u0430 \u043a\u0435\u0440\u04d9.<\/code><\/p>\n<h2>\u0412\u043c\u0435\u0441\u0442\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f: \u043c\u044b \u043e\u0442\u043a\u0440\u044b\u0442\u044b \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445 \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u043e\u0432 \u0438 \u043d\u043e\u0432\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432<\/h2>\n<p>\u0418\u0442\u0430\u043a, \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u043f\u0440\u043e 23 \u043d\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 mGPT, \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u044f\u0437\u044b\u043a\u043e\u0432 \u0441\u0442\u0440\u0430\u043d \u0421\u041d\u0413 \u0438 \u043c\u0430\u043b\u044b\u0445 \u043d\u0430\u0440\u043e\u0434\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u041c\u044b \u043e\u0442\u043a\u0440\u044b\u0442\u044b \u0434\u043b\u044f \u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0430\u0446\u0438\u0438 \u0438 \u0433\u043e\u0442\u043e\u0432\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u044f\u0437\u044b\u043a\u0430\u0445. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0438\u0434\u0435\u044f, \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u0435\u0449\u0435 \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c mGPT, \u0435\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c, \u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0441 \u043d\u0430\u043c\u0438 \u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u0438\u0448\u0438\u0442\u0435, \u043f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430, \u043d\u0430\u043c \u0432 <a href=\"https:\/\/t.me\/SaluteTechGroup\">SaluteAI Community<\/a>.<\/p>\n<p><strong>\u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441c\u044b\u043b\u043a\u0438:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c <a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT\"><u>mGPT-XL<\/u><\/a> \u043d\u0430 Hugging Face \u0438 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f <a href=\"https:\/\/arxiv.org\/abs\/2204.07580\"><u>\u0441\u0442\u0430\u0442\u044c\u044f<\/u><\/a> \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/habr.com\/ru\/companies\/sberdevices\/articles\/662195\/\"><u>\u0421\u0442\u0430\u0442\u044c\u044f<\/u><\/a> \u043f\u0440\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0442 \u043a\u043e\u043d\u0442\u0435\u043d\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430 &#171;\u041c\u043e\u0434\u0435\u043b\u044c-\u043f\u043e\u043b\u0438\u0433\u043b\u043e\u0442: \u043a\u0430\u043a \u043c\u044b \u0443\u0447\u0438\u043b\u0438 GPT-3 \u043d\u0430 61 \u044f\u0437\u044b\u043a\u0435 \u043c\u0438\u0440\u0430&#187;<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c <a href=\"https:\/\/cloud.ru\/ru\/datahub\/rugpt3family\/mgpt-3-13b\"><u>mGPT3-13B<\/u><\/a> \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u0432 \u0432\u0438\u0434\u0435 AI Service Cloud.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/cloud.ru\/ru\/datahub\/rugpt3family\/mgpt-xl-monolingual-models\">\u041c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a> \u0432 AI Service Cloud.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043e\u043c\u0430\u043d\u0434\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432: <strong>SberDevices, AGI NLP<\/strong><br \/>&lt;3 \u0418\u0433\u043e\u0440\u044c \u0427\u0443\u0440\u0438\u043d <a class=\"mention\" href=\"\/users\/Gscraid\">@Gscraid<\/a>, \u041c\u0430\u0448\u0430 \u0422\u0438\u0445\u043e\u043d\u043e\u0432\u0430 <a class=\"mention\" href=\"\/users\/mashkka_t\">@mashkka_t<\/a>, \u041d\u0430\u0441\u0442\u044f \u041a\u043e\u0437\u043b\u043e\u0432\u0430 <a class=\"mention\" href=\"\/users\/nkozlova\">@nkozlova<\/a>, \u0422\u0430\u043d\u044f \u0428\u0430\u0432\u0440\u0438\u043d\u0430 <a class=\"mention\" href=\"\/users\/rybolos\">@Rybolos<\/a>, \u041e\u043b\u0435\u0433 \u0428\u043b\u044f\u0436\u043a\u043e, \u0421\u0435\u0440\u0433\u0435\u0439 \u0410\u0432\u0435\u0440\u043a\u0438\u0435\u0432 <a class=\"mention\" href=\"\/users\/averkij\">@averkij<\/a>, \u0410\u043b\u0451\u043d\u0430 \u0424\u0435\u043d\u043e\u0433\u0435\u043d\u043e\u0432\u0430 <a class=\"mention\" href=\"\/users\/alenusch\">@alenusch<\/a>, \u0412\u043b\u0430\u0434 \u041c\u0438\u0445\u0430\u0439\u043b\u043e\u0432 \u0438 co.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/755108\/\"> https:\/\/habr.com\/ru\/articles\/755108\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption>\u041c\u0430\u043b\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0434\u043e\u0436\u0438\u043b\u0438 \u0434\u043e \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0435 \u0442\u0430\u043a \u0434\u0430\u0432\u043d\u043e \u043c\u044b <a href=\"https:\/\/habr.com\/ru\/companies\/sberdevices\/articles\/662195\/\"><u>\u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438<\/u><\/a> \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c-\u043f\u043e\u043b\u0438\u0433\u043b\u043e\u0442 mGPT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430 61 \u044f\u0437\u044b\u043a\u0435. \u042d\u0442\u0438\u043c \u043b\u0435\u0442\u043e\u043c \u043c\u044b<a href=\"https:\/\/www.sberbank.ru\/ru\/sberpress\/all\/article?newsID=eddbb1af-9b7e-408f-90bb-cef2305c819f&amp;blockID=1303&amp;regionID=78&amp;lang=ru&amp;type=NEWS\"><u> \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438<\/u><\/a> \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d) mGPT-13B \u043f\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 MIT.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u0430\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 mGPT \u0434\u043b\u044f \u044f\u0437\u044b\u043a\u043e\u0432 \u0421\u041d\u0413 \u0438 \u043c\u0430\u043b\u044b\u0445 \u043d\u0430\u0440\u043e\u0434\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435 \u0432\u043b\u0430\u0434\u0435\u043b\u0430 \u044d\u0442\u0438\u043c\u0438 \u044f\u0437\u044b\u043a\u0430\u043c\u0438, \u043d\u043e \u043d\u0430\u043c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0441\u0435\u0442\u044b.<\/p>\n<p>\u0418\u0437 \u043e\u0431\u0449\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0432 61 \u044f\u0437\u044b\u043a \u043c\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 23 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0440\u0430\u043d \u0421\u041d\u0413 \u0438 \u043c\u0430\u043b\u044b\u0445 \u043d\u0430\u0440\u043e\u0434\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u0418 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043c\u044b \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0443\u0447\u0448\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d \u0437\u043d\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u044f\u0437\u044b\u043a. \u0410 \u0441\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/huggingface.co\/ai-forever\"><u>Hugging Face<\/u><\/a>.<\/p>\n<p>\u0412\u043e\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u044f\u0437\u044b\u043a\u043e\u0432 \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-armenian\"><em><u>?? mGPT-1.3B Armenian<\/u><\/em><\/a><em> \u2014 \u0430\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-azerbaijan\"><em><u>?? mGPT-1.3B Azerbaijan<\/u><\/em><\/a><em><u> <\/u>\u2014 \u0430\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-bashkir\"><em><u>? mGPT-1.3B Bashkir<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-belorussian\"><em><u>?? mGPT-1.3B Belorussian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-bulgarian\"><em><u>?? mGPT-1.3B Bulgarian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-buryat\"><em><u>? mGPT-1.3B Buryat<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0431\u0443\u0440\u044f\u0442\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-chuvash\"><em><u>? mGPT-1.3B Chuvash<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0447\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-georgian\"><em><u>?? mGPT-1.3B Georgian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0433\u0440\u0443\u0437\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-kalmyk\"><em><u>? mGPT-1.3B Kalmyk<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-kazakh\"><em><u>?? mGPT-1.3B Kazakh<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043a\u0430\u0437\u0430\u0445\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-kirgiz\"><em><u>?? mGPT-1.3B Kirgiz<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043a\u0438\u0440\u0433\u0438\u0437\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-mari\"><em><u>? mGPT-1.3B Mari<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043c\u0430\u0440\u0438\u0439\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-mongol\"><em><u>?? mGPT-1.3B Mongol<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043c\u043e\u043d\u0433\u043e\u043b\u044c\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-ossetian\"><em><u>? mGPT-1.3B Ossetian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043e\u0441\u0435\u0442\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-persian\"><em><u>?? mGPT-1.3B Persian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-romanian\"><em><u>?? mGPT-1.3B Romanian<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0440\u0443\u043c\u044b\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-tajik\"><em><u>?? mGPT-1.3B Tajik<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0430\u0434\u0436\u0438\u043a\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-tatar\"><em><u>\u2615 mGPT-1.3B Tatar<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-turkmen\"><em><u>?? mGPT-1.3B Turkmen<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0443\u0440\u043a\u043c\u0435\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-tuvan\"><em><u>? mGPT-1.3B Tuvan<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0442\u0443\u0432\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-ukranian\"><em><u>?? mGPT-1.3B Ukranian<\/u><\/em><\/a><em> \u2014 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-uzbek\"><em><u>?? mGPT-1.3B Uzbek<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u0443\u0437\u0431\u0435\u043a\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/ai-forever\/mGPT-1.3B-yakut\"><em><u>? mGPT-1.3B Yakut<\/u><\/em><\/a><strong><em> <\/em><\/strong><em>\u2014 \u044f\u043a\u0443\u0442\u0441\u043a\u0438\u0439<\/em><\/p>\n<\/li>\n<\/ul>\n<h2>\u041c\u043e\u0434\u0435\u043b\u0438 mGPT, mGPT-13B \u0438 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 mGPT<\/h2>\n<p>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 mGPT \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u043d\u0430\u0448\u0435\u0439 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 <a href=\"https:\/\/arxiv.org\/abs\/2204.07580\"><u>\u0441\u0442\u0430\u0442\u044c\u0435<\/u><\/a> \u043d\u0430 ArXiv, \u0433\u0434\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0434\u0435\u0442\u0430\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e XGLM \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435.<\/p>\n<p>\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u043b\u0438\u0448\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 1,3 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0432\u0435\u0440\u0441\u0438\u044f mGPT-13B \u2014 13 \u043c\u043b\u0440\u0434. \u041c\u044b \u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 2048 \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0435 \u043e\u043a\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 400 000 \u0448\u0430\u0433\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0443\u0447\u0438\u0432\u0430\u043b\u0438 \u043d\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043d\u0430 \u0435\u0449\u0451 200 000 \u0448\u0430\u0433\u0430\u0445, \u0443\u0436\u0435 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 2048. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430, \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043f\u0443\u0442\u0451\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0432 \u0441\u043e\u0441\u0442\u0430\u0432\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0430 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u0439 <a href=\"https:\/\/cloud.ru\/ru\/datahub\/rugpt3family\/mgpt-3-13b\"><u>\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435<\/u><\/a> ML Space \u0432 \u0445\u0430\u0431\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0421 \u044d\u0442\u043e\u0433\u043e \u043b\u0435\u0442\u0430 \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0432 HuggingFace \u043f\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 MIT, \u043c\u044b \u0440\u0430\u0434\u044b \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u043d\u0438\u043c\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c.<\/p>\n<p>\u041d\u043e\u0432\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0435 mGPT. \u0412 \u0442\u0435\u043e\u0440\u0438\u0438, \u0434\u0430\u0436\u0435 \u0441\u0430\u043c\u044b\u0435 \u043c\u0430\u043b\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0438\u0434\u0435\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0438 \u0440\u0435\u0448\u0430\u0442\u044c \u0434\u0430\u0443\u043d-\u0441\u0442\u0440\u0438\u043c \u0442\u0430\u0441\u043a\u0438 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u0435\u0440\u0443 \u0437\u043d\u0430\u043d\u0438\u0439 \u0441 \u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u043e\u0439, \u043e\u0431\u0443\u0447\u0435\u043d\u043e\u0439 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u044f\u0437\u044b\u043a, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u043f\u0440\u0438\u044f\u0442\u043d\u0435\u0435 \u0438 \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0441\u043c\u044b\u0441\u043b, \u0442. \u043a. \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043e\u0442 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432, \u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f. \u041a\u0430\u0436\u0434\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0438 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0438\u0436\u0435.<\/p>\n<h2>\u0414\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h2>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u2014 \u044d\u0442\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0435 =) \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043d\u0443\u0436\u043d\u044b\u0445 \u043d\u0430\u043c \u044f\u0437\u044b\u043a\u0430\u0445, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u044b\u043b\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0432\u0437\u044f\u043b\u0438 \u043f\u043e\u0434\u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/mc4\"><u>mC4<\/u><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/oscar-corpus\"><u>OSCAR<\/u><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/opus.nlpl.eu\/OpenSubtitles-v2018.php\"><u>OpenSubtitles<\/u><\/a><\/p>\n<\/li>\n<li>\n<p>Wiki, Blogs, LibGen, Archive<\/p>\n<\/li>\n<\/ul>\n<p>\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u043b\u0438 \u0438\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u044f\u0437\u044b\u043a:<\/p>\n<ul>\n<li>\n<p><a href=\"http:\/\/eanc.net\/\"><strong><u>EANC<\/u><\/strong><\/a> <strong><em>\u2014 [\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439] <\/em><\/strong>\u0412\u043e\u0441\u0442\u043e\u0447\u043d\u043e\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439 \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 (\u0412\u0410\u041d\u041a) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u043e-\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439 \u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u043c, \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043b\u0435\u0436\u0438\u0442 \u043e\u0431\u0448\u0438\u0440\u043d\u0430\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u0432\u043e\u0441\u0442\u043e\u0447\u043d\u043e\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0420\u0435\u0441\u043f\u0443\u0431\u043b\u0438\u043a\u0438 \u0410\u0440\u043c\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/paperswithcode.com\/dataset\/ted-talks\"><strong><u>TED talks<\/u><\/strong><\/a><strong> (<\/strong><a href=\"https:\/\/huggingface.co\/datasets\/ted_talks_iwslt\"><strong><u>ted_talks_iwslt<\/u><\/strong><\/a><strong>) <em>\u2014 [\u0430\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u0438\u0439, \u0431\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u0438\u0439. \u0433\u0440\u0443\u0437\u0438\u043d\u0441\u043a\u0438\u0439, \u043a\u0430\u0437\u0430\u0445\u0441\u043a\u0438\u0439, \u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439, \u0440\u0443\u043c\u044b\u043d\u0441\u043a\u0438\u0439, \u0442\u0430\u0434\u0436\u0438\u043a\u0441\u043a\u0438\u0439, \u0442\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439, \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u0438\u0439, \u0443\u0437\u0431\u0435\u043a\u0441\u043a\u0438\u0439]<\/em><\/strong><em> <\/em>(<a href=\"https:\/\/creativecommons.org\/licenses\/by-nc-nd\/4.0\/\"><u>CC BY-NC-ND 4.0<\/u><\/a>) The Web Inventory Talk \u2014 \u044d\u0442\u043e \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0441 TED talks \u0438 \u0438\u0445 \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0432\u0435\u0440\u0441\u0438\u0439. \u041f\u0435\u0440\u0435\u0432\u043e\u0434\u044b \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c 109+ \u044f\u0437\u044b\u043a\u0430\u0445, \u0445\u043e\u0442\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435\u043e\u0434\u043d\u043e\u0440\u043e\u0434\u043d\u043e\u0435.<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/web-corpora.net\/wsgi3\/minorlangs\/download\"><strong><u>minorlangs<\/u><\/strong><\/a><strong> <em>\u2014 [\u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439, \u0431\u0443\u0440\u044f\u0442\u0441\u043a\u0438\u0439, \u0447\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439, \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439, \u043c\u0430\u0440\u0438\u0439\u0441\u043a\u0438\u0439, \u0442\u0430\u0442\u0430\u0440\u0441\u043a\u0438\u0439, \u0442\u0443\u0432\u0438\u043d\u0441\u043a\u0438\u0439, \u044f\u043a\u0443\u0442\u0441\u043a\u0438\u0439]. <\/em><\/strong>\u041a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0434\u043b\u044f \u043c\u0430\u043b\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u041d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u044f\u0437\u044b\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u2013 \u043d\u0435\u0442, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0435\u043c \u0432\u0430\u0441 \u044f\u0437\u044b\u043a\u0435. \u041f\u0440\u043e\u0435\u043a\u0442 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043c\u0430\u0433\u0438\u0441\u0442\u0435\u0440\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u00ab\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u043a\u0430\u00bb.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/AigizK\/bashkir-russian-parallel-corpora\"><strong><u>Bashkir<\/u><\/strong><\/a><strong> <em>\u2014 [\u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439]<\/em><\/strong><em> (<\/em><a href=\"https:\/\/github.com\/nevmenandr\/bashkir-corpus\/blob\/master\/LICENSE\"><u>GPL-3.0 license<\/u><\/a><em>) <\/em><a href=\"https:\/\/github.com\/AigizK\/bashkort-parallel-corpora\"><strong><em><u>parallel-corpora<\/u><\/em><\/strong><\/a><strong><em> <\/em><\/strong>520K \u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u043e-\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0438 \u0440\u0443\u0441\u0441\u043a\u043e-\u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 (\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043a\u043d\u0438\u0433\u0438, \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u0441 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435).<\/p>\n<p><a href=\"https:\/\/github.com\/nevmenandr\/bashkir-corpus\"><strong><em><u>bashkir corpus<\/u> <\/em><\/strong><\/a><em>\u2013<\/em> \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u0430\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0438\u0437 20 934 729 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0447\u0438\u0441\u0442\u044b\u0445 \u0431\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p> <a href=\"https:\/\/huggingface.co\/datasets\/xnli\"><strong><u>XNLI<\/u><\/strong><\/a><strong> <em>\u2014 [\u0431\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0438\u0439] <\/em><\/strong><em>(<\/em><a href=\"https:\/\/github.com\/facebookresearch\/XNLI\/blob\/master\/LICENSE\"><u>Attribution-NonCommercial 4.0 International<\/u><\/a><em>) <\/em>\u0431\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0435\u0442\u0430 XNLI. XLNI \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0437 MNLI (\u0437\u0430\u0434\u0430\u0447\u0430 textual entailment), \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 14 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/alexantonov\/chuvash_parallel\"><strong><u>chuvash_parallel<\/u><\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/github.com\/AlAntonov\/chv_corpus\"><strong><u>chv_corpus<\/u><\/strong><\/a> <strong><em>\u2014 [\u0447\u0443\u0432\u0430\u0448\u0441\u043a\u0438\u0439] <\/em><\/strong><em>(<\/em>CC0<strong><em>) <\/em><\/strong>\u0447\u0443\u0432\u0430\u0448\u0441\u043a\u043e-\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441, \u043e\u043a\u043e\u043b\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0445 \u0432\u0440\u0443\u0447\u043d\u0443\u044e.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/gitlab.com\/Nomin-Ger.Ru\/oyrad_corpus\"><strong><u>oyrad_corpus<\/u><\/strong><\/a> <strong><em>\u2014 [\u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439] <\/em><\/strong>(MIT) \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u043e\u0433\u043e \u0438 \u043e\u0439\u0440\u0430\u0442\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u043e\u0432. \u0420\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0434\u043b\u044f \u0438\u0437\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u0438\u0439 \u044f\u0437\u044b\u043a, \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u0438 \u043a\u0443\u043b\u044c\u0442\u0443\u0440\u0443 (\u0441\u0442\u0438\u0445\u0438, \u0444\u043e\u043b\u044c\u043a\u043b\u043e\u0440, \u043f\u0440\u043e\u0437\u0430, \u0440\u0435\u043b\u0438\u0433\u0438\u043e\u0437\u043d\u0430\u044f \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0430)<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/datasets\/udhr\"><strong><u>udhr<\/u><\/strong><\/a> <strong><em>\u2014 [\u043c\u043e\u043d\u0433\u043e\u043b\u044c\u0441\u043a\u0438\u0439] <\/em><\/strong>The Universal Declaration of Human Rights (UDHR). \u041d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044b \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c 400 \u044f\u0437\u044b\u043a\u0430\u0445 \u0438 \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/jon.dehdari.org\/corpora\/#persian\"><strong><em><u>VOA Corpus<\/u> <\/em><\/strong><\/a><strong><em>\u0438 Kayhan Corpus [\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u0438\u0439] <\/em><\/strong>\u041f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e-\u0430\u0440\u0430\u0431\u0441\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0437\u0430 2003\u20132008 \u0433\u043e\u0434\u044b, 7,9 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u043b\u043e\u0432, \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f: public domain. \u0418 Kayhan \u043a\u043e\u0440\u043f\u0443\u0441 \u2014 \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430 2005, \u0442\u0440\u0430\u043d\u0441\u043b\u0438\u0442\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439, 19 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u043b\u043e\u0432, \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f: public domain.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0432\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u043c\u0438, \u0438 \u0434\u043b\u044f \u0447\u0430\u0441\u0442\u0438 \u043c\u0430\u043b\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0438 \u0438\u0437 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u0437\u043a\u043e\u0433\u043e \u043a\u0440\u0443\u0433\u0430 \u0434\u043e\u043c\u0435\u043d\u043e\u0432. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0434\u043b\u044f \u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 54 079 874 \u0442\u0435\u043a\u0441\u0442\u0430\u0445, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u043a\u0430\u043b\u043c\u044b\u0446\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0430\u0448\u043b\u043e\u0441\u044c \u0432\u0441\u0435\u0433\u043e 9 181 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0440\u0430\u0437\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0435\u0433\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f, \u044f\u0437\u044b\u043a\u0430 \u0438 \u0434\u043e\u043c\u0435\u043d\u0430. \u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u044b\u0441\u044f\u0447\u0430 \u0441\u043b\u043e\u0432. \u0414\u043b\u044f \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0431\u044b\u043b \u0440\u0430\u0437\u0431\u0438\u0442 \u043d\u0430 \u0448\u0430\u0440\u0434\u044b \u0438 \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><code>\u00ab\u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0442\u0435\u043a\u0441\u0442 &lt;|\u0442\u043e\u043a\u0435\u043d \u043a\u043e\u043d\u0446\u0430 \u0442\u0435\u043a\u0441\u0442\u0430|><br \/> \u0435\u0449\u0451 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0442\u0435\u043a\u0441\u0442 &lt;|\u0442\u043e\u043a\u0435\u043d \u043a\u043e\u043d\u0446\u0430 \u0442\u0435\u043a\u0441\u0442\u0430|>\u00bb<\/code><\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0432\u0441\u0435\u043c \u043a\u043e\u043b\u043b\u0435\u0433\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u043d\u044b \u043a \u043c\u0430\u043b\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u0430\u043c, \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432. \u041c\u044b \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u044d\u0442\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0435\u0441\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u0442\u0438\u0432. \u041c\u044b \u043e\u0442\u043a\u0440\u044b\u0442\u044b \u0434\u043b\u044f \u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0430\u0446\u0438\u0438, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b \u0431\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0438\u043b\u0438 \u0432\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0438\u043c\u0438 \u0441 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e\u043c, \u043d\u0430\u043f\u0438\u0448\u0438\u0442\u0435 \u043d\u0430\u043c. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0432 \u0435\u0434\u0438\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0438 \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438 \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u044f\u0437\u044b\u043a\u0435.<\/p>\n<h3>\u0422\u044e\u043d\u0438\u043d\u0433 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h3>\n<p>\u0412\u043e\u043e\u0440\u0443\u0436\u0438\u0432\u0448\u0438\u0441\u044c \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0444\u0430\u0439\u043d\u0442\u044c\u044e\u043d\u0430, \u043c\u044b \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u043a \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041a\u0430\u0436\u0434\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u043b\u0438 250\u043a \u0448\u0430\u0433\u043e\u0432, \u0447\u0442\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e \u043d\u0435\u0434\u0435\u043b\u0438 \u043d\u0430 \u0441\u0443\u043f\u0435\u0440\u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0435 <a href=\"https:\/\/sbercloud.ru\/ru\/christofari\"><u>Christofari<\/u><\/a> \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 GPU A100 \u0441 80Gb \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0434\u0435\u043b\u0430\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u043a\u0430\u0436\u0434\u044b\u0435 50\u043a \u0448\u0430\u0433\u043e\u0432. \u0414\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<br \/><code><br \/>model-parallel-size = 1<br \/>num-layers\u00a0 = 24<br \/>hidden-size = 2048<br \/>num-attention-heads = 16<br \/>batch-size = 4<br \/>seq-length = 2048<br \/>max-position-embeddings = 2048<br \/>train-iters = 250000<br \/>distributed-backend\u00a0 = nccl<br \/>lr = 0.00001<br \/>lr-decay-style = cosine<br \/>lr-decay-iters = 200000<br \/>min-lr = 0.000005<br \/>warmup = .001<br \/>fp16 = True<\/code><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0438, \u0432\u044b\u0448\u043b\u0430 \u043b\u0438 \u043c\u043e\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043f\u043e \u043b\u043e\u0441\u0441\u0443 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u0440\u0430\u043d\u044c\u0448\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430, \u0442\u043e \u043c\u044b \u0431\u0440\u0430\u043b\u0438 \u043b\u0443\u0447\u0448\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0438\u0437 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f, \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0436\u0435 \u043d\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u0415\u0441\u043b\u0438 \u0436\u0435 \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0448\u0430\u0433\u043e\u0432 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0438 \u043b\u043e\u0441\u0441 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 250 \u0442\u044b\u0441\u044f\u0447\u0430\u0445 \u0448\u0430\u0433\u043e\u0432 \u0432\u0441\u0435 \u0435\u0449\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b \u043f\u0430\u0434\u0430\u0442\u044c (\u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c 10 \u0438\u0437 23), \u0442\u043e \u043c\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0438 \u0435\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043e \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f <strong><em>\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e<\/em><\/strong> \u0438 <strong><em>\u0431\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e<\/em><\/strong> \u043d\u0430 \u044d\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0448\u0430\u0433\u043e\u0432. \u0421\u0442\u043e\u0438\u0442, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043f\u043e\u044f\u0441\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043b\u0443\u0447\u0448\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u0438\u0448\u044c \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0445 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u044b\u043b\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0438 \u043f\u0440\u0438\u0431\u0435\u0433\u043b\u0438 \u043a \u0442\u0430\u043a\u043e\u0439 \u0445\u0438\u0442\u0440\u043e\u0441\u0442\u0438, \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0432 \u043b\u0438\u0448\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b.\u00a0<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0432 \u0435\u0433\u043e \u0438 \u0432\u044b\u043a\u0438\u043d\u0443\u0432 \u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043e\u0448\u043b\u0438 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 mGPT.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0440\u0438\u0432\u044b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 \u043a\u0430\u043a \u0441\u043d\u0438\u0436\u0430\u043b\u0441\u044f \u043b\u043e\u0441\u0441 \u0438 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f \u043f\u0440\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.\u00a0<\/p>\n<figure class=\"full-width\"><\/figure>\n<figure class=\"full-width\"><\/figure>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u043a\u0440\u0438\u0432\u044b\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f <strong><em>\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e<\/em><\/strong>:<\/p>\n<figure class=\"bordered full-width\"><\/figure>\n<figure class=\"bordered full-width\"><\/figure>\n<p>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0441 \u043e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u043e\u0439 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438, \u043d\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c 500\u043a \u0448\u0430\u0433\u043e\u0432. <\/p>\n<p>\u0410 \u0432\u043e\u0442 \u0434\u043b\u044f <strong>\u043c\u0430\u0440\u0438\u0439\u0441\u043a\u043e\u0433\u043e<\/strong> \u0433\u0440\u0430\u0444\u0438\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443:<\/p>\n<figure class=\"bordered full-width\"><\/figure>\n<figure class=\"bordered full-width\"><\/figure>\n<p>\u0437\u0434\u0435\u0441\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0441 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438, \u043d\u043e \u0432\u0441\u0435\u0433\u043e \u0437\u0430 5\u043a \u0448\u0430\u0433\u043e\u0432 \u043e\u043d\u0430 \u0432\u044b\u0448\u043b\u0430 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u0430. \u0414\u043b\u044f <strong><em>\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e<\/em><\/strong> \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u043f\u043b\u0430\u0442\u043e \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0437\u0430 200 \u0442\u044b\u0441\u044f\u0447 \u0448\u0430\u0433\u043e\u0432:<\/p>\n<figure class=\"bordered full-width\"><\/figure>\n<figure class=\"bordered full-width\"><\/figure>\n<p>\u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0434\u043b\u044f <em>\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e<\/em> \u0433\u0440\u0430\u0444\u0438\u043a \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u00ab\u0448\u0442\u043e\u0440\u043c\u0438\u0442\u00bb. \u0422\u0430\u043a\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e, \u043a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b\u0438, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u043e \u043e\u0431\u044a\u0435\u043c\u0443, \u0442\u0430\u043a \u0438 \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0434\u043e\u043c\u0435\u043d\u043e\u0432. \u0418 \u0432 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u043b\u044f <em>\u043f\u0435\u0440\u0441\u0438\u0434\u0441\u043a\u043e\u0433\u043e<\/em> \u0438 <em>\u0430\u0440\u043c\u044f\u043d\u0441\u043a\u043e\u0433\u043e<\/em> \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0435, \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f <em>\u043c\u0430\u0440\u0438\u0439\u0441\u043a\u043e\u0433\u043e<\/em> \u043a\u0440\u0430\u0439\u043d\u0435 \u043c\u0430\u043b\u043e, \u0438 \u043e\u043d\u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c \u043a\u0440\u0443\u0433\u043e\u043c \u0434\u043e\u043c\u0435\u043d\u043e\u0432. \u0414\u0430\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0434\u043d\u0430\u043a\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 \u043f\u043e\u043a\u0430 \u043c\u044b \u0435\u0433\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0434\u043b\u044f \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0441\u0432\u043e\u0434\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0434\u043b\u044f \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0437\u044b\u043a\u043e\u0432.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u042f\u0437\u044b\u043a<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>loss\/ppl \u043d\u0430 test<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041b\u0443\u0447\u0448\u0438\u0439 \u0448\u0430\u0433<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0410\u0440\u043c\u044f\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 0.55 ppl: 1.73<\/p>\n<\/td>\n<td>\n<p align=\"center\">500000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.68 ppl: 5.37<\/p>\n<\/td>\n<td>\n<p align=\"center\">70000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u0430\u0448\u043a\u0438\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 1.95 ppl: 7.06<\/p>\n<\/td>\n<td>\n<p align=\"center\">5000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u0435\u043b\u043e\u0440\u0443\u0441\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 3.32 ppl: 27.65<\/p>\n<\/td>\n<td>\n<p align=\"center\">10000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u043e\u043b\u0433\u0430\u0440\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.72 ppl: 15.20<\/p>\n<\/td>\n<td>\n<p align=\"center\">200<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0411\u0443\u0440\u044f\u0442\u0441\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"center\">loss: 2.87 ppl:<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-352393","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/352393","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=352393"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/352393\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=352393"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=352393"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=352393"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}