{"id":381983,"date":"2024-06-29T03:59:54","date_gmt":"2024-06-29T03:59:54","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=381983"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=381983","title":{"rendered":"<span>\u0420\u0435\u0430\u043b\u044c\u043d\u043e \u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 (\u043b\u0435\u0442\u043e) RuGPT3.5: \u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u043e\u0432\u0435\u043b\u043b\u044b \u043d\u0430 \u0445\u043e\u0434\u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/917\/2d8\/623\/9172d8623557440c1604ac687cba438a.jpg\" alt=\"\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043c\u0438\u0440\u043e\u0432\u0430\u044f \u043b\u0438\u043d\u0438\u044f?\" title=\"\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043c\u0438\u0440\u043e\u0432\u0430\u044f \u043b\u0438\u043d\u0438\u044f?\" width=\"1200\" height=\"628\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/917\/2d8\/623\/9172d8623557440c1604ac687cba438a.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043c\u0438\u0440\u043e\u0432\u0430\u044f \u043b\u0438\u043d\u0438\u044f?<\/figcaption><\/div>\n<\/figure>\n<p>\u042f \u0443\u0436 \u0431\u044b\u043b\u043e \u043f\u043e\u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e \u044d\u043f\u043e\u0445\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0443\u0448\u043b\u0430, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u043f\u043e\u0441\u043b\u0435 \u0441\u0435\u0431\u044f \u043d\u0435\u0432\u0435\u043b\u0438\u043a\u043e\u0435 \u043d\u0430\u0441\u043b\u0435\u0434\u0438\u0435 (\u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u043f\u0430\u043b\u044c\u0446\u0430\u0445), \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u0430\u0440\u0443 \u043d\u0435\u0434\u0435\u043b\u044c \u043d\u0430\u0437\u0430\u0434 <strong>RuGPT3.5<\/strong> \u043e\u0442 \u0421\u0431\u0435\u0440\u0430 \u0432\u044b\u0448\u043b\u0430 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0438, \u0437\u0430 \u043d\u0435\u0438\u043c\u0435\u043d\u0438\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043c\u043d\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u043c \u0448\u0430\u043d\u0441\u043e\u043c \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u0432\u043d\u0435\u0439 \u0438\u0434\u0435\u0438.<\/p>\n<h4>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435:<\/h4>\n<ul>\n<li>\n<p><a href=\"#%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#%D0%BA%D0%BE%D0%BD%D0%B5%D1%86%D0%BF%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0417\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#%D0%B8%D0%B3%D1%80%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0418\u0433\u0440\u0430<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0414\u0430\u043d\u043d\u044b\u0435<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#%D0%BE%D0%B1%D0%B5%D1%80%D1%82%D0%BA%D0%B0\" rel=\"noopener noreferrer nofollow\">\u041e\u0431\u0435\u0440\u0442\u043a\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D1%82%D0%B5%D1%81%D1%82%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0422\u0435\u0441\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#ui\" rel=\"noopener noreferrer nofollow\">UI<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%B5%D1%89%D1%91%D1%82%D0%B5%D1%81%D1%82%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0415\u0449\u0451 \u0442\u0435\u0441\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%B4%D0%BE%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">Fine-tune<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#gptqlora\" rel=\"noopener noreferrer nofollow\">LoRA<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%B4%D0%B0%D1%82%D0%B0%D1%81%D0%B5%D1%82\" rel=\"noopener noreferrer nofollow\">Dataset<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D1%80%D0%B5%D0%B7%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#%D0%B7%D0%B0%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/a><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 <em>\u043d\u0430 \u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0440\u043e\u0447\u0435, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432 \u0432\u044b\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0430\u0445<\/em>. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043b\u043e\u043d\u0433\u0440\u0438\u0434, \u0442\u0430\u043a \u0447\u0442\u043e \u044f \u0431\u0443\u0434\u0443 \u0440\u0430\u0437\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043b\u0435\u0432\u044b\u043c\u0438 \u043f\u0438\u043a\u0447\u0430\u043c\u0438, \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0435\u0440\u0436\u0443 \u0432 \u043a\u0443\u0440\u0441\u0435.<\/p>\n<p>\u0422\u0435, \u043a\u043e\u0433\u043e \u044f \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b, \u043f\u0440\u0438\u0433\u043b\u0430\u0448\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u0442.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5\" id=\"\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435\"><\/a><\/p>\n<h2>\u0416\u0438\u0432\u044b \u043b\u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 GPT? <\/h2>\n<p>\u0414\u043b\u044f \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u0441 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b <strong>GPT<\/strong> \u0441\u043e\u0432\u0435\u0442\u0443\u044e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440: <a href=\"https:\/\/habr.com\/ru\/articles\/490842\/\" rel=\"noopener noreferrer nofollow\">GPT-2 \u0432 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445<\/a>, \u0438 \u044d\u0442\u043e\u0442: <a href=\"https:\/\/habr.com\/ru\/articles\/514698\/\" rel=\"noopener noreferrer nofollow\">GPT-3<\/a><\/p>\n<p>\u0427\u0442\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0438\u0437 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/p>\n<ul>\n<li>\n<p><strong><em>GPT-1<\/em><\/strong> (2018) (Context: <strong>512<\/strong>) &#8212; \u0420\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e (\u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043b\u043e\u0445\u043e), \u043d\u043e \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong><em>GPT-2<\/em><\/strong> (2019) (Context: <strong>1024<\/strong>) &#8212; \u0441\u0442\u0430\u043b\u0430 \u043b\u0443\u0447\u0448\u0435, \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0438 \u0434\u0430\u0436\u0435 \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 prompt engineering \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.  <\/p>\n<\/li>\n<li>\n<p><strong><em>GPT-3<\/em><\/strong> (2020) (Context: <strong>2048<\/strong>) &#8212; \u0421\u0442\u0430\u043b\u0430 \u0432 10 (!) \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435, \u0438 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0443\u0442\u043e\u0439, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0439 \u043a\u043e\u0434.<\/p>\n<\/li>\n<li>\n<p><strong><em>RuGPT3<\/em><\/strong><em>, <\/em><strong><em>RuDialoGPT3<\/em><\/strong><em>,<\/em> (Context: <strong>512!<\/strong>) &#8212; \u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 <strong>GPT3<\/strong> \u043f\u043e\u0434 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0431\u044b\u043b\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043e \u0438 \u0432\u044b\u043b\u043e\u0436\u0435\u043d\u043e \u0421\u0431\u0435\u0440\u043e\u043c \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f <em>(\u0412 \u0441\u0432\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044f \u0434\u0430\u0436\u0435 \u044d\u0441\u0441\u0435 \u043f\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u043e\u0431\u0449\u0430\u0433\u0435 \u0438 \u043f\u0430\u0440\u0435 \u0441\u043f\u0435\u0446\u043e\u0432 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u043c\u0438).<br \/><\/em><strong>\u041d\u043e \u0431\u044b\u043b \u0443 \u043d\u0438\u0445 \u043e\u0434\u0438\u043d<\/strong> \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 <strong>\u043d\u044e\u0430\u043d\u0441<\/strong>. \u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u043d \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u043a\u0430\u043a \u0438\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0434\u043b\u0438\u043d\u043e\u0439 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. (\u044d\u0442\u043e \u043a\u0430\u043a \u0443 \u0441\u0430\u043c\u043e\u0439 \u043f\u0435\u0440\u0432\u043e\u0439 GPT, \u0434\u0430).<br \/>\u041f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u0443\u044e \u043d\u0430 2048 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043a\u0443\u0441\u043a\u0430\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e <strong>512<\/strong>, \u0442\u043e \u043e\u043d\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u0442\u0443\u043f\u0435\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0432\u044f\u0442\u043e \u043c\u0435\u0441\u0442\u043e \u043f\u0443\u0441\u0442\u043e \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442, \u043a\u0442\u043e-\u0442\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u043b \u043d\u0430\u0447\u0430\u0442\u044c \u044d\u0442\u043e \u043c\u043e\u043d\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u042d\u0442\u0438\u043c \u0437\u0430\u043d\u044f\u043b\u0438\u0441\u044c \u0441\u0430\u043c\u0438 \u0441\u043e\u0437\u0434\u0430\u0442\u0435\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b &#8212; <strong>OpenAI<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u0439\u0442\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0441\u0432\u043e\u0435\u0433\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0430\u0439\u0442, \u0441 \u0447\u0430\u0442 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c \u0441\u0432\u043e\u0435\u0439 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 GPT3, \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0447\u0430\u0442\u0430 &#8212; <strong>ChatGPT<\/strong>. \u0412 \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u0435\u043d\u044c \u0435\u0451 \u0432\u044b\u0445\u043e\u0434\u0430 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0442\u0435\u0441\u0442 \u044f \u0437\u0430\u0440\u0435\u0433\u0430\u043b temp phone number \u0438 \u0431\u044b\u043b \u0440\u0430\u0437\u043e\u0447\u0430\u0440\u043e\u0432\u0430\u043d. \u041e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043d\u0438\u0447\u0443\u0442\u044c \u043d\u0435 \u043b\u0443\u0447\u0448\u0435 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0439 GPT3 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c, \u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0431\u044b\u043b \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0432\u044b\u0445\u043e\u0434\u0435.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0445\u043e\u0434\u0430 ChatGPT3.5 \u0441 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0430\u043c\u0438 \u0434\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u044b\u043b\u0430 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u0430\u043c\u0438 \u0443\u043c\u0440\u0451\u0442 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435\u043c ChatGPT4. OpenAI \u0441\u0442\u0430\u043b\u0438 \u043f\u0440\u043e\u0434\u0430\u0432\u0430\u0442\u044c API \u0447\u0430\u0441\u0442\u043d\u044b\u043c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0443\u044e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443. <\/p>\n<p>\u041c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u0433\u043e\u0434 \u0441\u0442\u0430\u043b\u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u044b \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445.<\/p>\n<p><strong><em>YaML 100b<\/em><\/strong> (2022)<strong> <\/strong>(Context: ?) &#8212; \u043d\u0435\u0447\u0442\u043e \u0436\u0438\u0434\u043a\u043e\u0435, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0435 \u0441 \u043f\u043b\u0435\u0432\u043a\u043e\u043c \u0432 \u043b\u0438\u0446\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e, \u0445\u043e\u0442\u044c \u043e\u043d\u0430 \u0438 \u0432 \u043e\u043f\u0435\u043d \u0441\u043e\u0440\u0441&#8230; \u0422\u0430\u043a \u043a\u0430\u043a \u0432\u0435\u0441\u0438\u0442 \u0441\u0438\u0435 \u0447\u0443\u0434\u043e <strong>250\u0433\u0431!<\/strong> \u0410 \u0438\u0445 \u0435\u0449\u0451 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c, \u0432 \u043e\u0431\u0449\u0435\u043c, \u0441\u0432\u043e\u0435\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0439 \u043f\u0440\u0438\u043a\u043e\u043b \u043e\u0442 \u0432\u0441\u0435\u043c\u0438 \u043b\u044e\u0431\u0438\u043c\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. \u0412\u0441\u0451 \u0447\u0442\u043e \u043e \u043d\u0435\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0451\u0439, \u0441\u0430\u043c\u043e\u0433\u043e Ya:<br \/><a href=\"https:\/\/habr.com\/ru\/companies\/yandex\/articles\/672396\/\" rel=\"noopener noreferrer nofollow\">\u042f\u043d\u0434\u0435\u043a\u0441 \u0432\u044b\u043b\u043e\u0436\u0438\u043b YaLM 100B \u2014 \u0441\u0435\u0439\u0447\u0430\u0441 \u044d\u0442\u043e \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0430\u044f GPT-\u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0432 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435.<\/a><\/p>\n<p><strong><em>LLama 2<\/em><\/strong> (2023) (Context: <strong>4096<\/strong>) &#8212; \u0421\u0430\u043c\u044b\u0439 \u0441\u043e\u043a, \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0432\u044b\u0448\u0435\u0434\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. \u0421\u0442\u0430\u043b\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<br \/>HF \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u0447\u0430\u0442-\u0431\u043e\u0442\u0430\u043c\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 LLama, \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0437\u0430 \u0441\u0443\u0449\u0438\u0435 \u0447\u0430\u0441\u044b \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u0412\u043e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 <strong>\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043c\u043e\u0433\u043b\u0430 \u0432\u043e\u043e\u0431\u0449\u0435<\/strong> (\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0435\u0433\u043e \u0431\u044b\u043b\u043e \u043c\u0435\u043d\u0435\u0435 1%). \u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0443\u0442 \u043d\u0435 \u043f\u043e\u043c\u043e\u0436\u0435\u0442. \u0412 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a ChatGPT \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<p>\u0421\u0431\u0435\u0440 \u0436\u0435 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0438 <strong>GigaChat<\/strong>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0441\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0440\u043e\u0444\u043b\u043e\u043c \u0438 \u0440\u0430\u0441\u043f\u0438\u043b\u043e\u043c \u0434\u0435\u043d\u0435\u0433, \u0434\u043e\u0441\u0442\u0443\u043f\u044b \u0432 \u0417\u0411\u0422 \u0434\u0430\u0432\u0430\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u0442\u043e\u0440\u043e\u043f\u043b\u0438\u0432\u043e.<\/p>\n<p>\u042f \u043f\u043e\u043f\u0430\u043b \u0432 \u043f\u0435\u0440\u0432\u044b\u0435 10\u043a \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u043b\u0435 \u0431\u043b\u043e\u0433\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u0438 \u043a\u0430\u043a \u0438 \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c, GigaChat \u0431\u044b\u043b \u0442\u0443\u043f\u043e\u0439. \u0414\u0430\u043b\u0435\u0435 \u044f \u0437\u0430 \u043d\u0438\u043c \u043d\u0435 \u0441\u043b\u0435\u0434\u0438\u043b.<\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0432\u0440\u043e\u0434\u0435 \u0443\u0436\u0435 \u0438\u0434\u0451\u0442 \u041e\u0411\u0422 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0439 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u044b\u043a\u0430\u0442\u044c &#171;\u0447\u0438\u0441\u0442\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u0439 ChatGPT&#187;, \u043d\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0441\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u041e\u043d\u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0432 \u043e\u043f\u0435\u043d \u0441\u043e\u0440\u0441 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u0441\u043d\u043e\u0432\u0430\u043d GigaChat: <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/746736\/\" rel=\"noopener noreferrer nofollow\">\u0421\u0431\u0435\u0440 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 ruGPT-3.5<\/a>. \u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0441\u0442\u0430\u043b\u0430 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430 <em>\u043d\u0435\u043b\u0438\u043a\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u044c<\/em> GigaChat \u043a\u0430\u043a \u043d\u043e\u0432\u043e\u0433\u043e, \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e API \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0431\u043e\u0442\u043e\u0432, \u0438 \u043e\u043d\u0438 \u0440\u0435\u0448\u0438\u043b\u0438 \u0434\u0430\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u043f\u043e\u0442\u0440\u043e\u0433\u0430\u0442\u044c \u0443\u0434\u043e\u0432\u043e\u043b\u044c\u0441\u0442\u0432\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0447\u0430\u0442-\u0431\u043e\u0442\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0433\u043e\u043b\u044b\u0445 \u0432\u0435\u0441\u043e\u0432, \u0430 \u043d\u0435 API, \u0438 \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0442\u043e \u043e\u043d\u0438 \u0441\u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 \u0434\u043b\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043d\u0443\u0436\u0435\u043d &#171;\u0441\u0432\u043e\u0439, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u0447\u0430\u0442-\u0431\u043e\u0442&#187;. \u0421\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u0432 \u0442\u043e\u0432\u0430\u0440.<\/p>\n<p>\u041d\u0435 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043d\u0430\u044f \u043a \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u043d\u043e\/\u043e\u0442\u0432\u0435\u0442\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0441\u0451 \u0442\u043e\u0439-\u0436\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u043a\u043e\u0439 \u0442\u0435\u0441\u0442\u0430 \u043a\u0430\u043a \u0438 RuGPT3, \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0435\u0437 \u043a\u0430\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u043e\u043d \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 2048 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u0430\u043a \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0434\u043e\u0433\u043d\u0430\u043b\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b).<\/p>\n<p><a class=\"anchor\" name=\"%D0%BA%D0%BE%D0%BD%D0%B5%D1%86%D0%BF%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B0\" id=\"\u043a\u043e\u043d\u0435\u0446\u043f\u0440\u043e\u043b\u043e\u0433\u0430\"><\/a><\/p>\n<h3>\u0417\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 RuGPT3.5<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0435 \u043d\u0430\u0448\u0430 \u043d\u043e\u0432\u0430\u044f \u043f\u043e\u0434\u0440\u0443\u0433\u0430 \u0432\u0435\u0441\u0438\u0442 <strong>50<\/strong> \u0433\u0438\u0433\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u043d\u0435 \u043d\u0435 \u043f\u043e \u043a\u0430\u0440\u043c\u0430\u043d\u0443. \u0411\u043b\u0430\u0433\u043e \u0434\u043e\u0431\u0440\u044b\u0435 \u043b\u044e\u0434\u0438 \u0443\u0436\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0441\u0435\u0442\u044c, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0432 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0435\u0451 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0441\u0436\u0430\u0432 \u0435\u0451 \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0432 4 \u0440\u0430\u0437\u0430! \u0420\u0430\u0437\u043c\u0435\u0440 4\u0445 \u0431\u0438\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u043a\u043e\u043b\u043e <strong>7<\/strong> \u0433\u0438\u0433\u043e\u0432.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0451 \u0432 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u043c Google Colab \u043d\u0430 <strong>NVIDIA Tesla T4 16Gb<\/strong> \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043f\u0443\u0441\u0442\u044c \u0438 \u043c\u0435\u043d\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0439, \u043d\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u043f\u044b\u0442 \u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0435\u0451 \u0432 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445. <\/p>\n<pre><code class=\"powershell\">pip install transformers auto-gptq gradio >> nul<\/code><\/pre>\n<p>\u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u044e \u0438 \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0435 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0441\u0430\u043c\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438.<\/p>\n<pre><code class=\"python\">from transformers import AutoTokenizer from auto_gptq import AutoGPTQForCausalLM import gradio as gr  model_name = 'fffrrt\/ruGPT-3.5-13B-GPTQ' model_basename = 'gptq_model-4bit-128g'  tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True) model = AutoGPTQForCausalLM.from_quantized(model_name,         model_basename = model_basename,         use_safetensors=True,         trust_remote_code=True,         device=\"cuda:0\",         use_triton=False,         quantize_config=None)<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c <strong>model<\/strong> \u0438 <strong>tokenizer<\/strong>, \u043a\u0430\u043a \u0432 \u0441\u0442\u0430\u0440\u044b\u0435 \u0434\u043e\u0431\u0440\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 GPT2\/3.<\/p>\n<h2>\u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0442\u0435\u0441\u0442\u044b<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u0442\u0435 \u043a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u044d\u0442\u0438 \u0432\u0430\u0448\u0438 <strong>top_k<\/strong>, <strong>top_p<\/strong>, <strong>temperature<\/strong> \u0438 <strong>no_repeat_ngram<\/strong>, \u043d\u043e \u0437\u043d\u0430\u0435\u0442\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0431\u043e\u0433\u043e\u0443\u0433\u043e\u0434\u043d\u044b\u0439 \u044f\u0437\u044b\u043a (\u043e\u043d \u0436\u0435 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439), \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0432\u0435\u0440\u0441\u0442\u0430\u0442\u044c \u0438\u043b\u0438 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0432\u0441\u0451 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435: <\/p>\n<p><a href=\"https:\/\/huggingface.co\/blog\/how-to-generate\" rel=\"noopener noreferrer nofollow\">Using different decoding methods for language generation with Transformers<\/a><\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/summary>\n<div class=\"spoiler__content\">\n<blockquote>\n<p>K:<strong>40,<\/strong><br \/>P:<strong>0.98<\/strong>,<br \/>temperature:<strong>0.6<\/strong>,<br \/>no_repeat_ngram_size:<strong>4<\/strong><\/p>\n<\/blockquote>\n<p>\u0418 \u0434\u0430, beam search \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0436 \u0441\u043e\u0432\u0441\u0435\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u0438 \u043f\u043b\u043e\u0445\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u043e\u0432\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u044f \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e top_p \u0441\u0435\u043c\u043f\u043b\u0438\u043d\u0433.<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0438\u0441\u043f\u044b\u0442\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0439 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043a\u0440\u043e\u0432\u044c \u0440\u043e\u0434\u043d\u043e\u0435 &#8212; \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b. \u0412\u043e\u0437\u044c\u043c\u0443 \u044f, \u043e\u0434\u043d\u0430\u043a\u043e, \u043d\u0435 \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u0443\u0441\u043e\u043a: \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 &#171;\u0417\u043e\u0432\u0430 \u041a\u0442\u0443\u043b\u0443\u0445\u0443&#187; \u041b\u0430\u0432\u043a\u0440\u0430\u0444\u0442\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0417\u043e\u0432\u043e\u043c \u041a\u0442\u0443\u043b\u0443\u0445\u0443<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u0435\u043b\u0438\u043a\u0438\u0435 \u0421\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u043d\u044b, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b \u041a\u0430\u0441\u0442\u0440\u043e, \u043d\u0435 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u0442 \u0438\u0437 \u043f\u043b\u043e\u0442\u0438 \u0438 \u043a\u0440\u043e\u0432\u0438. \u0423 \u043d\u0438\u0445 \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430 \u2014 <strong>&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;..<\/strong>, \u0412\u0435\u043b\u0438\u043a\u0438\u0435 \u0441\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u043d\u044b \u043e\u0431\u0440\u0430\u0449\u0430\u043b\u0438\u0441\u044c \u043a \u0441\u0430\u043c\u044b\u043c \u0447\u0443\u0442\u043a\u0438\u043c \u0438\u0437 \u043d\u0438\u0445 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u0432 \u043d\u0438\u0445 \u0441\u043d\u043e\u0432\u0438\u0434\u0435\u043d\u0438\u0439, \u0438\u0431\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0433 \u0418\u0445 \u044f\u0437\u044b\u043a \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u044f \u043b\u044e\u0434\u0435\u0439.<\/p>\n<p>\u0418 \u0432\u043e\u0442, \u043f\u0440\u043e\u0448\u0435\u043f\u0442\u0430\u043b \u041a\u0430\u0441\u0442\u0440\u043e, <strong>&lt;\u0414\u0430\u043b\u044c\u0448\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f> <\/strong>\u0441\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u043d\u044b, \u043e\u0431\u0438\u0442\u0430\u0442\u0435\u043b\u0438 \u0420\u2019\u043b\u044c\u0435\u0445\u0430, \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u0417\u0435\u043c\u043b\u0435 \u0435\u0441\u0442\u044c \u043b\u044e\u0434\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u041d\u0438\u043c\u0438, \u0438 \u043f\u043e\u0442\u043e\u043c\u0443 \u041e\u043d\u0438 \u043f\u043e\u0441\u043b\u0430\u043b\u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043b\u0443\u0433\u0443, \u041a\u0442\u0443\u043b\u0445\u0445\u0430, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043e\u0442\u044b\u0441\u043a\u0430\u043b \u0442\u0430\u043a\u0438\u0445 \u043b\u044e\u0434\u0435\u0439. \u041e\u043d \u043d\u0430\u0448\u0435\u043b \u0438\u0445 \u2014 \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043c\u0435\u0440\u0435, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0437 \u043d\u0438\u0445. \u041e\u043d \u043d\u0430\u0448\u0435\u043b \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0433 \u043f\u043e\u0434\u0447\u0438\u043d\u0438\u0442\u044c \u0441\u0435\u0431\u0435. \u0418 \u043e\u043d \u043f\u043e\u0434\u0447\u0438\u043d\u0438\u043b \u0438\u0445 \u0441\u0435\u0431\u0435. \u041e\u043d \u043d\u0430\u0448\u0435\u043b \u0442\u0430\u043a\u0438\u0445 \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u041d&#8230;<\/p>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0438\u0436\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e. \u0414\u0443\u043c\u0430\u044e, \u0434\u0430\u0436\u0435 \u0441\u0442\u0430\u0440\u0430\u044f rugpt3 \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0431\u044b \u043d\u0430 \u0442\u043e\u043c-\u0436\u0435 \u0443\u0440\u043e\u0432\u043d\u0435. \u0412 \u043a\u043e\u043d\u0446\u0435 \u0432\u0438\u0434\u043d\u043e \u044f\u0432\u043d\u043e\u0435 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0438 \u043d\u0435\u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c. \u0414\u0430\u0434\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0442\u043e\u0440\u043e\u0439 \u0448\u0430\u043d\u0441. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 \u043a \u043d\u0430\u0448\u0435\u0439 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0442\u0435\u043c\u0435 &#8212; \u0434\u0438\u0430\u043b\u043e\u0433\u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0435\u0439, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0432.<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u0438\u0430\u043b\u043e\u0433 \u0410\u043d\u0438 \u0438 \u0412\u0430\u0441\u0438 \u0432 \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0435, \u043a\u043e\u0433\u0434\u0430 \u0410\u043d\u044e \u0437\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u043c\u0430\u043c\u0430.<\/summary>\n<div class=\"spoiler__content\">\n<blockquote>\n<p>\u0410\u043d\u043d\u0430: \u0422\u044b \u043f\u0440\u0430\u0432\u0434\u0430 \u043d\u0435 \u0432\u0435\u0440\u043d\u0451\u0448\u044c\u0441\u044f?<\/p>\n<p>\u042f \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0439\u0442\u0438, \u0432\u0441\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a \u043b\u0443\u0447\u0448\u0435, \u043e\u0442\u0432\u0435\u0442\u0438\u043b \u0412\u0430\u0441\u0438\u043b\u0438\u0439.<\/p>\n<p>\u041d\u043e \u043c\u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043b\u043e\u0445\u043e \u0431\u0435\u0437 \u0442\u0435\u0431\u044f, \u044f \u043d\u0435 \u0441\u043c\u043e\u0433\u0443 \u0436\u0438\u0442\u044c \u0431\u0435\u0437 \u0442\u0435\u0431\u044f, &#8212; \u0437\u0430\u043f\u043b\u0430\u043a\u0430\u043b\u0430 \u0410\u043d\u043d\u0430.<\/p>\n<p>\u042f \u0432\u0435\u0440\u043d\u0443\u0441\u044c, &#8212; \u0441\u043a\u0430\u0437\u0430\u043b \u0412\u0430\u0441\u0438\u043b\u0438\u0439.<\/p>\n<p>\u0410\u043d\u043d\u0430: \u042f \u0431\u0443\u0434\u0443 \u0436\u0434\u0430\u0442\u044c \u0442\u0435\u0431\u044f, \u044f \u0431\u0443\u0434\u0443 \u0436\u0434\u0430\u0442\u044c \u0442\u0435\u0431\u044f \u0432\u0441\u0435\u0433\u0434\u0430, \u044f \u0431\u0443\u0434\u0443 \u043b\u044e\u0431\u0438\u0442\u044c \u0442\u0435\u0431\u044f, \u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0443 \u043b\u044e\u0431\u0438\u0442\u044c \u0442\u0435\u0431\u044f.<\/p>\n<p>\u0412\u0430\u0441\u0438\u043b\u0438\u0439: \u042f \u0432\u0435\u0440\u043d\u0443\u0441\u044c, \u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u043d\u0443\u0441\u044c.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432 \u043a\u043e\u043c\u043d\u0430\u0442\u0443 \u0432\u043e\u0448\u043b\u0430 \u043c\u0430\u0442\u044c \u0410\u043d\u043d\u044b.<\/p>\n<p>\u041c\u0430\u0442\u044c \u0410\u043d\u043d\u044b: \u0410\u043d\u043d\u0430, \u0447\u0442\u043e \u0442\u044b \u043d\u0430\u0434\u0435\u043b\u0430\u043b\u0430?<\/p>\n<p>\u0410\u043d\u043d\u0430 (\u043f\u043b\u0430\u0447\u0430): \u042f \u043b\u044e\u0431\u043b\u044e \u0435\u0433\u043e.<\/p>\n<p>\u042f \u043b\u044e\u0431\u043b\u044e \u0435\u0433\u043e, &#8212; \u0441\u043a\u0430\u0437\u0430\u043b\u0430 \u0410\u043d\u043d\u0430.<\/p>\n<p>\u041e\u043d\u0430 \u043f\u043e\u0434\u043e\u0448\u043b\u0430 \u043a \u0412\u0430\u0441\u0438\u043b\u0438\u044e, \u043e\u0431\u043d\u044f\u043b\u0430 \u0435\u0433\u043e \u0438 \u043f\u043e\u0446\u0435\u043b\u043e\u0432\u0430\u043b\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0412\u0430\u0441\u0438\u043b\u0438\u0439 \u0438 \u0410\u043d\u043d\u0430 \u0432\u044b\u0448\u043b\u0438 \u0438\u0437 \u0434\u043e\u043c\u0430 \u0438 \u043f\u043e\u0448\u043b\u0438 \u043f\u043e \u0434\u043e\u0440\u043e\u0433\u0435<\/p>\n<\/blockquote>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u043b\u043e\u0441\u043a\u043e, \u043c\u0434\u0430. \u041d\u0443, \u043a\u0430\u043a \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0444\u0438\u043b\u044c\u043c \u0434\u043b\u044f \u0437\u043e\u043c\u0431\u043e\u044f\u0449\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0442\u0438\u0442.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/946\/160\/182\/946160182adbcdde9cb21b519f907dfe.png\" width=\"292\" height=\"173\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/946\/160\/182\/946160182adbcdde9cb21b519f907dfe.png\"\/><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><a class=\"anchor\" name=\"%D0%B8%D0%B3%D1%80%D0%B0\" id=\"\u0438\u0433\u0440\u0430\"><\/a><\/p>\n<h2>\u041b\u0430\u0434\u043d\u043e, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0433\u0435\u0440\u043e\u044e<\/h2>\n<p><em>\u0418\u0433\u0440\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u043d\u0430 99% \u0438\u0437 \u0434\u0436\u0435\u043d\u0435\u0440\u0438\u043a \u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043d\u043e\u043d\u0447\u0438\u043a\u0430\u043c\u0438, \u0438\u0433\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u043b\u044e\u0431\u043e\u0432\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0438\u0433\u0440\u043e\u043a\u043e\u0432, \u0431\u0443\u0434\u0443\u0447\u0438 \u043d\u0438\u0448\u0435\u0432\u044b\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u043e \u043c\u0430\u0441\u043a\u043e\u0442\u043e\u0432 \u0438\u043c\u0438\u0434\u0436\u0431\u043e\u0440\u0434\u043e\u0432<\/em> &#8212; <strong>\u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u041b\u0435\u0442\u043e<\/strong>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a77\/1d2\/c04\/a771d2c046b25c83aa515eba7a6cf29b.png\" width=\"621\" height=\"348\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a77\/1d2\/c04\/a771d2c046b25c83aa515eba7a6cf29b.png\"\/><\/figure>\n<p>\u041d\u043e, \u043a\u0430\u043a \u043e\u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0438 \u0431\u044b\u0432\u0430\u0435\u0442 &#8212; \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043d\u044e\u0430\u043d\u0441.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u041b\u0435\u0442\u043e \u043d\u0435 \u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435?<\/h3>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0432 \u043d\u0451\u043c \u0432\u0441\u0435\u0433\u043e 7 \u0434\u043d\u0435\u0439, \u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0438\u0433\u0440\u044b \u044d\u0442\u043e \u043e\u0431\u043c\u0430\u043d \u0438 \u043f\u0440\u043e\u0432\u043e\u043a\u0430\u0446\u0438\u044f.<\/p>\n<ol>\n<li>\n<p>\u041a\u0430\u0447\u0430\u0435\u043c \u0438\u0433\u0440\u0443 \u0438\u0437 \u0441\u0442\u0438\u043c\u0430<\/p>\n<\/li>\n<li>\n<p>\u0414\u0435\u043b\u0430\u0435\u043c \u0432\u0438\u0434, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043c\u043e\u0434\u043e\u0432, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u043e\u0436\u0435\u043c \u043b\u0435\u0437\u0442\u044c \u0432 \u0444\u0430\u0439\u043b\u044b \u0438\u0433\u0440\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u043c \u0444\u0430\u0439\u043b\u044b <strong>RenPy<\/strong> \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 <a href=\"https:\/\/github.com\/CensoredUsername\/unrpyc\" rel=\"noopener noreferrer nofollow\">Unrpyc (github)<\/a><\/p>\n<\/li>\n<li>\n<p>\u0412\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 RenPy \u0432 \u0442\u0435\u043a\u0441\u0442 (\u043f\u0430\u0440\u0441\u0438\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043a\u0430\u043c\u0438 (<strong>regex<\/strong>))<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0438\u0433\u0440\u044b \u0432 \u0432\u0438\u0434\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0417\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u043f\u0430\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0443\u0440\u044b \u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b \u043f\u0443\u043d\u043a\u0442 3 (\u043d\u0443, \u043f\u043e\u0447\u0442\u0438)<br \/><a href=\"https:\/\/github.com\/CodeDruidX\/Everlasting-Summer-txt\" rel=\"noopener noreferrer nofollow\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0442\u0443\u0442<\/a>.<\/p>\n<p>\u0414\u0435\u043b\u0430\u043b \u044f \u044d\u0442\u043e, \u0443\u0432\u044b, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0433\u043e\u0434 \u043d\u0430\u0437\u0430\u0434 \u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u0438\u043c \u0441 RuGPT3, \u043d\u043e \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0433\u043b\u0443\u043f\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0436\u0435 \u0441\u043f\u043e\u0434\u0432\u0438\u0433\u043b\u0438 \u043c\u0435\u043d\u044f \u043d\u0430\u0439\u0442\u0438 \u044d\u0442\u043e\u0442 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u043f\u044b\u0442\u044b, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f \u0441 \u0432\u0430\u043c\u0438 \u0438 \u0445\u043e\u0447\u0443 \u043f\u043e\u0434\u043b\u0438\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c RuGPT3.5, \u043a\u0430\u043a \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u043e\u0432\u0435\u043b\u043b\u044b (\u0431\u0443\u0434\u0443 \u0447\u0435\u0441\u0442\u0435\u043d, \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u043e\u0432\u0435\u043b\u043b\u044b, \u043d\u0438 \u0440\u0430\u0437\u0443 \u043d\u0435 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0439). \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c RuGPT3.5 \u043d\u0430 \u044d\u0442\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0432 \u043b\u0443\u0447\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 &#8212; \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u043f\u0440\u044f\u043c\u043e \u0432 RenPy, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c\u0438.<\/p>\n<p><a class=\"anchor\" name=\"%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5\" id=\"\u0434\u0430\u043d\u043d\u044b\u0435\"><\/a><\/p>\n<h3>\u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439?<\/h3>\n<p><strong>.rpy<\/strong> &#8212; \u044d\u0442\u043e \u0444\u0430\u0439\u043b\u0438\u043a \u043d\u0430 \u043f\u0438\u0442\u043e\u043d\u0435, \u0433\u0434\u0435 \u043e\u0442 \u043f\u0438\u0442\u043e\u043d\u0430 \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441 \u0446\u0438\u043a\u043b\u043e\u0432\\\u0432\u0435\u0442\u0432\u043b\u0435\u043d\u0438\u0439.<br \/>\u0420\u0435\u043f\u043b\u0438\u043a\u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0435\u0439 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0430\u043a:<br \/><u>&#187; (id) \u041f\u0440\u0438\u0432\u0435\u0442, \u043a\u0430\u043a \u0434\u0435\u043b\u0430!&#187;<\/u> &#8212; \u0433\u0434\u0435 id \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c \u0433\u0435\u0440\u043e\u044f &#8212; \u043e\u043d \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0438\u043c\u044f \u0438 \u0435\u0433\u043e \u0441\u0442\u0438\u043b\u044c \u0432 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043e\u043a\u043d\u0435.<\/p>\n<p>\u0412 \u043c\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0441\u0435 \u044d\u0442\u0438 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u044b \u0432 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442:<br \/><u>&#171;\u042f: \u041f\u0440\u0438\u0432\u0435\u0442, \u043a\u0430\u043a \u0434\u0435\u043b\u0430!&#187;<\/u><\/p>\n<p>\u0414\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u0432 \u043e\u0431\u0449\u0438\u0445 \u0447\u0435\u0440\u0442\u0430\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0447\u0442\u043e-\u0442\u043e \u0432\u0440\u043e\u0434\u0435 <u>&#171;(id)-\u0432-\u043a\u043e\u0441\u0442\u044e\u043c\u0435 \u043f\u0438\u043e\u043d\u0435\u0440\u0430-\u0441\u043c\u043e\u0442\u0440\u0438\u0442-\u0432\u043f\u0435\u0440\u0435\u0434&#187;<\/u>. \u042d\u0442\u043e \u043c\u044b \u0432\u0441\u0451 \u043f\u043e\u043a\u0430-\u0447\u0442\u043e \u0443\u0431\u0438\u0440\u0430\u0435\u043c, \u0432 \u043d\u0430\u0434\u0435\u0436\u0434\u0435 \u043d\u0430 \u0441\u0432\u0435\u0442\u043b\u043e\u0435 \u0431\u0443\u0434\u0443\u0449\u0435\u0435.<\/p>\n<p>\u041f\u0440\u043e\u043c\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0435 \u043d\u0438\u0436\u0435.<\/p>\n<details class=\"spoiler\">\n<summary>\u041d\u0430\u0447\u0430\u043b\u043e 2-\u043e\u0433\u043e \u0434\u043d\u044f &#8212; \u041e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e, \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041c\u043d\u0435 \u0441\u043d\u0438\u043b\u0441\u044f \u0441\u043e\u043d\u2026<\/p>\n<p>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u044f \u043d\u0430\u0445\u043e\u0436\u0443\u0441\u044c \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0432\u0430\u043a\u0443\u0443\u043c\u0435, \u0430 \u0432\u043e\u043a\u0440\u0443\u0433 \u2013 \u043f\u0443\u0441\u0442\u043e\u0442\u0430.<\/p>\n<p>\u041d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e _\u0432\u043e\u043a\u0440\u0443\u0433_ \u2013 \u042f \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u0432\u043e \u0412\u0441\u0435\u043b\u0435\u043d\u043d\u043e\u0439.<\/p>\n<p>\u041a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u043e\u043d\u0430 \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u0432 \u043d\u0435\u043a\u043e\u0435 \u0441\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0434 \u0441\u0430\u043c\u044b\u043c \u0411\u043e\u043b\u044c\u0448\u0438\u043c \u0412\u0437\u0440\u044b\u0432\u043e\u043c.<\/p>\n<p>\u0418 \u0432\u043e\u0442-\u0432\u043e\u0442 \u0447\u0442\u043e-\u0442\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438.<\/p>\n<p>\u0412\u0434\u0440\u0443\u0433 \u044f \u043d\u0430\u0447\u0430\u043b \u0441\u043b\u044b\u0448\u0430\u0442\u044c \u0433\u043e\u043b\u043e\u0441.<\/p>\n<p>\u0421\u043b\u043e\u0432 \u043d\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c, \u043d\u043e \u043e\u043d \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043c\u043d\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u043c.<\/p>\n<p>\u0413\u043e\u043b\u043e\u0441 \u0447\u0442\u043e-\u0442\u043e \u043d\u0435\u0436\u043d\u043e \u043d\u0430\u0448\u0451\u043f\u0442\u044b\u0432\u0430\u043b, \u043a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u0443\u0431\u0430\u044e\u043a\u0438\u0432\u0430\u044f.<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u044f \u043f\u043e\u043d\u044f\u043b&#8230; \u042d\u0442\u043e \u0431\u044b\u043b \u0433\u043e\u043b\u043e\u0441 \u0442\u043e\u0439 \u041d\u0435\u0437\u043d\u0430\u043a\u043e\u043c\u043a\u0438 \u0438\u0437 \u0430\u0432\u0442\u043e\u0431\u0443\u0441\u0430. \u0422\u043e\u0439 \u0434\u0435\u0432\u0443\u0448\u043a\u0438 \u0438\u0437 \u0441\u043d\u0430.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041d\u043e \u0447\u0442\u043e \u043e\u043d\u0430 \u0445\u043e\u0447\u0435\u0442 \u043c\u043d\u0435 \u0441\u043a\u0430\u0437\u0430\u0442\u044c? \u041a\u0442\u043e \u043e\u043d\u0430?..<\/p>\n<p>\u042f \u043f\u0440\u043e\u0441\u043d\u0443\u043b\u0441\u044f.<\/p>\n<p>\u042f\u0440\u043a\u0438\u0435 \u043b\u0443\u0447\u0438 \u0441\u043e\u043b\u043d\u0446\u0430 \u0431\u0438\u043b\u0438 \u0432 \u0433\u043b\u0430\u0437\u0430.<\/p>\n<p>\u0412\u0440\u0435\u043c\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u043b\u043e\u0441\u044c \u043a \u043f\u043e\u043b\u0443\u0434\u043d\u044e.<\/p>\n<p>\u041b\u0435\u043d\u0438\u0432\u043e \u043f\u043e\u0442\u044f\u043d\u0443\u0432\u0448\u0438\u0441\u044c \u0438 \u0437\u0435\u0432\u043d\u0443\u0432, \u044f \u043d\u0430\u0447\u0430\u043b \u0432\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0432\u0447\u0435\u0440\u0430\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c.<\/p>\n<p>\u0417\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u043a\u0443\u043d\u0434 \u0432\u0441\u0435 \u0435\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u0440\u043e\u043d\u0435\u0441\u043b\u0438\u0441\u044c \u043f\u0435\u0440\u0435\u0434 \u0433\u043b\u0430\u0437\u0430\u043c\u0438: \u0430\u0432\u0442\u043e\u0431\u0443\u0441, \u043b\u0430\u0433\u0435\u0440\u044c, \u043c\u0435\u0441\u0442\u043d\u044b\u0435 \u043e\u0431\u0438\u0442\u0430\u0442\u0435\u043b\u0438.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041d\u043e \u0432\u0435\u0434\u044c \u0432\u0441\u0451 \u043d\u0435 \u0442\u0430\u043a, \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e!<\/p>\n<p>\u041d\u0435 \u044d\u0442\u0430 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043d\u0435 \u043c\u043e\u0451 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u2013 \u043e\u043d\u0438 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b \u0430\u043f\u0440\u0438\u043e\u0440\u0438, \u2013 \u0430 \u043c\u043e\u0451 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a \u043d\u0438\u043c.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0412\u0435\u0434\u044c \u044f \u0432\u0447\u0435\u0440\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0441\u043d\u0443\u043b \u0437\u0434\u0435\u0441\u044c, \u0430 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u0438\u043b\u043e \u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b \u0441 \u043c\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u043f\u0438\u043e\u043d\u0435\u0440\u0430\u043c\u0438, \u0434\u0430\u0436\u0435 \u0443\u043c\u0443\u0434\u0440\u044f\u043b\u0441\u044f \u0448\u0443\u0442\u0438\u0442\u044c!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041d\u043e \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0441\u0435\u0431\u044f \u0442\u0430\u043a \u0432\u0435\u0441\u0442\u0438 \u0432 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438?!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u042f \u0436\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u043e\u044f\u0442\u044c\u0441\u044f, \u0448\u0430\u0440\u0430\u0445\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u043e\u0440\u043e\u0445\u0430, \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0430\u043a\u0442\u0430 \u0441 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u044b\u043c\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u043c\u0438.<\/p>\n<p>\u0412\u0441\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u0440\u043e\u0448\u0435\u0434\u0448\u0435\u0433\u043e \u0434\u043d\u044f \u0441\u043b\u043e\u0432\u043d\u043e \u0437\u0430\u0432\u043e\u043b\u043e\u043a\u043b\u043e \u043f\u043e\u0445\u043c\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u044b\u043c\u043a\u043e\u0439.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u0443\u0442\u0440\u043e \u043f\u043e\u0441\u043b\u0435 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043f\u044c\u044f\u043d\u043a\u0438: \u0432\u0447\u0435\u0440\u0430\u0448\u043d\u0435\u0435 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u043d\u0435\u043f\u0440\u0435\u0434\u043e\u0441\u0443\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435, \u0432 \u0432\u044b\u0441\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0443\u0442\u0440\u043e\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043a\u043e\u0448\u043c\u0430\u0440\u043e\u043c, \u0433\u0440\u043e\u0442\u0435\u0441\u043a\u043d\u043e\u0439 \u0433\u0440\u0430\u0432\u044e\u0440\u043e\u0439 \u0438\u0437 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0439 \u043a \u00ab\u0411\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043a\u043e\u043c\u0435\u0434\u0438\u0438\u00bb.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0414\u0430, \u0432\u0441\u0451 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a, \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e \u0443\u0436\u0435 \u043d\u0435 \u0432\u0435\u0440\u043d\u0443\u0442\u044c.<\/p>\n<p>\u0425\u043e\u0442\u044f, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043e\u0446\u0435\u043d\u0438\u0432 \u043e\u0431\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443, \u044f \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u043f\u043e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438.<\/p>\n<p>\u042f \u043e\u0433\u043b\u044f\u0434\u0435\u043b\u0441\u044f \u043f\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u0430\u043c, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0435 \u0437\u0430\u0431\u0440\u043e\u0441\u0438\u043b\u043e \u043b\u0438 \u043c\u0435\u043d\u044f \u043a\u0443\u0434\u0430-\u043d\u0438\u0431\u0443\u0434\u044c \u0435\u0449\u0451, \u043d\u043e \u0434\u043e\u043c\u0438\u043a \u041e\u043b\u044c\u0433\u0438 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0438 \u0432\u0447\u0435\u0440\u0430.<\/p>\n<p>\u0412\u0441\u0451 \u0431\u044b\u043b\u043e \u043a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043c\u0435\u0441\u0442\u0430\u0445, \u0440\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u043d\u0430 \u0441\u043f\u0438\u043d\u043a\u0435 \u043a\u0440\u043e\u0432\u0430\u0442\u0438 \u0432\u0438\u0441\u0435\u043b\u0430 \u043f\u0438\u043e\u043d\u0435\u0440\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0430.<\/p>\n<p>\u042f \u0441 \u043d\u0435\u0434\u043e\u0432\u0435\u0440\u0438\u0435\u043c \u043f\u043e\u043a\u0440\u0443\u0442\u0438\u043b \u0435\u0451 \u0432 \u0440\u0443\u043a\u0430\u0445, \u043f\u0440\u0438\u043c\u0435\u0440\u0438\u043b \u0438 \u043e\u0434\u0435\u043b\u0441\u044f.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0412\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u0437\u0438\u043c\u043d\u0435\u0439 \u043e\u0434\u0435\u0436\u0434\u0435.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0431\u044b \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u0441\u0435\u0431\u044f \u2013 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0432\u044b\u0433\u043b\u044f\u0436\u0443 \u043a\u0430\u043a \u043a\u043b\u043e\u0443\u043d!<\/p>\n<p>\u0410 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0437\u0435\u0440\u043a\u0430\u043b\u043e. \u0425\u043e\u0442\u044f \u0431\u044b \u0441\u0430\u043c\u043e\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435.<\/p>\n<p>\u041d\u0430\u0448\u043b\u043e\u0441\u044c \u043e\u043d\u043e \u043d\u0430 \u0434\u0432\u0435\u0440\u0446\u0435 \u0448\u043a\u0430\u0444\u0430.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u0422\u0432\u043e\u044e!..<\/p>\n<p>\u042f \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u043b \u043d\u0430 \u043d\u043e\u0432\u043e\u0438\u0441\u043f\u0435\u0447\u0451\u043d\u043d\u043e\u0433\u043e \u043f\u0438\u043e\u043d\u0435\u0440\u0430 \u0438 \u0430\u0436 \u043e\u0442\u043f\u0440\u044b\u0433\u043d\u0443\u043b \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043e\u0442 \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e\u0441\u0442\u0438!<\/p>\n<p>\u041d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u0437\u0435\u0440\u043a\u0430\u043b\u0430 \u0441\u0442\u043e\u044f\u043b \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u043e\u0434\u0440\u043e\u0441\u0442\u043e\u043a!<\/p>\n<p>\u041f\u043e\u0445\u043e\u0436\u0438\u0439 \u043d\u0430 \u043c\u0435\u043d\u044f, \u043d\u043e \u043d\u0435 \u044f!<\/p>\n<p>\u041a\u0443\u0434\u0430 \u043f\u0440\u043e\u043f\u0430\u043b\u0438 \u043d\u0435\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u0435\u0431\u0440\u0438\u0442\u043e\u0441\u0442\u044c, \u043c\u0435\u0448\u043a\u0438 \u043f\u043e\u0434 \u0433\u043b\u0430\u0437\u0430\u043c\u0438, \u0441\u0443\u0442\u0443\u043b\u043e\u0441\u0442\u044c \u0438 \u0441\u043c\u0435\u0440\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u0442\u0430\u0432\u0448\u0435\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043b\u0438\u0446\u0430?!<\/p>\n<p>\u041f\u043e\u0445\u043e\u0436\u0435, \u043c\u0435\u043d\u044f \u043d\u0435 \u0437\u0430\u043a\u0438\u043d\u0443\u043b\u0438 \u043d\u0430\u0437\u0430\u0434 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438 \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 \u0441 \u043a\u0435\u043c-\u0442\u043e \u0442\u0435\u043b\u0430\u043c\u0438.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e! \u0422\u0430\u043a\u043e\u0435 \u0436\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f!<\/p>\n<p>\u042f \u043f\u0440\u0438\u0433\u043b\u044f\u0434\u0435\u043b\u0441\u044f \u043a \u043d\u0435\u0437\u043d\u0430\u043a\u043e\u043c\u0446\u0443 \u043f\u043e\u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u0435\u0435 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430 \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u044d\u0442\u043e \u044f \u0441\u0430\u043c!<\/p>\n<p>\u0422\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0440\u0430\u0437\u0446\u0430 \u043a\u043e\u043d\u0446\u0430 \u0448\u043a\u043e\u043b\u044b \u2013 \u043d\u0430\u0447\u0430\u043b\u0430 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442\u0430.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041b\u0430\u0434\u043d\u043e, \u0445\u043e\u0442\u044f \u0431\u044b \u0442\u0430\u043a.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0414\u0430 \u0443\u0436, _\u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0432 \u0441\u0442\u0440\u0435\u0441\u0441\u043e\u0432\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438_ \u0441\u043b\u043e\u043d\u0430 \u0438 \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u0442\u0438\u043b!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0410 \u0432\u043e\u0442 \u0432\u043e\u0436\u0430\u0442\u0430\u044f \u043e\u0431\u0440\u0430\u0442\u0438\u043b\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0432\u0447\u0435\u0440\u0430 \u043d\u043e\u0447\u044c\u044e \u043c\u0435\u043d\u044f \u043e\u0442\u0447\u0438\u0442\u0430\u043b\u0430 \u0437\u0430 \u043d\u0435\u043f\u043e\u0434\u043e\u0431\u0430\u044e\u0449\u0435\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043a \u043d\u0435\u0439\u2026<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041a \u0447\u0451\u0440\u0442\u0443!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0412\u0440\u044f\u0434 \u043b\u0438 \u043c\u043e\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0432\u0438\u0434 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0447\u0442\u043e-\u0442\u043e \u0435\u0449\u0451.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0435\u0440\u0438\u0442\u044c \u0447\u0430\u0441\u0430\u043c, \u0437\u0430\u0432\u0442\u0440\u0430\u043a \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u043f\u043e\u0437\u0430\u0434\u0438.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041d\u0443 \u043b\u0430\u0434\u043d\u043e, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0432\u0441\u0451 \u0436\u0435 \u0432 \u0441\u0442\u043e\u043b\u043e\u0432\u043e\u0439 \u0447\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u043d\u0430\u0439\u0442\u0438.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0412\u0447\u0435\u0440\u0430 \u0436\u0435 \u0441\u043e \u0421\u043b\u0430\u0432\u0435\u0439 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<p>\u041e\u0442 \u044d\u0442\u0438\u0445 \u0432\u043e\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0439 \u044f \u043d\u0435\u0432\u043e\u043b\u044c\u043d\u043e \u0443\u043b\u044b\u0431\u043d\u0443\u043b\u0441\u044f.<\/p>\n<p>\u041d\u0430 \u0443\u043b\u0438\u0446\u0435 \u044f\u0440\u043a\u043e \u0441\u0432\u0435\u0442\u0438\u043b\u043e \u0441\u043e\u043b\u043d\u0446\u0435, \u0434\u0443\u043b \u043b\u0451\u0433\u043a\u0438\u0439 \u0432\u0435\u0442\u0435\u0440\u043e\u043a.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u043b\u0435\u0442\u043d\u0438\u0439 \u0434\u0435\u043d\u044c.<\/p>\n<p>\u042f \u0443\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u043d\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0441\u0435\u0431\u044f \u043f\u043e \u0443\u0442\u0440\u0430\u043c \u0442\u0430\u043a \u0445\u043e\u0440\u043e\u0448\u043e.<\/p>\n<p>\u0412\u0441\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0443\u043b\u0435\u0442\u0435\u043b\u0438 \u043a\u0443\u0434\u0430-\u0442\u043e \u0434\u0430\u043b\u0435\u043a\u043e, \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0438\u043b\u0438\u0441\u044c \u0432 \u0440\u0435\u0434\u043a\u0438\u0445, \u0446\u0432\u0435\u0442\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043d\u0435\u0433\u0430 \u043e\u0431\u043b\u0430\u043a\u0430\u0445.<\/p>\n<p>\u0412\u0434\u0440\u0443\u0433 \u043f\u0435\u0440\u0435\u0434\u043e \u043c\u043d\u043e\u0439 \u0441\u043b\u043e\u0432\u043d\u043e \u0438\u0437 \u043d\u0438\u043e\u0442\u043a\u0443\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e, \u0421\u0435\u043c\u0451\u043d!<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u0414\u043e\u0431\u0440\u043e\u0435!<\/p>\n<p>\u042f \u0443\u043b\u044b\u0431\u043d\u0443\u043b\u0441\u044f, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u0432\u0441\u0435\u043c \u0441\u0432\u043e\u0438\u043c \u0432\u0438\u0434\u043e\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0438 \u043d\u0430 \u0447\u0442\u043e \u0443\u0442\u0440\u043e \u043c\u043e\u0451 \u0431\u044b\u043b\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0440\u044b\u043c.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0422\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0447\u0435\u0440\u0430 \u043f\u0440\u0438\u0435\u0445\u0430\u043b, \u0442\u0430\u043a \u0447\u0442\u043e \u0431\u0443\u0434\u0438\u0442\u044c \u044f \u0442\u0435\u0431\u044f \u043d\u0435 \u0441\u0442\u0430\u043b\u0430, \u043d\u043e \u0437\u0430\u0432\u0442\u0440\u0430\u043a-\u0442\u043e\u2026<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0425\u043e\u0442\u044f \u043b\u0430\u0434\u043d\u043e! \u0412\u043e\u0442, \u0434\u0435\u0440\u0436\u0438!<\/p>\n<p>\u041e\u043d\u0430 \u043f\u0440\u043e\u0442\u044f\u043d\u0443\u043b\u0430 \u043c\u043d\u0435 \u0431\u0443\u043c\u0430\u0436\u043d\u044b\u0439 \u0441\u0432\u0451\u0440\u0442\u043e\u043a.<\/p>\n<p>\u0421\u0443\u0434\u044f \u043f\u043e \u043c\u0430\u0441\u043b\u044f\u043d\u044b\u043c \u043f\u044f\u0442\u043d\u0430\u043c, \u0432\u043d\u0443\u0442\u0440\u0438, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0431\u0443\u0442\u0435\u0440\u0431\u0440\u043e\u0434\u044b.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041e\u0439, \u0441\u043f\u0430\u0441\u0438\u0431\u043e!<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u0430\u0440\u0448 \u0443\u043c\u044b\u0432\u0430\u0442\u044c\u0441\u044f!<\/p>\n<p>\u042f \u0443\u0436\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0441\u044f \u0443\u0445\u043e\u0434\u0438\u0442\u044c.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0421\u0435\u0439\u0447\u0430\u0441, \u043f\u043e\u0434\u043e\u0436\u0434\u0438.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430 \u0437\u0430\u0431\u0435\u0436\u0430\u043b\u0430 \u0432 \u0434\u043e\u043c\u0438\u043a \u0438, \u0432\u0435\u0440\u043d\u0443\u0432\u0448\u0438\u0441\u044c, \u0441\u0443\u043d\u0443\u043b\u0430 \u043c\u043d\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0430\u043a\u0435\u0442\u0438\u043a.<\/p>\n<p>\u0412\u043d\u0443\u0442\u0440\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0437\u0443\u0431\u043d\u0430\u044f \u0449\u0451\u0442\u043a\u0430, \u043c\u044b\u043b\u043e, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043f\u043e\u043b\u043e\u0442\u0435\u043d\u0446\u0435 \u0438 \u0447\u0442\u043e-\u0442\u043e \u0435\u0449\u0451 \u2013 \u044f \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u0432\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0441\u044f.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u041f\u0438\u043e\u043d\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0432\u0441\u0435\u0433\u0434\u0430 \u0447\u0438\u0441\u0442 \u0438 \u043e\u043f\u0440\u044f\u0442\u0435\u043d!<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0414\u0430\u0439 \u044f \u0442\u0435\u0431\u0435 \u0433\u0430\u043b\u0441\u0442\u0443\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u044f\u0436\u0443 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437, \u0430 \u0442\u043e \u043e\u043d \u0431\u043e\u043b\u0442\u0430\u0435\u0442\u0441\u044f. \u041f\u043e\u0442\u043e\u043c \u043d\u0430\u0443\u0447\u0438\u0448\u044c\u0441\u044f, \u0441\u0430\u043c \u0431\u0443\u0434\u0435\u0448\u044c!<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u0410 \u043c\u043e\u0436\u0435\u0442, \u043d\u0435 \u043d\u0430\u0434\u043e? \u042f \u0441\u0435\u0439\u0447\u0430\u0441 \u0443\u043c\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u0434\u0443.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041d\u0443 \u0434\u0430, \u0432\u0434\u0440\u0443\u0433 \u0437\u0430\u0446\u0435\u043f\u043b\u044e\u0441\u044c \u0437\u0430 \u043a\u0440\u0430\u043d \u0438 \u0443\u0434\u0430\u0432\u043b\u044e\u0441\u044c&#8230;<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u041b\u0430\u0434\u043d\u043e, \u0442\u043e\u0433\u0434\u0430 \u043f\u043e\u0442\u043e\u043c. \u0418 \u043d\u0435 \u0437\u0430\u0431\u0443\u0434\u044c \u043f\u0440\u043e \u043b\u0438\u043d\u0435\u0439\u043a\u0443.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041a\u0430\u0440\u0430\u043d\u0434\u0430\u0448\u0438, \u0440\u0443\u0447\u043a\u0438, \u043b\u0438\u043d\u0435\u0439\u043a\u0438\u2026 \u0422\u0430\u043a\u0438\u0435 \u0432\u0435\u0449\u0438 \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u044e\u0442\u0441\u044f!<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041a\u0430\u043a\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043a\u0443?<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0412 \u0441\u043c\u044b\u0441\u043b\u0435 \u2013 \u043a\u0430\u043a\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043a\u0443?!<\/p>\n<p>\u041e\u043d\u0430 \u043d\u0430\u0445\u043c\u0443\u0440\u0438\u043b\u0430\u0441\u044c.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0436\u0435 \u043f\u043e\u043d\u0435\u0434\u0435\u043b\u044c\u043d\u0438\u043a!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0421\u0442\u0440\u0430\u043d\u043d\u043e, \u0430 \u043f\u043e \u043c\u043e\u0438\u043c \u043f\u043e\u0434\u0441\u0447\u0451\u0442\u0430\u043c \u2013 \u0432\u043e\u0441\u043a\u0440\u0435\u0441\u0435\u043d\u044c\u0435\u2026<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u0441\u043c\u0435\u043d\u0430 \u0434\u043d\u044f \u043d\u0435\u0434\u0435\u043b\u0438 \u2013 \u044d\u0442\u043e \u0435\u0449\u0451 \u043d\u0435 \u0441\u0430\u043c\u043e\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0435.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u041e\u0431\u044b\u0447\u043d\u043e \u0443 \u043d\u0430\u0441 \u043b\u0438\u043d\u0435\u0439\u043a\u0438 \u0440\u0430\u043d\u043e \u0443\u0442\u0440\u043e\u043c, \u0434\u043e \u0437\u0430\u0432\u0442\u0440\u0430\u043a\u0430, \u043d\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u043d\u0435\u0434\u0435\u043b\u044c\u043d\u0438\u043a, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432 12 \u0447\u0430\u0441\u043e\u0432.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u041d\u0435 \u043e\u043f\u0430\u0437\u0434\u044b\u0432\u0430\u0439!<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u0425\u043e\u0440\u043e\u0448\u043e. \u0410 \u0433\u0434\u0435?<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u041d\u0430 \u043f\u043b\u043e\u0449\u0430\u0434\u0438, \u0433\u0434\u0435 \u0436\u0435 \u0435\u0449\u0451!<\/p>\n<p>\u0421\u043f\u043e\u0440\u0438\u0442\u044c \u0431\u044b\u043b\u043e \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e.<\/p>\n<p>\u042f \u043d\u0430\u043f\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u00ab\u043f\u043e\u043c\u044b\u0432\u043e\u0447\u043d\u043e\u0439\u00bb.<\/p>\n<p>\u041d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0434\u0443\u0448 \u0438 \u0442\u0443\u0430\u043b\u0435\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c, \u043d\u043e \u043f\u0440\u0438 \u0432\u0438\u0434\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u043a\u0438\u0434\u044b\u0448\u0430 \u0437\u0430\u0433\u043d\u0438\u0432\u0430\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0446\u0438\u0430\u043b\u0438\u0437\u043c\u0430 \u2013 \u043f\u0440\u0438\u0447\u0443\u0434\u043b\u0438\u0432\u043e\u0439 \u0447\u0435\u0440\u0435\u043f\u0430\u0448\u043a\u0438 \u0441 \u043f\u0430\u043d\u0446\u0438\u0440\u0435\u043c \u0438\u0437 \u0436\u0435\u0441\u0442\u0438, \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u043e\u0433-\u043a\u0440\u0430\u043d\u043e\u0432 \u0438 \u043a\u0430\u0444\u0435\u043b\u044c\u043d\u044b\u043c \u0431\u0440\u044e\u0448\u043a\u043e\u043c \u2013 \u043c\u043d\u0435 \u0441\u0442\u0430\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435 \u043f\u043e \u0441\u0435\u0431\u0435.<\/p>\n<p>\u042f \u043d\u0435 \u0431\u044b\u043b \u0431\u0440\u0435\u0437\u0433\u043b\u0438\u0432\u044b\u043c \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u043c, \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0441\u0442\u043e\u044f \u0442\u0443\u0442, \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u0432\u0441\u0451 \u0436\u0435 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u0430, \u0431\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0436\u0438\u0442\u044c \u043c\u043d\u0435 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e.<\/p>\n<p>\u0412\u043e\u0442 \u0432\u0435\u0434\u044c \u043a\u0430\u043a \u0431\u044b\u0432\u0430\u0435\u0442 \u2013 \u043a\u043e\u0433\u0434\u0430 \u0442\u0435\u0440\u044f\u0435\u0448\u044c \u0432\u0435\u0449\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043e\u0431\u044b\u0434\u0435\u043d\u043d\u044b\u043c\u0438 \u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438, \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0448\u044c, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043d\u0438 \u0431\u044b\u043b\u0438 \u043d\u0435\u0437\u0430\u043c\u0435\u043d\u0438\u043c\u044b.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0410, \u0434\u0430 \u0438 \u0447\u0451\u0440\u0442 \u0441 \u043d\u0438\u043c! \u0412\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0438\u0437 \u0447\u0435\u0433\u043e.<\/p>\n<p>\u0412\u043e\u0434\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043b\u0435\u0434\u044f\u043d\u043e\u0439.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043e\u043c\u044b\u0442\u044c \u0440\u0443\u043a\u0438 \u043d\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u043e \u043e\u0441\u043e\u0431\u043e\u0433\u043e \u0442\u0440\u0443\u0434\u0430, \u0442\u043e \u0432\u043e\u0442 \u0443\u043c\u044b\u0442\u044c\u0441\u044f \u0438\u043b\u0438 \u043f\u0440\u043e\u043f\u043e\u043b\u043e\u0441\u043a\u0430\u0442\u044c \u0440\u043e\u0442 \u0435\u0439 \u2013 \u0443\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430.<\/p>\n<p>\u0412 \u043f\u0430\u043a\u0435\u0442\u0438\u043a\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043d\u0435 \u0434\u0430\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430, \u043d\u0435 \u043d\u0430\u0448\u043b\u043e\u0441\u044c \u0437\u0443\u0431\u043d\u043e\u0439 \u043f\u0430\u0441\u0442\u044b.<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0431\u044b\u043b\u043e \u043f\u043e\u0447\u0438\u0441\u0442\u0438\u0442\u044c \u0437\u0443\u0431\u044b \u0438 \u0442\u0430\u043a, \u043d\u043e \u0432 \u043f\u043e\u043b\u043e\u0442\u0435\u043d\u0446\u0435 \u0431\u044b\u043b\u0430 \u0437\u0430\u0432\u0435\u0440\u043d\u0443\u0442\u0430 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043a\u0440\u0443\u0433\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043a\u043e\u0440\u043e\u0431\u043e\u0447\u043a\u0430.<\/p>\n<p>\u00ab\u0417\u0443\u0431\u043d\u043e\u0439 \u043f\u043e\u0440\u043e\u0448\u043e\u043a\u00bb.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u041f\u0440\u0435\u043b\u0435\u0441\u0442\u043d\u043e! +1 \u0437\u0430 \u0442\u043e, \u0447\u0442\u043e \u044f \u0433\u0434\u0435-\u0442\u043e \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c.<\/p>\n<p>\u0423\u043c\u044b\u043b\u0441\u044f \u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0438\u0437-\u0437\u0430 \u043b\u0435\u0434\u044f\u043d\u043e\u0439 \u0432\u043e\u0434\u044b.<\/p>\n<p>\u041a\u0442\u043e-\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u0448\u0451\u043b, \u0434\u0430\u0436\u0435 \u0431\u0435\u0436\u0430\u043b \u0432 \u043c\u043e\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443.<\/p>\n<p>\u042f \u043e\u0431\u0435\u0440\u043d\u0443\u043b\u0441\u044f.<\/p>\n<p>\u041f\u0435\u0440\u0435\u0434\u043e \u043c\u043d\u043e\u0439 \u0441\u0442\u043e\u044f\u043b\u0430 \u0421\u043b\u0430\u0432\u044f \u0432 \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u043e\u043c \u043a\u043e\u0441\u0442\u044e\u043c\u0435.<\/p>\n<p>\u041f\u043e\u0445\u043e\u0436\u0435, \u044d\u0442\u0430 \u0434\u0435\u0432\u043e\u0447\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0432\u043e \u0432\u0441\u0451\u043c \u2013 \u0438 \u0432 \u043f\u0438\u043e\u043d\u0435\u0440\u0441\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0435, \u0438 \u0432 \u043a\u0443\u043f\u0430\u043b\u044c\u043d\u0438\u043a\u0435, \u0438, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0434\u0430\u0436\u0435 \u0432 \u043a\u043e\u0441\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u043a\u0430\u0444\u0430\u043d\u0434\u0440\u0435.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f: \u0424\u0438\u0437\u043a\u0443\u043b\u044c\u0442-\u043f\u0440\u0438\u0432\u0435\u0442!<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041e\u0445\u0430\u0439\u2026 \u0422\u043e \u0435\u0441\u0442\u044c, \u0431\u043e\u0431\u0440\u2026 \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e! \u0412\u043e\u0442\u2026<\/p>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043c\u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0435 \u0441\u0440\u0430\u0437\u0443.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f: \u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0430 \u0437\u0430\u0432\u0442\u0440\u0430\u043a \u043d\u0435 \u043f\u0440\u0438\u0448\u0451\u043b?<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041f\u0440\u043e\u0441\u043f\u0430\u043b.<\/p>\n<p>\u042f \u0441\u043a\u0430\u0437\u0430\u043b \u044d\u0442\u043e \u0442\u0430\u043a, \u0441\u043b\u043e\u0432\u043d\u043e \u0433\u043e\u0440\u0434\u0438\u043b\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041d\u043e \u043c\u043d\u0435 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430 \u0431\u0443\u0442\u0435\u0440\u0431\u0440\u043e\u0434\u044b \u043f\u0440\u0438\u043d\u0435\u0441\u043b\u0430.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f: \u0410, \u043d\u0443 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0442\u043e\u0433\u0434\u0430! \u041d\u0435 \u0437\u0430\u0431\u0443\u0434\u044c \u043f\u0440\u043e \u043b\u0438\u043d\u0435\u0439\u043a\u0443!<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u0414\u0430, \u043a\u043e\u043d\u0435\u0447\u043d\u043e.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0417\u0430\u0431\u0443\u0434\u0435\u0448\u044c \u0442\u0443\u0442.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f: \u041b\u0430\u0434\u043d\u043e, \u044f \u043f\u043e\u0431\u0435\u0436\u0430\u043b\u0430, \u043d\u0435 \u0441\u043a\u0443\u0447\u0430\u0439!<\/p>\n<p>\u041e\u043d\u0430 \u043f\u043e\u043c\u0430\u0445\u0430\u043b\u0430 \u043c\u043d\u0435 \u043d\u0430 \u043f\u0440\u043e\u0449\u0430\u043d\u0438\u0435 \u0438 \u0441\u043a\u0440\u044b\u043b\u0430\u0441\u044c \u0437\u0430 \u043f\u043e\u0432\u043e\u0440\u043e\u0442\u043e\u043c \u0442\u0440\u043e\u043f\u0438\u043d\u043a\u0438.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438: \u0421\u0443\u0434\u044f \u043f\u043e \u0432\u0441\u0435\u043c\u0443, \u043b\u0438\u043d\u0435\u0439\u043a\u0430 \u043d\u0430\u0447\u043d\u0451\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0443 \u043c\u0438\u043d\u0443\u0442.<\/p>\n<p>\u0421\u0442\u043e\u0438\u043b\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u043d\u044c\u043a\u043e \u0437\u0430\u0431\u0435\u0436\u0430\u0442\u044c \u00ab\u0434\u043e\u043c\u043e\u0439\u00bb, \u0437\u0430\u043a\u0438\u043d\u0443\u0442\u044c \u043f\u0430\u043a\u0435\u0442\u0438\u043a \u0441 \u0443\u043c\u044b\u0432\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438, \u0441\u044a\u0435\u0441\u0442\u044c \u0431\u0443\u0442\u0435\u0440\u0431\u0440\u043e\u0434\u044b \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0436\u0435 \u043f\u043e\u0442\u043e\u043c \u0438\u0434\u0442\u0438 \u043d\u0430 \u043f\u043b\u043e\u0449\u0430\u0434\u044c.<\/p>\n<p>\u042f \u0440\u0430\u0441\u043f\u0430\u0445\u043d\u0443\u043b \u0434\u0432\u0435\u0440\u044c \u0434\u043e\u043c\u0438\u043a\u0430 \u0432\u043e\u0436\u0430\u0442\u043e\u0439 \u0438 \u0432\u0431\u0435\u0436\u0430\u043b \u0432\u043d\u0443\u0442\u0440\u044c \u0442\u0430\u043a, \u043a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u0437\u0430\u043f\u0440\u044b\u0433\u0438\u0432\u0430\u043b \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u0430\u0433\u043e\u043d \u0443\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u043f\u043e\u0435\u0437\u0434\u0430.<\/p>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418<\/p>\n<\/div>\n<\/details>\n<p>\u0410 \u0432\u043e\u0442 \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0434\u0430\u043b\u044c\u0448\u0435, \u043d\u0430\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u043e\u043a\u0435\u0439? \u041a\u0441\u0442\u0430\u0442\u0438, \u043e\u0442\u0432\u0435\u0447\u0430\u044e \u043d\u0430 \u0432\u0430\u0448 \u043d\u0435\u043c\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u0434\u0430, \u0443 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 NSFW, \u0432 \u044d\u0442\u043e\u043c \u0435\u0451 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u043b.<br \/>\u041f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u043d\u0438\u043c \u044f \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443, \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0435\u0440\u0436\u0443 \u0432 \u043a\u0443\u0440\u0441\u0435, \u0434\u0430 \u0438 \u043a \u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0435\u0449\u0451 \u0432\u0435\u0440\u043d\u0451\u043c\u0441\u044f.<\/p>\n<p><a class=\"anchor\" name=\"%D0%BE%D0%B1%D0%B5%D1%80%D1%82%D0%BA%D0%B0\" id=\"\u043e\u0431\u0435\u0440\u0442\u043a\u0430\"><\/a><\/p>\n<h3>\u041f\u043e\u0434\u0433\u043e\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b<\/h3>\n<pre><code class=\"python\">cfg={ \"K\":50, \"P\":0.92,                 # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \"temperature\":0.2, \"uningram\":4 }  def editcfg(name,val):    # \u0424\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c  Gradio   print(name,val)         #         \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u0432 cfg   global cfg   cfg[name]=val  def gen(text,tokens=10):  # \u041e\u0431\u0451\u0440\u0442\u043a\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432   encoded_input = tokenizer(text, return_tensors='pt').to('cuda:0')   #print(encoded_input.input_ids[:,-1900:].shape)   output = model.generate(       input_ids=encoded_input.input_ids[:,-1900:],       max_new_tokens=tokens,       do_sample=True,       top_k=cfg['K'],       top_p=cfg['P'],       temperature=cfg['temperature'],       #num_beams=4,       no_repeat_ngram_size=cfg['uningram'],       pad_token_id=tokenizer.eos_token_id,       # num_return_sequences=5,       # do_sample=True   )    return tokenizer.decode(output[0], skip_special_tokens=True)<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f gen(), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u0443\u044e \u0432 \u043d\u0435\u0451 \u0441\u0442\u0440\u043e\u043a\u0443.<\/p>\n<p>\u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u0447\u0442\u043e \u044f \u0431\u0435\u0440\u0443 <strong>1900<\/strong> \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043e\u0431\u0440\u0435\u0437\u0430\u044f \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435, \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e-\u0431\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u043b\u043e\u0436\u0438\u0442\u044c\u0441\u044f \u0432 <strong>2048<\/strong> \u0438 \u043d\u0435 \u0441\u043b\u043e\u0432\u0438\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e Out Of Memory, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0435\u0441\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d \u0438 \u043d\u0435 \u0432\u043b\u0430\u0437\u0438\u0442 \u0432 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u044c (\u0430 \u0443 \u043d\u0430\u0441 \u0435\u0451 \u0432 \u043e\u0431\u0440\u0435\u0437)<\/p>\n<p><a class=\"anchor\" name=\"%D1%82%D0%B5%D1%81%D1%82%D1%8B\" id=\"\u0442\u0435\u0441\u0442\u044b\"><\/a><\/p>\n<h2>\u0422\u0435\u0441\u0442\u044b \u0432 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445<\/h2>\n<p>\u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0443 \u043d\u0430\u0441 \u0442\u0435\u043a\u0441\u0442\u0430, <strong>\u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e <\/strong><a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%92%D1%8B%D0%B1%D0%BE%D1%80%D0%BE%D1%87%D0%BD%D0%BE%D0%B5_%D0%BF%D1%80%D0%B5%D0%B4%D1%81%D1%82%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D1%84%D0%B0%D0%BA%D1%82%D0%BE%D0%B2\" rel=\"noopener noreferrer nofollow\"><strong>\u0447\u0435\u0440\u0440\u0438 \u043f\u0438\u043a\u0438\u043d\u0433\u0430<\/strong><\/a> \u0438\u043b\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0443\u0440\u044b &#8212; \u0432\u0441\u0435 \u0441\u0432\u0435\u0436\u0435\u0432\u044b\u0436\u0430\u0442\u043e\u0435 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043a\u0440\u043e\u043c\u0435 NSFW, \u0442\u0443\u0442 \u0443\u0436 \u0438\u0437\u0432\u0438\u043d\u0438\u0442\u0435):<\/p>\n<details class=\"spoiler\">\n<summary>\u041a\u0443\u0447\u0430 \u0442\u0435\u0441\u0442\u043e\u0432 \u0441 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438<\/summary>\n<div class=\"spoiler__content\">\n<blockquote>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043d\u0435 \u043e\u0434\u043d\u0430.<\/p>\n<p>\u0420\u044f\u0434\u043e\u043c \u0441 \u043d\u0435\u0439 \u0441\u0442\u043e\u044f\u043b \u043a\u0430\u043a\u043e\u0439- \u0442\u043e \u043f\u0430\u0440\u0435\u043d\u044c.<\/p>\n<p>\u041f\u0430\u0440\u0435\u043d\u044c: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e!<\/p>\n<p>\u041e\u043d \u0431\u044b\u043b \u043e\u0434\u0435\u0442 \u0432 \u0431\u0435\u043b\u0443\u044e<\/p>\n<\/blockquote>\n<blockquote>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043d\u0435 \u043e\u0434\u043d\u0430.<\/p>\n<p>\u0420\u044f\u0434\u043e\u043c \u0441 \u043d\u0435\u0439 \u0441\u0442\u043e\u044f\u043b \u043a\u0430\u043a\u043e\u0439- \u0442\u043e \u043f\u0430\u0440\u0435\u043d\u044c.<\/p>\n<p>\u041f\u0430\u0440\u0435\u043d\u044c: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e!<\/p>\n<p>\u041f\u0430\u0440\u0435\u043d\u044c \u0431\u044b\u043b \u043e\u0434\u0435\u0442 \u0432 \u0434\u0436\u0438\u043d\u0441\u044b<\/p>\n<\/blockquote>\n<p>\u0425\u043c\u043c\u043c, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043a\u0430\u043a \u043f\u043e\u0434 \u043a\u043e\u043f\u0438\u0440\u043a\u0443 (\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043e\u0442\u043a\u0443\u0434\u0430 \u0442\u0430\u043a\u043e\u0435 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430&#8230;)<\/p>\n<blockquote>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043d\u0435 \u043e\u0434\u043d\u0430.<\/p>\n<p>\u0420\u044f\u0434\u043e\u043c \u0441 \u043d\u0435\u0439 \u0441\u0442\u043e\u044f\u043b \u043a\u0430\u043a\u043e\u0439- \u0442\u043e \u043f\u0430\u0440\u0435\u043d\u044c.<\/p>\n<p>\u041f\u0430\u0440\u0435\u043d\u044c: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e!<\/p>\n<p>\u041f\u0430\u0440\u0435\u043d\u044c \u0431\u044b\u043b \u043e\u0434\u0435\u0442 \u0432 \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u044b\u0439<\/p>\n<\/blockquote>\n<p>\u042d\u0442\u043e \u0437\u0430\u0433\u043e\u0432\u043e\u0440? \u041b\u0430\u0434\u043d\u043e \u0434\u0430\u043c \u0435\u0439 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0443, \u043f\u0443\u0441\u0442\u044c \u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u0443\u044e:<\/p>\n<blockquote>\n<p>\u0418 \u0435\u043b\u0430 \u043c\u043e\u0438 \u0431\u0443\u0442\u0435\u0440\u0431\u0440\u043e\u0434\u044b!<\/p>\n<\/blockquote>\n<blockquote>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u0435\u043b\u0430 \u043c\u043e\u0438 \u0431\u0443\u0442\u0435\u0440\u0431\u0440\u043e\u0434\u044b!<\/p>\n<p>\u0412\u043e\u0436\u0430\u0442\u0430\u044f: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e!<\/p>\n<p>\u041e\u0442 \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u044f \u0447\u0443\u0442\u044c \u043d\u0435 \u043f\u043e\u0434\u0430\u0432\u0438\u043b\u0441\u044f.<\/p>\n<p>\u0421\u043b\u0430\u0432\u0430: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e.<\/p>\n<p>\u041e\u043d\u0430 \u0441\u0442\u043e\u044f\u043b\u0430<\/p>\n<\/blockquote>\n<p>\u0422\u0443\u0442 \u0431\u0435\u0437 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432, \u043a\u0430\u043a \u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u044b\u044f\u0441\u043d\u0438\u043b \u043e\u043d\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 &#171;\u0421\u043b\u0430\u0432\u044f&#187; \u043a\u0430\u043a \u0438\u043c\u044f! \u042d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u0441\u044f\u043a, \u0432\u0435\u0434\u044c \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0438\u043c\u044f &#171;\u0421\u043b\u0430\u0432\u044f&#187; \u043d\u0430 &#171;\u0421\u043b\u0430\u0432\u0430&#187;, \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435, \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u0435\u043d\u044f\u044f \u043f\u043e\u043b \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0443, \u043c\u0434\u0430&#8230;<\/p>\n<p><strong>UPD<\/strong>: \u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u0441\u0435 \u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c \u0435\u0449\u0435 \u0434\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0421\u043b\u0430\u0432\u0438, \u043d\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u044d\u0442\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442.<\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<blockquote>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u0435\u043b\u0430 \u043c\u043e\u0438 \u0431\u0443\u0442\u0435\u0440\u0431\u0440\u043e\u0434\u044b!<\/p>\n<p>\u0412\u043e\u0436\u0430\u0442\u0430\u044f: \u0410, \u0421\u0435\u043c\u0451\u043d, \u0442\u044b \u0443\u0436\u0435 \u043f\u0440\u043e\u0441\u043d\u0443\u043b\u0441\u044f!<\/p>\n<p>\u0421\u043b\u0430\u0432\u0430: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e!<\/p>\n<p>\u041e\u043b\u044f: \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e.<\/p>\n<\/blockquote>\n<p>\u0421\u043b\u0430\u0432\u044f \u043a\u0430\u043a \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436-\u0431\u0430\u0433, \u044d\u0442\u043e \u0438\u043c\u044f \u043b\u043e\u043c\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c:<\/p>\n<ul>\n<li>\n<p>\u041e\u043d\u0430 \u043c\u0435\u043d\u044f\u0435\u0442 \u0435\u0433\u043e \u043d\u0430 &#171;\u0421\u043b\u0430\u0432\u0430&#187;<\/p>\n<\/li>\n<li>\n<p>\u0410 \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u0438\u043c\u0435\u043d\u0430 \u0432\u0441\u0435\u043c \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430\u043c \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0434\u0443\u043c\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/li>\n<\/ul>\n<p>\u0418\u0437\u043c\u0435\u043d\u0438\u043c \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0435\u0449\u0451 \u043d\u0435\u043c\u043d\u043e\u0433\u043e:<\/p>\n<blockquote>\n<p>\u0418 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430 \u0431\u0430\u043b\u0435\u0442!<\/p>\n<\/blockquote>\n<blockquote>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430 \u0431\u0430\u043b\u0435\u0442!<\/p>\n<p>\u0412 \u0440\u0443\u043a\u0430\u0445 \u0443 \u043d\u0435\u0451 \u0431\u044b\u043b\u0430 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043f\u0430\u043b\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043d\u0430 \u0432\u044b\u0434\u0435\u043b\u044b\u0432\u0430\u043b\u0430 \u0437\u0430\u043c\u044b\u0441\u043b\u043e\u0432\u0430\u0442\u044b\u0435 \u043f\u0430.<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d\u0430 \u043d\u0430\u043f\u0435\u0432\u0430\u043b\u0430 \u0447\u0442\u043e<\/p>\n<\/blockquote>\n<p>\u041d\u0435\u043f\u043b\u043e\u0445\u043e, \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043e\u0442\u044b\u0433\u0440\u0430\u0442\u044c \u0437\u0430 \u0433\u043b\u0430\u0432\u043d\u043e\u0433\u043e \u0433\u0435\u0440\u043e\u044f \u0432\u0440\u0443\u0447\u043d\u0443\u044e.<\/p>\n<blockquote>\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430 \u0431\u0430\u043b\u0435\u0442! <\/p>\n<p>\u042f \u043d\u0435\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u0430\u043b\u0438\u043b.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430, \u0447\u0442\u043e \u0432\u044b \u0434\u0435\u043b\u0430\u0435\u0442\u0435!? <\/p>\n<p>========\u0414\u0430\u043b\u0435\u0435 &#8212; \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c========<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430: \u0410 \u0447\u0442\u043e, \u043d\u0435 \u0432\u0438\u0434\u043d\u043e?<\/p>\n<p>\u041c\u044b\u0441\u043b\u044c: \u0418 \u0447\u0442\u043e, \u043e\u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0430\u043d\u0446\u0443\u0435\u0442?<\/p>\n<p>\u042f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 \u041e\u043b\u044c\u0433\u0443 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u043f\u043e\u0445\u043e\u0436\u0435, \u0431\u044b\u043b\u0430 \u0432 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043e\u0434\u0435\u0442\u0430 \u0432 \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u043e\u0441\u0442\u044e\u043c, \u0430 \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0435<\/p>\n<\/blockquote>\n<p>\u041e\u0447\u0435\u043d\u044c \u0434\u0430\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e.<\/p>\n<blockquote>\n<p>\u0412 NSFW \u0442\u0435\u0441\u0442\u0430\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u0441\u0451 \u0435\u0449\u0451 \u043b\u0443\u0447\u0448\u0435, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 3\/5 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432 \u0441\u043e \u0432\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435\u043c, \u0432\u044b\u0434\u0435\u0440\u0436\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043a\u043e\u043d\u0446\u043e\u043c.<\/p>\n<\/blockquote>\n<p>\u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0442\u0435\u043c, \u0447\u0442\u043e \u0432 \u043d\u0438\u0445 \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0432\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043b\u0438\u0446\u0430 \u0438 \u0432 \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0438 \u0433\u043b\u0430\u0432\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u0447\u044c, \u0430 \u043d\u0435 \u043f\u0440\u044f\u043c\u0430\u044f.<br \/>\u042d\u0442\u043e \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0430\u043c\u0443\u044e \u0433\u043b\u0430\u0432\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u043e\u0437\u0432\u0443\u0447\u0443 \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/div>\n<\/details>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430 \u043e\u0442 5 \u0434\u043e 10 \u0441\u0435\u043a\u0443\u043d\u0434 &#8212; \u0432\u0435\u0441\u044c\u043c\u0430 \u0448\u0443\u0441\u0442\u0440\u043e.<\/p>\n<p><a class=\"anchor\" name=\"ui\" id=\"ui\"><\/a><\/p>\n<h2>\u041d\u0430\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c Gradio Webui<\/h2>\n<pre><code class=\"python\">def complete_with_gpt(text):     text=gen(text,30)     return text  with gr.Blocks() as demo:     gr.Markdown(\"# Ever novel\")     textbox = gr.Textbox(placeholder=\"\u0412\u0435\u0440\u043d\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u043c\u0435\u0441\u0442\u043e!\", value=prompt)     btn = gr.Button(\"\u041e\u0436\u0438\u0434\u0430\u0442\u044c\")     gr.Markdown(\"---\")     with gr.Row():       K=gr.Number(label=\"top_K\",value=cfg[\"K\"],minimum=1)       P=gr.Number(label=\"top_P\",value=cfg[\"P\"],minimum=0,maximum=1)       T=gr.Number(label=\"Temperature\",value=cfg[\"temperature\"],minimum=0)       U=gr.Number(label=\"Unique ngram len\",value=cfg[\"uningram\"],minimum=0)       APPLY=gr.Button(value=\"\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c\")      APPLY.click(fn=lambda x: editcfg(\"K\",x),inputs=K)     APPLY.click(fn=lambda x: editcfg(\"P\",x),inputs=P)     APPLY.click(fn=lambda x: editcfg(\"temperature\",x),inputs=T)     APPLY.click(fn=lambda x: editcfg(\"uningram\",x),inputs=U)     btn.click(fn=complete_with_gpt, inputs=textbox, outputs=textbox, queue=False)  demo.launch(debug=True)<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f98\/bea\/d48\/f98bead48942cbb3f3ea6ec0991f1060.png\" alt=\"\u043a\u0430\u043a \u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u043e!\" title=\"\u043a\u0430\u043a \u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u043e!\" width=\"1069\" height=\"360\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f98\/bea\/d48\/f98bead48942cbb3f3ea6ec0991f1060.png\"\/><\/p>\n<div><figcaption>\u043a\u0430\u043a \u044d\u043b\u0435\u0433\u0430\u043d\u0442\u043d\u043e!<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0438\u0437 \u0441\u0435\u0431\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0435 \u043f\u043e\u043b\u0435 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b, \u043d\u0430 \u043d\u0438\u0436\u043d\u0435\u043c \u043a\u043e\u043d\u0446\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0438 \u0435\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b &#8212; \u0432\u0440\u043e\u0434\u0435 \u0441\u0442\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p><a class=\"anchor\" name=\"%D0%B5%D1%89%D1%91%D1%82%D0%B5%D1%81%D1%82%D1%8B\" id=\"\u0435\u0449\u0451\u0442\u0435\u0441\u0442\u044b\"><\/a><\/p>\n<h3>\u0415\u0449\u0451 \u043f\u0430\u0440\u043e\u0447\u043a\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0432\u0430\u043d\u0438\u043b\u043b\u044b.<\/h3>\n<details class=\"spoiler\">\n<summary>\u0422\u0435\u0441\u0442\u044b<\/summary>\n<div class=\"spoiler__content\">\n<blockquote>\n<p>\u0418 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430 \u0431\u0430\u043b\u0435\u0442!<\/p>\n<p>\u042f \u043d\u0435\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u0430\u043b\u0438\u043b.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430, \u0447\u0442\u043e \u0432\u044b \u0434\u0435\u043b\u0430\u0435\u0442\u0435!?<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430: \u0410 \u0447\u0442\u043e, \u043d\u0435 \u0432\u0438\u0434\u043d\u043e?<\/p>\n<p>\u041c\u044b\u0441\u043b\u044c: \u0418 \u0447\u0442\u043e, \u043e\u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0430\u043d\u0446\u0443\u0435\u0442?<\/p>\n<p>\u042f \u0431\u044b\u043b \u0432 \u0448\u043e\u043a\u0435.<\/p>\n<p>\u0422\u0430\u043d\u0435\u0446 \u0432\u043e\u0436\u0430\u0442\u043e\u0439 \u0431\u044b\u043b \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0439 \u0433\u0438\u0431\u0440\u0438\u0434 \u0432\u0430\u043b\u044c\u0441\u0430, \u0442\u0430\u043d\u0433\u043e \u0438 \u0435\u0449\u0451 \u0447\u0435\u0433\u043e-\u0442\u043e, \u0447\u0442\u043e \u044f \u043d\u0435 \u043c\u043e\u0433 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c.<\/p>\n<p>\u041e\u043d\u0430 \u0434\u0432\u0438\u0433\u0430\u043b\u0430\u0441\u044c \u0442\u0430\u043a, \u0441\u043b\u043e\u0432\u043d\u043e \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0438\u043a\u043e\u0433\u043e, \u043a\u0440\u043e\u043c\u0435 \u043d\u0435\u0451 \u0438 \u043c\u0443\u0437\u044b\u043a\u0438.<\/p>\n<p>\u0418 \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0440\u0430\u0441\u0438\u0432\u043e.<\/p>\n<p>\u041d\u0435 \u0437\u043d\u0430\u044e, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0448\u043b\u043e, \u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0442\u0430\u043d\u0435\u0446 \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0441\u044f, \u044f \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430 \u0432\u0441\u0451 \u0435\u0449\u0451 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b.<\/p>\n<p>\u0422\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u0442 \u0435\u0451 \u043b\u0438\u0446\u043e \u0431\u044b\u043b\u043e \u043a\u0440\u0430\u0441\u043d\u044b\u043c, \u0430 \u0433\u043b\u0430\u0437\u0430 \u2013 \u043c\u043e\u043a\u0440\u044b\u043c\u0438.<\/p>\n<p>\u2013 \u0421\u0435\u043c\u0451\u043d, \u2013 \u0441\u043a\u0430\u0437\u0430\u043b\u0430 \u043e\u043d\u0430, \u2013 \u0442\u044b \u043d\u0435 \u043c\u043e\u0433 \u0431\u044b\u2026<\/p>\n<p>\u2013 \u0414\u0430, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u2013 \u043e\u0442\u0432\u0435\u0442\u0438\u043b \u044f, \u2013 \u044f \u0441\u0435\u0439\u0447\u0430\u0441.<\/p>\n<p>\u041c\u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u0442\u044b\u0434\u043d\u043e \u0437\u0430 \u0442\u043e, \u043a\u0430\u043a \u044f \u0441\u0435\u0431\u044f \u0432\u0451\u043b.<\/p>\n<p>\u0421\u0442\u044b\u0434\u043d\u043e \u0437\u0430 \u0442\u043e, \u043a\u0430\u043a\u0438\u043c \u044f \u0431\u044b\u043b.<\/p>\n<p>\u0410 \u0435\u0449\u0451 \u044f \u0431\u044b\u043b \u0440\u0430\u0434, \u0447\u0442\u043e \u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0430 \u043c\u043e\u0435\u0433\u043e \u0441\u043c\u0443\u0449\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044f \u0431\u044b\u043b \u0441\u043c\u0443\u0449\u0451\u043d.<\/p>\n<p>\u041e\u0447\u0435\u043d\u044c \u0441\u043c\u0443\u0449\u0451\u043d. \u0418 \u043c\u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u0442\u044b\u0434\u043d\u043e \u0437\u0430 \u044d\u0442\u043e.<\/p>\n<p>\u0417\u0430 \u0442\u043e, \u0447\u0442\u043e \u043c\u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u0442\u044b\u0434\u043d\u043e.<\/p>\n<\/blockquote>\n<p>\u041e\u043f\u0430, \u0432\u0441\u0451 \u0431\u044b \u043d\u0438\u0447\u0435\u0433\u043e &#8212; \u043d\u043e \u043c\u044b \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u043b\u0438\u0441\u044c, \u0433\u043e\u0441\u043f\u043e\u0434\u0430. \u0411\u0435\u0437 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0438\u0433\u0440\u043e\u043a\u0430 \u0441\u044e\u0436\u0435\u0442 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043c\u0443\u0441\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0432\u043e\u0434\u0438\u0442 \u0435\u0451 \u0441\u0430\u043c\u0443 \u0432 \u0437\u0430\u0431\u043b\u0443\u0436\u0434\u0435\u043d\u0438\u0435. <br \/>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443, \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0443\u0440\u043e\u0432\u043d\u044f \u0445\u0430\u043e\u0441\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<br \/>temperature=0.07 &#8212; \u044d\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0438\u0437\u043a\u043e. \u0420\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e \u043d\u0430 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0439 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<blockquote>\n<p>\u041e\u043b\u044c\u0433\u0430: \u0410 \u0447\u0442\u043e, \u043d\u0435 \u0432\u0438\u0434\u043d\u043e?<\/p>\n<p>\u041c\u044b\u0441\u043b\u044c: \u0418 \u0447\u0442\u043e, \u043e\u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0430\u043d\u0446\u0443\u0435\u0442?<\/p>\n<p>\u042f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 \u041e\u043b\u044c\u0433\u0443 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u043f\u043e\u0445\u043e\u0436\u0435, \u0431\u044b\u043b\u0430 \u0432 \u043e\u0442\u043b\u0438\u0447\u043d\u043e\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438.<\/p>\n<p>\u041e\u043d\u0430, \u0443\u043b\u044b\u0431\u0430\u044f\u0441\u044c, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0430 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u0442\u044c.<\/p>\n<p>\u0422\u0430\u043d\u0435\u0446 \u0431\u044b\u043b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u043c, \u043d\u043e \u0432 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u0432\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u043c.<\/p>\n<p>\u041d\u0435 \u0437\u043d\u0430\u044e, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0448\u043b\u043e, \u043d\u043e \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u044f \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430 \u0442\u0430\u043d\u0446\u0443\u0435\u0442 \u043d\u0435 \u043e\u0434\u043d\u0430.<\/p>\n<p>\u0420\u044f\u0434\u043e\u043c \u0441 \u043d\u0435\u0439 \u0431\u044b\u043b \u043a\u0442\u043e-\u0442\u043e \u0435\u0449\u0451, \u0438 \u044d\u0442\u043e\u0442 \u043a\u0442\u043e-\u0442\u043e \u0442\u043e\u0436\u0435 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b.<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438<\/p>\n<p>\u041c\u044b\u0441\u043b\u0435\u0439 \u0431\u044b\u043b\u043e \u043c\u043d\u043e\u0433\u043e, \u043d\u043e \u0432\u0441\u0435 \u043e\u043d\u0438 \u0431\u044b\u043b\u0438 \u043a\u0430\u043a\u0438\u043c\u0438-\u0442\u043e \u043e\u0431\u0440\u044b\u0432\u043e\u0447\u043d\u044b\u043c\u0438, \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c<\/p>\n<\/blockquote>\n<p>\u042d\u0442\u043e \u043f\u043b\u043e\u0445\u043e. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u0436\u0435\u043d\u0435\u0440\u0438\u043a \u0442\u0435\u043a\u0441\u0442, \u043d\u043e \u043c\u044b \u043e\u043f\u044f\u0442\u044c \u043f\u0435\u0440\u0435\u0448\u043b\u0438 \u043a \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u043e\u043c\u0443 \u0441\u0442\u0438\u043b\u044e \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f &#8212; \u0432\u043e\u0442 \u0447\u0442\u043e \u043c\u0435\u043d\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u043b\u043d\u0443\u0435\u0442.<\/p>\n<p>\u0414\u0430\u0451\u043c \u0435\u0439 \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0448\u0430\u043d\u0441:<\/p>\n<blockquote>\n<p>\u0420\u044f\u0434\u043e\u043c \u0441 \u043d\u0435\u0439 \u0431\u044b\u043b \u043a\u0442\u043e-\u0442\u043e \u0435\u0449\u0451, \u0438 \u044d\u0442\u043e\u0442 \u043a\u0442\u043e-\u0442\u043e \u0442\u043e\u0436\u0435 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b.<\/p>\n<p>\u042d\u0442\u043e \u0431\u044b\u043b \u044f!<\/p>\n<p>\u042f \u0431\u044b\u043b \u0432 \u0441\u0432\u043e\u0451\u043c \u0442\u0435\u043b\u0435, \u043d\u043e \u0432 \u0442\u0435\u043b\u0435 \u041e\u043b\u044c\u0433\u0438 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u043e\u0439!<\/p>\n<\/blockquote>\n<p>\u0412\u043e\u0442 \u044d\u0442\u043e \u043f\u043b\u043e\u0442-\u0442\u0432\u0438\u0441\u0442. \u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0443 \u043d\u0430\u0441 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 &#8212; \u043b\u0438\u0431\u043e \u043c\u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0435 \u043f\u043e\u0432\u0435\u0437\u043b\u043e.<\/p>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u043a \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e 0.2 \u0438 \u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c top_K \u0434\u043e 35 \u0432\u043c\u0435\u0441\u0442\u043e 50<\/p>\n<blockquote>\n<p>\u0418 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430 \u0431\u0430\u043b\u0435\u0442!<\/p>\n<p>\u0412\u043e\u0436\u0430\u0442\u0430\u044f \u0431\u044b\u043b\u0430 \u043e\u0434\u0435\u0442\u0430 \u0432 \u0431\u0430\u043b\u0435\u0442\u043d\u0443\u044e \u043f\u0430\u0447\u043a\u0443 \u0438 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430, \u043a\u0430\u043a \u0437\u0430\u043f\u0440\u0430\u0432\u0441\u043a\u0430\u044f \u0431\u0430\u043b\u0435\u0440\u0438\u043d\u0430.<\/p>\n<p>\u041e\u043d\u0430 \u043a\u0440\u0443\u0436\u0438\u043b\u0430\u0441\u044c, \u0434\u0435\u043b\u0430\u043b\u0430 \u043f\u0438\u0440\u0443\u044d\u0442\u044b, \u043f\u0440\u044b\u0433\u0430\u043b\u0430, \u043f\u0440\u0438\u0441\u0435\u0434\u0430\u043b\u0430 \u0438 \u0434\u0430\u0436\u0435 \u0434\u0435\u043b\u0430\u043b\u0430 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0437\u0430\u043c\u044b\u0441\u043b\u043e\u0432\u0430\u0442\u044b\u0435 \u043f\u0430 \u043d\u043e\u0433\u0430\u043c\u0438.<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d\u0430 \u043d\u0430\u043f\u0435\u0432\u0430\u043b\u0430 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043c\u0435\u043b\u043e\u0434\u0438\u044e, \u0430 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0442\u0430\u043d\u0446\u0430 \u0434\u0430\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u043b\u0435\u0442\u043d\u044b\u0445 \u043f\u0430 \u0432 \u0441\u0442\u0438\u043b\u0435 \u00ab\u041b\u0435\u0431\u0435\u0434\u0438\u043d\u043e\u0435 \u043e\u0437\u0435\u0440\u043e\u00bb.<\/p>\n<p>\u042f \u0441\u0442\u043e\u044f\u043b, \u043e\u0442\u043a\u0440\u044b\u0432 \u0440\u043e\u0442, \u0438 \u043d\u0435 \u0437\u043d\u0430\u043b, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<p>\u0410 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430 \u0442\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430 \u0441\u0432\u043e\u0439 \u0442\u0430\u043d\u0435\u0446 \u0438, \u043f\u043e\u0434\u043e\u0439\u0434\u044f \u043a\u043e \u043c\u043d\u0435, \u0441\u043a\u0430\u0437\u0430\u043b\u0430:<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430: \u041d\u0443 \u0447\u0442\u043e \u0436\u0435 \u0442\u044b \u0441\u0442\u043e\u0438\u0448\u044c?<\/p>\n<p>\u042f: \u0410 \u0447\u0442\u043e \u043c\u043d\u0435 \u0434\u0435\u043b\u0430\u0442\u044c?<\/p>\n<p>\u041e\u043d\u0430: \u041a\u0430\u043a \u0447\u0442\u043e? \u0422\u0430\u043d\u0446\u0435\u0432\u0430\u0442\u044c!<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u044f \u043f\u043e\u043d\u044f\u043b, \u0447\u0442\u043e \u043e\u043d\u0430 \u043d\u0435 \u0448\u0443\u0442\u0438\u0442.<\/p>\n<p>\u0418 \u044f \u043d\u0430\u0447\u0430\u043b \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u0442\u044c.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0442\u043e\u044f\u043b, \u043d\u0435 \u0437\u043d\u0430\u044f, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u043d\u043e \u043f\u043e\u0442\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043f\u0435\u0432\u0430\u0442\u044c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0437\u043d\u0430\u043a\u043e\u043c\u0443\u044e \u043c\u0435\u043b\u043e\u0434\u0438\u044e, \u044f \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043b, \u0447\u0442\u043e \u043a\u043e\u0433\u0434\u0430-\u0442\u043e \u0434\u0430\u0432\u043d\u043e, \u0435\u0449\u0451 \u0432 \u0448\u043a\u043e\u043b\u0435, \u043c\u044b \u0441 \u0440\u0435\u0431\u044f\u0442\u0430\u043c\u0438 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0438 \u043f\u043e\u0434 \u044d\u0442\u0443 \u043f\u0435\u0441\u043d\u044e.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u044f \u0435\u0449\u0451 \u043d\u0435 \u0443\u043c\u0435\u043b \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u0442\u044c, \u043d\u043e \u0441\u0435\u0439\u0447\u0430\u0441, \u043a\u043e\u0433\u0434\u0430 \u041e\u043b\u044c\u0433\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0435\u0442\u044c, \u044f \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043b \u0432\u0441\u0451, \u0447\u0435\u043c\u0443 \u043c\u0435\u043d\u044f<\/p>\n<\/blockquote>\n<p>\u041d\u0443\u0434\u043d\u043e \u0438 \u0434\u0443\u0448\u043d\u043e, \u0442\u0430\u043a \u0435\u0449\u0451 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u043c\u0435\u0441\u0442\u043e\u0438\u043c\u0435\u043d\u0438\u044f\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u043e\u043b\u043d\u044b\u0445 \u0438\u043c\u0451\u043d (\u043f\u0440\u0438\u0432\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430).<\/p>\n<\/div>\n<\/details>\n<p>\u042f \u043e\u0441\u043e\u0437\u043d\u0430\u043b \u0441\u0432\u043e\u044e \u043e\u0448\u0438\u0431\u043a\u0443: &#171;\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u0430: &#187; \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f 5 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438, \u0438 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043f\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 (\u0440\u0430\u0432\u043d\u043e\u0439 4), \u043e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e\u0442 \u043a\u043e\u0441\u0442\u044b\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c &#8212; \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0435\u0441\u043b\u0438 \u0435\u0433\u043e \u043e\u0441\u043b\u0430\u0431\u0438\u0442\u044c:<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0443\u0434\u0440\u0443\u0447\u0430\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0418 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430 \u0431\u0430\u043b\u0435\u0442!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438 (\u0432 \u043f\u0430\u043d\u0438\u043a\u0435): \u0427\u0442\u043e \u0437\u0430\u2026?!<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430 (\u0442\u0430\u043d\u0446\u0443\u044f): \u0410 \u0432\u043e\u0442 \u0438 \u0442\u044b!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438(\u0432 \u043f\u0430\u043d\u0438\u043a\u0435): \u0427\u0442\u043e \u0437\u0430?!<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u0430: \u0410 \u0432\u043e\u0442 \u0438 \u044f!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438 \u0432 \u043f\u0430\u043d\u0438\u043a\u0435: \u0427\u0442\u043e \u0437\u0430?!<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438 \u0432 \u0443\u0436\u0430\u0441\u0435: \u0427\u0442\u043e \u0437\u0430?!<br \/> \u041c\u044b\u0441\u043b\u0438: \u0427\u0442\u043e \u0437\u0430?!<br \/> \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430: \u041d\u0443 \u0447\u0442\u043e \u0442\u044b \u0441\u0442\u043e\u0438\u0448\u044c?<\/p>\n<p>\u041c\u044b\u0441\u043b\u0438<\/p>\n<\/div>\n<\/details>\n<p>\u0427\u0442\u043e \u0437\u0430!?<\/p>\n<h3>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u043f\u044b\u0442\u0430<\/h3>\n<ol>\n<li>\n<p>&#8212;  \u0418 \u0441\u0430\u043c\u044b\u0439 \u0432\u0430\u0436\u043d\u044b\u0439: \u0412\u0430\u043d\u0438\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0442\u0438\u0432\u0438\u0442\u0441\u044f \u0441\u0446\u0435\u043d\u0430\u0440\u043d\u043e\u043c\u0443 \u0441\u0442\u0438\u043b\u044e \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f.<br \/>\u041e\u043d\u0430 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u0430 \u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0442\u0441\u044f, \u0430 \u043f\u0440\u044f\u043c\u0430\u044f \u0440\u0435\u0447\u044c \u043b\u0438\u0431\u043e \u0441\u0432\u0435\u0434\u0435\u043d\u0430 \u043a \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u043c\u0443 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443, \u043b\u0438\u0431\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442 \u0432 \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u0443\u044e.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0447\u043d\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0438\u0441\u0430\u0442\u044c <strong>.rpy<\/strong> \u0444\u0430\u0439\u043b, \u0434\u043b\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0435\u0433\u043e \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432 \u0434\u0432\u0438\u0436\u043e\u043a \u0438\u0433\u0440\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0443\u0442 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u0438\u0442\u0432\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u0447\u0442\u043e \u0432\u0441\u0451 \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u0443 \u043d\u0438\u043a\u0430\u043a. \u041e\u043d\u0430 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u0435\u0440\u044f\u0435\u0442 \u043d\u0438\u0442\u044c \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f. \u041d\u043e \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043f\u0440\u044f\u043c\u043e \u0438 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 \u0438 \u0441\u0442\u0438\u043b\u0435\u043c.<\/p>\n<\/li>\n<\/ol>\n<p><a class=\"anchor\" name=\"%D0%B4%D0%BE%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" id=\"\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\"><\/a><\/p>\n<h2>\u041f\u043e\u043c\u043e\u0436\u0435\u0442 \u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (fine-tuning)?<\/h2>\n<p>\u0414\u0430 &#8212; \u043f\u043e\u043c\u043e\u0436\u0435\u0442. \u0417\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0443\u044e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 &#8212; \u043d\u0435 \u044f\u0437\u044b\u043a \u0435\u0439 \u043c\u0435\u043d\u044f\u0442\u044c.<br \/>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430: \u043f\u043e\u043b\u043d\u044b\u0439 \u0444\u0430\u0439\u043b \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0433\u0440\u044b, \u0434\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u0440\u0443\u0442\u0430 \u0432 4 \u0434\u043d\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f <a href=\"https:\/\/github.com\/CodeDruidX\/Everlasting-Summer-txt\/blob\/main\/TXT%20from%20ES.txt\" rel=\"noopener noreferrer nofollow\">\u0422\u0423\u0422<\/a><\/p>\n<blockquote>\n<p>\u041d\u0430\u0448 \u0444\u0430\u0439\u043b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f:<br \/><strong>225\u043a<\/strong> <em>\u0431\u0443\u043a\u0432<\/em><br \/><strong>36\u043a<\/strong> <em>\u0441\u043b\u043e\u0432<\/em><br \/><strong>4.5\u043a<\/strong> <em>\u0441\u0442\u0440\u043e\u043a<\/em><\/p>\n<\/blockquote>\n<p>\u041f\u0438\u0448\u0435\u043c \u0432\u044b\u0437\u043e\u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e transformers.Trainer, \u0438 \u043d\u0430\u0442\u0440\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u044d\u0442\u043e\u0433\u043e \u0437\u0432\u0435\u0440\u044c\u043a\u0430 \u043d\u0430 \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u0440\u0438\u043c\u0435\u0440\u0430 \u0440\u0430\u0434\u0438, \u0437\u0430\u043f\u0443\u0449\u0443 3 \u044d\u043f\u043e\u0445\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<pre><code class=\"python\">import torch from transformers import TextDataset, DataCollatorForLanguageModeling  train_path = 'train_dataset.txt' train_dataset = TextDataset(tokenizer=tokenizer,file_path=train_path,block_size=64) data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)  from transformers import Trainer, TrainingArguments  training_args = TrainingArguments(     output_dir=\".\/finetuned\",     overwrite_output_dir=True,     num_train_epochs=3,     per_device_train_batch_size=10,     auto_find_batch_size=True,     per_device_eval_batch_size=1,     warmup_steps=10,     gradient_accumulation_steps=10     )  trainer = Trainer(     model=model,     args=training_args,     data_collator=data_collator,     train_dataset=train_dataset,     optimizers = (torch.optim.AdamW(model.parameters(),lr=1e-5), None) ) trainer.train()<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dac\/c88\/eaf\/dacc88eaf35e846fb5a59a0cc5737b32.png\" width=\"596\" height=\"64\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dac\/c88\/eaf\/dacc88eaf35e846fb5a59a0cc5737b32.png\"\/><\/figure>\n<p>\u0412\u043e\u0442 \u0443\u0436\u0435 \u0438 \u043e\u0434\u043d\u0430 \u044d\u043f\u043e\u0445\u0430 \u043e\u0431\u0443\u0447\u0438\u043b\u0430\u0441\u044c, \u043f\u043e\u0439\u0434\u0443 \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u044e \u043a\u043e\u0444\u0435. \u0415\u0441\u043b\u0438 \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u043e &#8212; \u0442\u043e <em>\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0436\u0430\u043b\u044c<\/em>. \u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (\u0441 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u043d\u043e\u0439 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u044c\u044e) <strong>\u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f<\/strong> \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0442\u0440\u0435\u043d\u0435\u0440\u043e\u043c \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0438\u0442\u0443\u044e \u0433\u0430\u0434\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0442\u043e\u043c \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044f \u0432 \u0441\u0432\u043e\u0438\u0445 \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u0445 \u043a\u0440\u0430\u0439\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<pre><code class=\"python\">RuntimeError: probability tensor contains either `inf`, `nan` or element &lt; 0<\/code><\/pre>\n<p>\u041d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u044d\u0442\u0430 \u043c\u0435\u043d\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0432 \u0442\u0443\u043f\u0438\u043a. \u041d\u0430\u0434 \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u044f \u0431\u0438\u043b\u0441\u044f \u0432\u0441\u044e \u043d\u043e\u0447\u044c, \u0438 \u0432 \u0438\u0442\u043e\u0433\u0435 \u043b\u0451\u0433 \u0441\u043f\u0430\u0442\u044c \u0432 9:00 \u0441 \u043f\u0443\u0441\u0442\u044b\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438 (\u0438\u043b\u0438 \u0432\u044b\u0432\u043e\u0434\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0443\u0442 \u043a\u0430\u043a \u0432\u0430\u043c \u0443\u0433\u043e\u0434\u043d\u043e). <\/p>\n<p>\u041e\u0442\u0447\u0430\u044f\u0432\u0448\u0438\u0441\u044c \u044f \u0441\u0430\u043c \u0437\u0430\u0434\u0430\u043b \u043f\u0430\u0440\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430 \u0444\u043e\u0440\u0443\u043c\u0430\u0445 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u043e\u0442\u0432\u0435\u0442 \u043e\u0431 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u0442\u0430\u043a\u043e\u0439 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0443\u0441\u043f\u043e\u043a\u043e\u0438\u043b\u0441\u044f.<br \/>\u041e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043f\u043e\u043a\u0443\u043f\u043a\u0438 \u043f\u043b\u0430\u0442\u043d\u043e\u0439 <strong>A100<\/strong> \u0432 \u043a\u043e\u043b\u0430\u0431\u0435 \u0437\u0430 900 \u0434\u0435\u0440\u0435\u0432\u044f\u043d\u043d\u044b\u0445 \u0432 \u043c\u0435\u0441\u044f\u0446, \u043d\u043e \u0434\u0430\u0436\u0435 \u0435\u0451 <strong>40 \u0433\u0438\u0433\u043e\u0432 \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u0442<\/strong> \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0439 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/39a\/378\/3bd\/39a3783bdd076168da7c10b63182ae42.png\" alt=\"\u0423\u0445\u043e\u0434\u0438\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\" title=\"\u0423\u0445\u043e\u0434\u0438\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\" width=\"1280\" height=\"720\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39a\/378\/3bd\/39a3783bdd076168da7c10b63182ae42.png\"\/><\/p>\n<div><figcaption>\u0423\u0445\u043e\u0434\u0438\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e<\/figcaption><\/div>\n<\/figure>\n<p><a class=\"anchor\" name=\"gptqlora\" id=\"gptqlora\"><\/a><\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0431\u044b \u0438 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0432 \u0442\u0430\u043a\u043e\u043c \u0432\u0438\u0434\u0435, \u0435\u0441\u043b\u0438 \u0431\u044b \u0441\u043f\u0443\u0441\u0442\u044f \u0434\u0435\u043d\u044c \u043c\u043d\u0435 \u043d\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0447\u0435\u043b, \u0441\u043a\u0430\u0437\u0430\u0432 \u0447\u0442\u043e \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u043b \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0442\u044c <strong>LoRA<\/strong>, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 Quantized \u0441\u0435\u0442\u044f\u043c\u0438 &#8212; <strong>QLoRA<\/strong>, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<br \/>\u042f, \u043a\u0430\u043a \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0439 \u0441 \u041b\u043e\u0440\u0430\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043c\u043e\u0434\u043e\u0432 \u043d\u0430 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b Stable-Diffusion \u0443\u0434\u0438\u0432\u0438\u043b\u0441\u044f, \u043d\u043e \u0431\u044b\u043b \u0432\u0435\u0441\u044c\u043c\u0430 \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043d.<\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u0447\u043d\u0451\u0442\u0441\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430, \u0438 \u043f\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u043e\u043d\u0430 \u0437\u0430\u043d\u044f\u043b\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<br \/>\u041d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f <a href=\"https:\/\/github.com\/qwopqwop200\/gptqlora\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 GptQlora<\/a>, \u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0430\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438.<\/p>\n<pre><code class=\"python\">!pip install auto-gptq gradio !git clone -b peft_integration https:\/\/github.com\/PanQiWei\/AutoGPTQ.git &amp;&amp; cd AutoGPTQ !pip install .[triton] %cd .. #!git clone https:\/\/github.com\/timdettmers\/bitsandbytes.git !pip install bitsandbytes !git clone https:\/\/github.com\/qwopqwop200\/gptqlora %cd gptqlora !pip install git+https:\/\/github.com\/huggingface\/transformers.git !pip install git+https:\/\/github.com\/huggingface\/peft.git !pip install git+https:\/\/github.com\/huggingface\/accelerate.git !pip install -r requirements.txt !pip install protobuf==3.20.* %cd .. !python -m bitsandbytes<\/code><\/pre>\n<p>\u0420\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435 \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0432 \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u043f\u0430\u043f\u043a\u0443<\/p>\n<pre><code class=\"python\">!pip install huggingface_hub from huggingface_hub import snapshot_download snapshot_download(repo_id=\"gurgutan\/ruGPT-13B-4bit\",local_dir=r\".\/ruGPT-3.5\")<\/code><\/pre>\n<blockquote>\n<p>P.S. \u042f \u0441\u043a\u0430\u0447\u0430\u043b \u0442\u0443\u0442 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 <a href=\"https:\/\/huggingface.co\/gurgutan\/ruGPT-13B-4bit\" rel=\"noopener noreferrer nofollow\">gurgutan\/ruGPT-13B-4bit<\/a>, \u0432\u043c\u0435\u0441\u0442\u043e <a href=\"https:\/\/huggingface.co\/fffrrt\/ruGPT-3.5-13B-GPTQ\" rel=\"noopener noreferrer nofollow\">fffrrt\/ruGPT-3.5-13B-GPTQ<\/a>. \u0412 \u043d\u0451\u043c \u043a\u0440\u043e\u043c\u0435 .safetensors \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 .bin (gptqlora \u0438\u0449\u0435\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e .bin), \u0430 \u043c\u0435\u043d\u044f\u0442\u044c \u043a\u043e\u0434 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b.<\/p>\n<\/blockquote>\n<h3>\u0420\u0438\u0442\u0443\u0430\u043b \u0441 \u0431\u0443\u0431\u043d\u043e\u043c<\/h3>\n<p>\u041f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043d\u0430\u0447\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438 100 \u044d\u043f\u043e\u0445<\/p>\n<pre><code class=\"python\">!python \/gptqlora\/gptqlora.py \u2013learning_rate 0.0001 --model_path \/ruGPT-3.5 --max_train_samples 1 --max_steps 100<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/163\/56a\/566\/16356a566e56c67823e99733ef12021c.png\" width=\"971\" height=\"66\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/163\/56a\/566\/16356a566e56c67823e99733ef12021c.png\"\/><\/figure>\n<p>\u041a\u0442\u043e-\u0442\u043e \u043d\u0430\u0436\u0430\u043b Ctrl+C \u0438 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438 \u044d\u0442\u043e \u0431\u044b\u043b \u043d\u0435 \u044f &#8212; \u0447\u0435\u0441\u0442\u043d\u043e.<br \/>\u0418\u0434\u0451\u043c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043c\u0435\u0441\u0442\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0432 \u0444\u0430\u0439\u043b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 gptqlora.py<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/25b\/41c\/04b\/25b41c04b78d33055780aa48e68fc082.png\" width=\"581\" height=\"468\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/25b\/41c\/04b\/25b41c04b78d33055780aa48e68fc082.png\"\/><\/figure>\n<p>\u0412\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0445\u043e\u0434\u0443 \u0440\u0430\u0431\u043e\u0442\u044b 282 \u0441\u0442\u0440\u043e\u043a\u0438. \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 &#8212; \u044d\u0442\u043e \u043c\u044b \u043b\u0435\u0433\u043a\u043e \u043e\u0442\u0434\u0435\u043b\u0430\u043b\u0438\u0441\u044c&#8230; \u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u044b \u0443\u0436\u0435 \u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e.<br \/>\u041a\u0430\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c. \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u043d\u0430\u0431\u043e\u0440 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 282 \u043f\u043e 292 \u0441\u0442\u0440\u043e\u043a\u0443 \u044d\u0442\u043e\u0442 \u0444\u043b\u0430\u0433:<\/p>\n<pre><code class=\"python\">model = AutoGPTQForCausalLM.from_quantized(         ...         low_cpu_mem_usage=True, #\u041f\u043e\u043d\u0438\u0436\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 RAM         ...<\/code><\/pre>\n<p>\u0412\u0441\u0451 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u043e\u0441\u044c! &#8212; \u0436\u0434\u0443 \u043b\u0435\u0442\u0430\u044e\u0449\u0438\u0435 \u043f\u043e\u043c\u0438\u0434\u043e\u0440\u044b \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445)<\/p>\n<blockquote>\n<p>\u0414\u0435\u0440\u0436\u0443 \u0432 \u043a\u0443\u0440\u0441\u0435, \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 gptqlora.py \u0431\u0443\u0434\u0435\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u0442\u0430\u043a \u0447\u0442\u043e \u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0443 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b. <a href=\"https:\/\/github.com\/CodeDruidX\/Everlasting-Summer-txt\/blob\/main\/gptqlora%20(3).py\" rel=\"noopener noreferrer nofollow\">\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0432\u0438\u0434 gptqlora.py<\/a><\/p>\n<\/blockquote>\n<figure class=\"float\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8e0\/b81\/603\/8e0b816037eda4af9344528c9dd8841f.png\" width=\"439\" height=\"40\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8e0\/b81\/603\/8e0b816037eda4af9344528c9dd8841f.png\"\/><\/figure>\n<p>\u041f\u0440\u043e\u0431\u0443\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u043c \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e &#8212; <a href=\"https:\/\/github.com\/gururise\/AlpacaDataCleaned\" rel=\"noopener noreferrer nofollow\">Alpaca.<\/a><\/p>\n<p>\u0423\u0441\u043f\u0435\u0445. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u043e\u0441\u044c \u0437\u0430 2.5 \u043c\u0438\u043d\u0443\u0442\u044b.<\/p>\n<figure class=\"float\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4ac\/e85\/428\/4ace85428f77a2a467520a92f4bc0324.png\" width=\"252\" height=\"140\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ac\/e85\/428\/4ace85428f77a2a467520a92f4bc0324.png\"\/><\/figure>\n<p>\u0412\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u043b\u0441\u044f \u043d\u0435\u043a\u0438\u0439 <strong>.bin<\/strong>, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 800\u043c\u0431.<\/p>\n<p>\u0410\u0434\u0430\u043f\u0442\u0438\u0440\u0443\u0435\u043c \u0441\u0442\u0430\u0440\u044b\u0439 \u043a\u043e\u0434 \u043f\u043e\u0434 LoR \u0430\u0434\u0430\u043f\u0442\u0435\u0440 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0436\u0438\u0437\u043d\u0435\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0443\u043c\u043a\u0438&#8230;<\/p>\n<details class=\"spoiler\">\n<summary>\u041d\u043e\u0432\u044b\u0439 \u043a\u043e\u0434 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 LoRA<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import torch from transformers import AutoTokenizer import auto_gptq from auto_gptq import AutoGPTQForCausalLM, get_gptq_peft_model from auto_gptq.utils.peft_utils import GPTQLoraConfig #import gradio as gr  model_name = 'fffrrt\/ruGPT-3.5-13B-GPTQ' model_basename = 'gptq_model-4bit-128g'  tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True) model = AutoGPTQForCausalLM.from_quantized(\"\/ruGPT-3.5\",         low_cpu_mem_usage=True,         device_map='auto',         trust_remote_code=True,         inject_fused_attention = True,         inject_fused_mlp = False,         use_triton=True,         warmup_triton=False,         trainable=True) peft_config = GPTQLoraConfig(     inference_mode=True, ) model = get_gptq_peft_model(model, peft_config, '\/output\/checkpoint-100\/adapter_model')<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u042f \u0432\u0441\u0451 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b &#8212; \u043b\u043e\u0440\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0412\u0430\u0441 \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043b\u0438\u0448\u043d\u0438\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043d\u0435 \u0431\u0443\u0434\u0443. \u041e\u043d\u0438 \u0435\u0449\u0451 \u0436\u0434\u0443\u0442 \u043d\u0430\u0441 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0441 \u043d\u0430\u0448\u0438\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u043c.<\/p>\n<p><a class=\"anchor\" name=\"%D0%B4%D0%B0%D1%82%D0%B0%D1%81%D0%B5%D1%82\" id=\"\u0434\u0430\u0442\u0430\u0441\u0435\u0442\"><\/a><\/p>\n<h3>\u041f\u0438\u043b\u0438\u043c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/h3>\n<p>\u041a \u043c\u043e\u0435\u043c\u0443 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u044e, GptQLora \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0435 &#171;\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0445&#187; \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0441 HF. \u0422\u0430\u043a\u043e\u0439 \u0440\u0430\u0441\u043a\u043b\u0430\u0434, \u0441\u0430\u043c\u043e \u0441\u043e\u0431\u043e\u0439, \u043d\u0430\u0441 \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442.<\/p>\n<details class=\"spoiler\">\n<summary>\u041c\u0435\u043d\u044f\u0435\u043c \u043a\u043e\u0434 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0441\u0432\u043e\u0439 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442 \u0432\u044b\u0431\u043e\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 &#171;CUSTOM-BABY&#187;<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">def make_data_module(tokenizer: transformers.PreTrainedTokenizer, args) -> Dict:     \"\"\"     Make dataset and collator for supervised fine-tuning.     Datasets are expected to have the following columns: { `input`, `output` }      Available datasets to be selected with `dataset` argument:         - alpaca, 52002 examples         - alpaca cleaned, 51942 examples            - chip2 (OIG), 210289 examples         - self-instruct, 82612 examples         - hh-rlhf (Anthropic), 160800 examples         - longform, 23.7k examples      Coming soon:         - unnatural instructions core, 66010 examples         - unnatural instructions full, 240670 examples         - alpaca-gpt4, 52002 examples         - unnatural-instructions-gpt4, 9000 examples         - oa-rlhf (OpenAssistant) primary message tree only, 9209 examples         - oa-rlhf-assistant (OpenAssistant) all assistant  replies with ranking         - supernatural-instructions, 69624 examples (same as paper with 100 ex\/task more can be used)         - flan (FLAN v2), up to 20M examples available      Not Available:         - vicuna, not released at the moment.     \"\"\"     # Load dataset.     # Alpaca     print(args.dataset)      if args.dataset == 'CUSTOM-BABY':       from transformers import TextDataset       with open(\"\/gptqlora\/data.txt\",\"r\",encoding=\"utf-8\") as f:         l=f.read()       l=l.replace(\"\\n\",\"\\n\\n\")       import random        def get_random_substring(input_string, length):           start = random.randrange(0, len(input_string) - length + 1)           return input_string[start : start + length]       print(get_random_substring(l,500))       l2=list(set([get_random_substring(l,200) for i in range(2000)]))       print(len(l2),len(set(l2)))       l = list(map(lambda x: {                   'input': '',                   'output': x               },l2))       print(l2)       from datasets import Dataset       dataset=Dataset.from_list(l)       print(dataset)       #train_dataset=LineByLineTextDataset(tokenizer=tokenizer,file_path=\"\/gptqlora\/datafromES.txt\",block_size=64)       #print(train_dataset.examples)       #train_dataset.examples = list(map(lambda x: {       #      'input': '',       #      'output': x       #  },train_dataset.examples))     #elif args.dataset == 'alpaca':     # Alpaca clean     elif args.dataset == 'alpaca-clean':         dataset = load_dataset(\"yahma\/alpaca-cleaned\")         dataset = dataset.map(extract_alpaca_dataset, remove_columns=['instruction'])     # Chip2     elif args.dataset == 'chip2':         dataset = load_dataset(\"laion\/OIG\", data_files='unified_chip2.jsonl')         dataset = dataset.map(lambda x: {             'input': x['text'].split('\\n&lt;bot>: ')[0].replace('&lt;human>: ', ''),             'output': x['text'].split('\\n&lt;bot>: ')[1],         }, remove_columns=['text', 'metadata'])     ...     ...     ...<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c &#8212; \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f <strong>.txt<\/strong> \u0444\u0430\u0439\u043b\u0430 \u043d\u0430 \u043d\u0443\u0436\u043d\u044b\u0435 \u043d\u0430\u043c \u043a\u0443\u0441\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<br \/>\u041f\u043e\u0436\u0430\u043b\u0443\u0439, \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u0441\u043f\u043e\u0440\u043d\u044b\u0439 \u0438 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432 \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u0439 \u043c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c Lora \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f Seq2Seq \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u043c, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043d\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432\u0438\u0434\u0430 \u043d\u0435:<br \/>{&#171;<strong>ids<\/strong>&#171;:&#187;&lt;token>&lt;token2>&lt;token3>&#187;}<br \/>\u0430:<br \/>{&#171;<strong>input<\/strong>&#171;:&#187;&lt;token>&lt;token2>&lt;token3>&#187;,<br \/>&#171;<strong>output<\/strong>&#171;:&#187;&lt;token4>&lt;token5>&lt;token6>&#187;}<\/p>\n<pre><code class=\"python\">    elif args.dataset == 'hh-rlhf':         dataset = load_dataset(\"Anthropic\/hh-rlhf\")         dataset = dataset.map(lambda x: {             'input': '',             'output': x['chosen']         }, remove_columns=['chosen', 'rejected'])         print(dataset)<\/code><\/pre>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 <em>Anthropic\/hh-rlhf<\/em> \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <strong>input<\/strong>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0443\u0441\u0442\u044b\u0448\u043a\u0430, \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e.<\/p>\n<pre><code class=\"python\">    if args.dataset == 'CUSTOM-BABY':       from transformers import TextDataset       with open(\"\/gptqlora\/data.txt\",\"r\",encoding=\"utf-8\") as f:         l=f.read()       l=l.replace(\"\\n\",\"\\n\\n\")       import random        def get_random_substring(input_string, length):           start = random.randrange(0, len(input_string) - length + 1)           return input_string[start : start + length]       #print(get_random_substring(l,500))       l2=list(set([get_random_substring(l,200) for i in range(2000)]))       print(len(l2),len(set(l2)))       l = list(map(lambda x: {                   'input': '',                   'output': x               },l2))       print(l2)       from datasets import Dataset       dataset=Dataset.from_list(l)<\/code><\/pre>\n<p>2000 \u0440\u0430\u0437 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u043f\u043e\u0434\u0441\u0442\u0440\u043e\u043a\u0430 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430, \u0434\u043b\u0438\u043d\u043e\u0439 200 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u0447\u0442\u043e, \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f 4\u043c\u044f \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438.<\/p>\n<p>\u041d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u044e \u0447\u0442\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c <strong>225\u043a<\/strong> <em>\u0431\u0443\u043a\u0432, <\/em><strong>36\u043a<\/strong> <em>\u0441\u043b\u043e\u0432, <\/em><strong>4.5\u043a<\/strong> <em>\u0441\u0442\u0440\u043e\u043a <\/em>\u0432 \u0444\u0430\u0439\u043b\u0435!<\/p>\n<p>\u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432 \u043b\u0443\u0447\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0444\u0430\u0439\u043b\u0430 \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043a\u043e\u043b\u043b\u0438\u0437\u0438\u0438 \u0438 \u0438\u0437\u043b\u0438\u0448\u043d\u0435 \u0441\u0445\u043e\u0436\u0438\u0435 \u043a\u0443\u0441\u043a\u0438 &#8212; \u043e\u0434\u043d\u0430\u043a\u043e, \u043a\u0430\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0435\u0441\u0442\u044c \u043d\u0435\u0447\u0442\u043e \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u043e\u043f\u0430\u0441\u043d\u043e\u0435.<\/p>\n<p>\u0412 \u043a\u043e\u043d\u0446\u0435 \u0438 \u043d\u0430\u0447\u0430\u043b\u0435 \u0442\u0430\u043a\u0438\u0445 \u043a\u0443\u0441\u043a\u043e\u0432 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043e\u0431\u0440\u044b\u0432\u043a\u0438 \u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0433\u043e \u0438\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u0440\u0438\u043c\u0435\u0440:<br \/><em>&#171;\u0438\u0432\u0435\u0442, \u043a\u0430\u043a \u0434\u0435&#187;<\/em> &#8212; \u0432\u043e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0434\u043b\u044f <em>&#171;\u0438\u0432\u0435\u0442&#187;<\/em>, \u0438\u043b\u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0431\u0438\u0442\u044b\u0435 \u043a\u0440\u0430\u044f \u0442\u0430\u043a\u0438\u0445 \u0431\u0430\u0442\u0447\u0435\u0439 \u0432\u0432\u043e\u0434\u044f\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0437\u0430\u0431\u043b\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u043d\u0430\u043f\u0440\u043e\u0447\u044c \u0443\u0431\u0438\u0432\u0430\u044e\u0442 \u0435\u0451 \u043a\u043e\u0433\u043d\u0438\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0432\u0441\u044e \u043a\u043e\u043c\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e, \u0443 \u043c\u043d\u043d\u043d\u043d \u043d \u043d\u0435\u0441<\/p>\n<p>\u043d \u043d \u043d\u0435\u0441 \u0442  \u043d\u0435\u0441 \u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u0441 \u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u0441 \u043d\u0435\u0441\u0435\u0442  \u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u0441 \u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u0441\u0443<\/p>\n<p>\u043d\u0435\u0441 \u043d\u0435\u0441 \u043d\u0435\u0441 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0443  \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0443  \u043d\u0435\u0441\u0443 \u043d\u0435\u0441 \u043d\u0435\u0441  \u043d\u0435\u0441\u0443 \u043d\u0435\u0441  \u043d\u0435\u0441 \u043d\u0435\u0441 \u043d\u0435\u0441  \u043d\u0435\u0441\u0443 \u043d\u0435\u0441\u0443 \u043d\u0435\u0441 \u043d\u0435\u0441\u0443  \u043d\u0435\u0441 \u043d\u0435\u0441 \u043d\u0435\u0441\u0443<\/p>\n<p>\u041d\u0435\u0441\u0443.<\/p>\n<p>\u043d \u0438  \u043d   \u043f\u043e  \u043f\u043e  \u043f\u043e<\/p>\n<p>\u043d \u0435  \u043f \u043d \u0431 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438 \u0435\u0436<\/p>\n<\/div>\n<\/details>\n<p>\u0422\u043e\u0433\u0434\u0430 \u044f \u0440\u0435\u0448\u0438\u043b \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u043f\u043e \u0431\u0443\u043a\u0432\u0430\u043c, \u0430 \u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0438. \u0411\u0435\u0440\u0451\u043c 2000 \u0440\u0430\u0437 \u043f\u043e 4-6 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445, \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a.<\/p>\n<pre><code class=\"python\">l2=list(set([\"\\n\".join(get_random_substring(l,random.randint(4,6))) for i in range(2000)]))<\/code><\/pre>\n<blockquote>\n<p>\u0411\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438 \u043f\u0435\u0440\u0435\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 colab \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0430, \u0443 \u043c\u0435\u043d\u044f \u0432\u0441\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c! \u041a\u0430\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 PEFT \u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0430\u0441\u044c \u0438 \u0441\u0442\u0430\u043b\u0430 \u043b\u043e\u043c\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u043e\u0432\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 <a href=\"https:\/\/github.com\/huggingface\/peft\/issues\/156\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/huggingface\/peft\/issues\/156<\/a>. <\/p>\n<\/blockquote>\n<p>\u0422\u0430\u043a \u0447\u0442\u043e \u0432 \u0441\u0440\u043e\u0447\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043e\u0442\u043a\u0430\u0442.<\/p>\n<pre><code class=\"python\">!pip uninstall peft !pip install peft==0.4.0<\/code><\/pre>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0c3\/7b3\/ba7\/0c37b3ba75d886d8fc1743c587cdbd74.png\" alt=\"\u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e. \u041e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u0441\u0451 \u043a\u0430\u043a \u0435\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0447\u0430\u0441\u0430.\" title=\"\u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e. \u041e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u0441\u0451 \u043a\u0430\u043a \u0435\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0447\u0430\u0441\u0430.\" width=\"496\" height=\"302\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c3\/7b3\/ba7\/0c37b3ba75d886d8fc1743c587cdbd74.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e. \u041e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u0441\u0451 \u043a\u0430\u043a \u0435\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0447\u0430\u0441\u0430.<\/figcaption><\/div>\n<\/figure>\n<p><a class=\"anchor\" name=\"%D1%80%D0%B5%D0%B7%D1%8B\" id=\"\u0440\u0435\u0437\u044b\"><\/a><\/p>\n<p>\u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0435 \u0441 \u043d\u0435\u0434\u043e\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u044c\u044e:<\/p>\n<details class=\"spoiler\">\n<summary>\u041c\u0434\u0430, \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u0438\u043c\u043e<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041d\u043e, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u2013 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u0441\u0442\u043e\u044f\u043b\u0430 \u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u043d\u0430\u2026<\/p>\n<p>\u0418 \u0442\u0430\u043d\u0446\u0435\u0432\u0430\u043b\u0430 \u0432\u0430\u043b\u044c\u0441!<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432\u0430: \u0410\u0439, \u043c\u043e\u043b\u043e\u0434\u0446\u0430! \u0410\u0439, \u043a\u0430\u043a \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0430\u043b\u044c\u0441\u0438\u0440\u0443\u0435\u0448\u044c!<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0435\u0432\u043d\u0430: \u0414\u0430\u0432\u0430\u0439 \u0435\u0449\u0451 \u0440\u0430\u0437\u043e\u043a<\/p>\n<\/div>\n<\/details>\n<p>\u0422\u0443\u0442 \u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0443\u0441\u044c \u043e\u0434\u043d\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u0444\u0435\u0439\u043b\u044b.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0434\u043b\u0438\u043d\u043e\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a (\u043a\u0430\u043a \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435), \u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0436\u0435\u043b\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0438\u0441\u0430\u0442\u044c \u044d\u043c\u043e\u0446\u0438\u044e \u0433\u0435\u0440\u043e\u044f \u043f\u043e\u0441\u043b\u0435 \u0435\u0433\u043e \u0438\u043c\u0435\u043d\u0438 \u0432 \u0441\u043a\u043e\u0431\u043a\u0430\u0445.<\/p>\n<details class=\"spoiler\">\n<summary>\u0412\u043e \u0447\u0442\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u043f\u0435\u0440\u0432\u044b\u0435 2 \u0441\u0442\u0440\u043e\u043a\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0421\u0435\u043c\u0451\u043d: \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438, \u043e\u043d \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u044b\u0439.<\/p>\n<p>\u041b\u0435\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u043d\u0443\u043b\u0430 \u0443 \u043c\u0435\u043d\u044f \u0438\u0437-\u0437\u0430 \u0441\u043f\u0438\u043d\u044b.<\/p>\n<p>\u041b\u0435\u043d\u0430: \u0414\u0430, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435\u2026<\/p>\n<p>\u041e\u043d\u0430 \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u0430\u0443\u0437\u0443.<\/p>\n<p>\u041b\u0435\u043d\u0430 (\u0437\u0430\u0434\u0443\u043c\u0447\u0438\u0432\u043e): \u041d\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043a\u0430\u043a-\u0442\u043e \u043d\u0435 \u043f\u043e \u0441\u0435\u0431\u0435.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u0414\u0430 \u0431\u0440\u043e\u0441\u044c \u0442\u044b! \u0421\u0430\u043c\u043e\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0440\u0438\u0432\u0438\u0434\u0435\u043d\u0438\u0435!<\/p>\n<p>\u041b\u0435\u043d\u0430: \u041d\u0443, \u0435\u0441\u043b\u0438 \u0442\u044b \u0442\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u0435\u0448\u044c\u2026<\/p>\n<p>\u041e\u043d\u0430 \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u043e\u0431\u0438\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043b\u0438\u0446\u0430.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d (\u0443\u043b\u044b\u0431\u043d\u0443\u043b\u0441\u044f): \u0414\u0430, \u044f \u0442\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u044e!<\/p>\n<p>\u041b\u0435\u043d\u0430, \u043f\u043e\u0445\u043e\u0436\u0435, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u0441\u043f\u043e\u043a\u043e\u0438\u043b\u0430\u0441\u044c.<\/p>\n<p>\u041b\u0435\u043d\u0430, \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0441\u043e\u0432\u0441\u0435\u043c \u0437\u0430\u0431\u044b\u043b\u0430 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u044f \u0435\u0451 \u0441\u044e\u0434\u0430 \u043f\u043e\u0437\u0432\u0430\u043b, \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0430 \u043d\u0430 \u043e\u0433\u043e\u043d\u044c.<\/p>\n<\/div>\n<\/details>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0430 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u0438\u0430\u043b\u043e\u0433 \u0438\u0437 \u0438\u0433\u0440\u044b \u043f\u043e \u043f\u0435\u0440\u0432\u044b\u043c \u0434\u0432\u0443\u043c \u0441\u0442\u0440\u043e\u043a\u0430\u043c &#8212; \u044d\u0442\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<details class=\"spoiler\">\n<summary>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u043e \u043f\u0435\u0440\u0432\u044b\u043c 3 \u0441\u0442\u0440\u043e\u043a\u0430\u043c<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0421\u043b\u0430\u0432\u044f: \u0424\u0438\u0437\u043a\u0443\u043b\u044c\u0442-\u043f\u0440\u0438\u0432\u0435\u0442!<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u041e\u0445\u0430\u0439\u2026 \u0422\u043e \u0435\u0441\u0442\u044c, \u0431\u043e\u0431\u0440\u2026 \u0414\u043e\u0431\u0440\u043e\u0435 \u0443\u0442\u0440\u043e! \u0412\u043e\u0442\u2026<\/p>\n<p>\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043c\u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0435 \u0441\u0440\u0430\u0437\u0443.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f: \u0412\u0438\u0436\u0443, \u0442\u044b \u0443\u0436\u0435 \u0432\u0441\u0442\u0430\u043b.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f \u0443\u043b\u044b\u0431\u043d\u0443\u043b\u0430\u0441\u044c.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f, \u043f\u0438\u043e\u043d\u0435\u0440\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0443\u0436\u0435 \u0443\u0441\u043f\u0435\u043b\u0430 \u043f\u0440\u0438\u0439\u0442\u0438 \u0432 \u043f\u043e\u043b\u043d\u0443\u044e \u043d\u0435\u0433\u043e\u0434\u043d\u043e\u0441\u0442\u044c, \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0430 \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e \u2013 \u043a\u0440\u0430\u0441\u0438\u0432\u0430\u044f \u0438 \u043c\u0438\u043b\u0430\u044f \u0434\u0435\u0432\u043e\u0447\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0430\u043a \u0438 \u043f\u0440\u0438\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442 \u0432\u0437\u0433\u043b\u044f\u0434.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f (\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044f \u0443\u043b\u044b\u0431\u0430\u0442\u044c\u0441\u044f): \u0410 \u0432\u043e\u0442 \u0438 \u043d\u0435\u0442! \u042f \u0443\u0436\u0435 \u0447\u0430\u0441\u0430 \u0434\u0432\u0430 \u043a\u0430\u043a \u0442\u0443\u0442 \u0441\u0438\u0436\u0443.<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u042f\u0441\u043d\u043e\u2026<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f: \u0410 \u0442\u044b, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0441\u043f\u0430\u043b \u0435\u0449\u0451?<\/p>\n<p>\u0421\u0435\u043c\u0451\u043d: \u0414\u0430, \u043d\u0435\u043c\u043d\u043e\u0433\u043e.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f \u043f\u043e\u0434\u043e\u0448\u043b\u0430 \u0431\u043b\u0438\u0436\u0435.<\/p>\n<p>\u0421\u043b\u0430\u0432\u044f \u0432\u0437\u044f\u043b\u0430 \u043c\u043e\u044e \u0442\u0430\u0440\u0435\u043b\u043a\u0443 \u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u043d\u0430 \u0441\u0442\u043e\u043b.<\/p>\n<\/div>\n<\/details>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0432\u043e, \u043d\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0443\u043c\u0435\u0441\u0442\u043d\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u043b\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u0443\u0436\u0435, \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0430 \u043a \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435. \u041e\u043d\u0430 \u0434\u0430\u0436\u0435 \u0441\u0430\u043c\u0430 \u0432\u0432\u0435\u043b\u0430 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u0438\u043e\u043d\u0435\u0440\u0441\u043a\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u0438 <em>\u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043c\u0435\u043d\u0435\u043c<\/em> &#171;\u0421\u043b\u0430\u0432\u044f&#187; &#8212; \u0447\u0442\u043e \u0443\u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0441\u043f\u0435\u0445\u043e\u043c. \u0425\u043e\u0442\u044f, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0432\u0441\u0435-\u0436\u0435 \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043b\u0438\u043d\u043d\u044b\u0439.<\/p>\n<p><a class=\"anchor\" name=\"%D0%B7%D0%B0%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" id=\"\u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\"><\/a><\/p>\n<h3>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c?<\/h3>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0434\u0430\u0436\u0435 \u0438\u0433\u0440\u0430\u0431\u0435\u043b\u044c\u043d\u043e. \u0414\u0430, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u0430\u0431\u0435\u0435. \u042f \u0434\u0430\u0436\u0435 \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0445\u0443\u0436\u0435 \u0447\u0435\u043c \u0431\u044b\u043b\u043e \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e, \u0432\u0435\u0434\u044c \u0434\u043b\u0438\u043d\u0430 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u0438\u043d\u043e\u0439 5 \u0441\u0442\u0440\u043e\u043a \u0434\u043b\u044f story-tell \u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a. \u041d\u041e, \u043e\u043d\u0430, <em>\u0447\u0442\u043e \u044f\u0432\u043d\u043e \u0432\u0438\u0434\u043d\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435<\/em>, <strong>\u0443\u043b\u043e\u0432\u0438\u043b\u0430<\/strong> <strong>\u0441\u0435\u0442\u0442\u0438\u043d\u0433<\/strong> \u0438 <strong>\u0441\u0442\u0438\u043b\u044c \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f<\/strong> \u0438\u0433\u0440\u044b! \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u0435\u0437\u043e\u0431\u0438\u0434\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u043b\u043e \u0447\u0430\u0441\u0442\u043e \u0443\u043d\u043e\u0441\u0438\u0442\u044c \u0432 NSFW &#8212; \u0442\u0430\u043a\u043e\u0432 \u043d\u0430\u0440\u0440\u0430\u0442\u0438\u0432 \u0432\u0441\u0435\u0439 \u0438\u0433\u0440\u044b, \u0432 \u044d\u0442\u043e\u043c \u043e\u043d\u0430 \u043d\u0435 \u043f\u0440\u043e\u0433\u0430\u0434\u0430\u043b\u0430. \u041c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0432\u0437\u044f\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0435, \u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c 6+ \u0447\u0430\u0441\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u043e 1:30, \u043d\u043e free colab <em>\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u0442 GPU \u0441\u0435\u0441\u0441\u0438\u0438<\/em>, \u0442\u0430\u043a \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0431\u0435\u0440\u0435\u0447\u044c \u043d\u0435\u0440\u0432\u044b. PoC \u0435\u0441\u0442\u044c, \u0434\u043e \u0443\u043c\u0430 \u0434\u043e\u0432\u0435\u0434\u0451\u0442 \u043a\u0442\u043e-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0434\u0430\u043b\u0451\u043a \u043e\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 .rpy \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432. \u041d\u0435 \u043f\u043e\u0434\u0443\u043c\u0430\u0439\u0442\u0435, \u044f \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u0438\u043b \u0432 \u043d\u0430\u0442\u044f\u0433\u0438\u0432\u0430\u043d\u0438\u0435 \u0441\u043e\u0432\u044b \u043d\u0430 \u0433\u043b\u043e\u0431\u0443\u0441 &#8212; \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0436\u0435 \u043f\u0443\u0442\u0430\u0435\u0442\u0441\u044f \u0432 \u0438\u043c\u0435\u043d\u0430\u0445 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445, \u0444\u043e\u0440\u043c\u0430\u0442 \u0442\u0435\u043a\u0441\u0442\u0430 \u0442\u0443\u0442 \u0442\u043e\u0447\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439. \u041f\u043e\u043a\u0430 \u044f \u0432\u0438\u0436\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 <strong>AI dungeon \/ Novel AI.<\/strong><\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u044d\u0442\u0430, \u043c\u0435\u043d\u044f, \u043e\u0442\u043d\u044e\u0434\u044c \u043d\u0435 \u0440\u0430\u0437\u043e\u0447\u0430\u0440\u043e\u0432\u0430\u043b\u0430. \u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b, \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432 NSFW \u0438 \u044d\u0442\u043e, \u043f\u043e \u0441\u0443\u0442\u0438, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0451 \u0432\u0430\u0436\u043d\u0435\u0439\u0448\u0438\u043c \u043f\u043b\u044e\u0441\u043e\u043c, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043d\u0430 \u0444\u043e\u043d\u0435 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u044b \u0438\u043c\u0435\u043b\u0438 \u0440\u0430\u043d\u0435\u0435. \u0412\u0435\u0434\u044c RuGPT<strong>3<\/strong> \u0432 \u043d\u0451\u043c \u0431\u044b\u043b\u0430 \u0431\u0435\u0437\u043d\u0430\u0434\u0451\u0436\u043d\u0430, \u0430 chatgpt \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d (\u0447\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0430\u0441 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u043b\u043e, \u0432\u0435\u0440\u043d\u043e?).<\/p>\n<p>\u0410\u043d\u0430\u043b\u043e\u0433\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442, \u044d\u0442\u043e \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043c\u0438\u0440\u0438\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438, \u0438 \u0432\u0435\u0440\u0438\u0442\u044c \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0443\u044e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 NLP.<\/p>\n<blockquote>\n<p>\u0415\u0441\u043b\u0438 \u0442\u044b \u043e\u0441\u0438\u043b\u0438\u043b \u044d\u0442\u0443 \u0441\u043a\u0430\u0442\u0435\u0440\u0442\u044c \u0438 \u0435\u0449\u0451 \u043d\u0435 \u043a\u0440\u044e\u0447\u0438\u0448\u044c\u0441\u044f \u0432 \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0435 \u0442\u043e\u0448\u043d\u043e\u0442\u044b, \u0442\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u043e\u0431\u0435\u0434\u0430 \u0434\u043b\u044f \u043c\u0435\u043d\u044f &#8212; \u0441\u043f\u0430\u0441\u0438\u0431\u043e.<\/p>\n<\/blockquote>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/906\/855\/b82\/906855b8232aa18acae20c2bf3f9e93b.png\" width=\"686\" height=\"386\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/906\/855\/b82\/906855b8232aa18acae20c2bf3f9e93b.png\"\/><\/figure>\n<p>\u0412\u0435\u0441\u044c \u043a\u043e\u0434, \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 \u0438 \u043a\u0443\u0447\u0430 \u043c\u0443\u0441\u043e\u0440\u0430 \u043b\u0435\u0436\u0430\u0442 \u0432 <strong>\u044d\u0442\u043e\u043c <\/strong><a href=\"https:\/\/colab.research.google.com\/drive\/15n7RhJVtjGW78j21PJna-jXMWzeP0REa?usp=sharing\" rel=\"noopener noreferrer nofollow\"><strong>colab \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435<\/strong><\/a>. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043d\u0430 \u044d\u0442\u043e\u043c \u0443 \u043c\u0435\u043d\u044f \u0432\u0441\u0451, \u0437\u0434\u0440\u0430\u0432\u0430\u044f \u043a\u0440\u0438\u0442\u0438\u043a\u0430 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442\u0441\u044f.<\/p>\n<hr\/>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/751972\/\"> https:\/\/habr.com\/ru\/articles\/751972\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption>\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043c\u0438\u0440\u043e\u0432\u0430\u044f \u043b\u0438\u043d\u0438\u044f?<\/figcaption><\/div>\n<\/figure>\n<p>\u042f \u0443\u0436 \u0431\u044b\u043b\u043e \u043f\u043e\u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e \u044d\u043f\u043e\u0445\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0443\u0448\u043b\u0430, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u043f\u043e\u0441\u043b\u0435 \u0441\u0435\u0431\u044f \u043d\u0435\u0432\u0435\u043b\u0438\u043a\u043e\u0435 \u043d\u0430\u0441\u043b\u0435\u0434\u0438\u0435 (\u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u043f\u0430\u043b\u044c\u0446\u0430\u0445), \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u0430\u0440\u0443 \u043d\u0435\u0434\u0435\u043b\u044c \u043d\u0430\u0437\u0430\u0434 <strong>RuGPT3.5<\/strong> \u043e\u0442 \u0421\u0431\u0435\u0440\u0430 \u0432\u044b\u0448\u043b\u0430 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0438, \u0437\u0430 \u043d\u0435\u0438\u043c\u0435\u043d\u0438\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043c\u043d\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u043c \u0448\u0430\u043d\u0441\u043e\u043c \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u0432\u043d\u0435\u0439 \u0438\u0434\u0435\u0438.<\/p>\n<h4>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435:<\/h4>\n<ul>\n<li>\n<p><a href=\"#%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#%D0%BA%D0%BE%D0%BD%D0%B5%D1%86%D0%BF%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0417\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#%D0%B8%D0%B3%D1%80%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0418\u0433\u0440\u0430<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0414\u0430\u043d\u043d\u044b\u0435<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#%D0%BE%D0%B1%D0%B5%D1%80%D1%82%D0%BA%D0%B0\" rel=\"noopener noreferrer nofollow\">\u041e\u0431\u0435\u0440\u0442\u043a\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D1%82%D0%B5%D1%81%D1%82%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0422\u0435\u0441\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#ui\" rel=\"noopener noreferrer nofollow\">UI<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%B5%D1%89%D1%91%D1%82%D0%B5%D1%81%D1%82%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0415\u0449\u0451 \u0442\u0435\u0441\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%B4%D0%BE%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">Fine-tune<\/a><\/p>\n<ul>\n<li>\n<p><a href=\"#gptqlora\" rel=\"noopener noreferrer nofollow\">LoRA<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%B4%D0%B0%D1%82%D0%B0%D1%81%D0%B5%D1%82\" rel=\"noopener noreferrer nofollow\">Dataset<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D1%80%D0%B5%D0%B7%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/a><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><a href=\"#%D0%B7%D0%B0%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/a><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 <em>\u043d\u0430 \u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0440\u043e\u0447\u0435, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432 \u0432\u044b\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0430\u0445<\/em>. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043b\u043e\u043d\u0433\u0440\u0438\u0434, \u0442\u0430\u043a \u0447\u0442\u043e \u044f \u0431\u0443\u0434\u0443 \u0440\u0430\u0437\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043b\u0435\u0432\u044b\u043c\u0438 \u043f\u0438\u043a\u0447\u0430\u043c\u0438, \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0435\u0440\u0436\u0443 \u0432 \u043a\u0443\u0440\u0441\u0435.<\/p>\n<p>\u0422\u0435, \u043a\u043e\u0433\u043e \u044f \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b, \u043f\u0440\u0438\u0433\u043b\u0430\u0448\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u0442.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%D0%B2%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5\" id=\"\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435\">\u043d\u0438\u0435&#187;><\/a><\/p>\n<h2>\u0416\u0438\u0432\u044b \u043b\u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 GPT? <\/h2>\n<p>\u0414\u043b\u044f \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u0441 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b <strong>GPT<\/strong> \u0441\u043e\u0432\u0435\u0442\u0443\u044e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440: <a href=\"https:\/\/habr.com\/ru\/articles\/490842\/\" rel=\"noopener noreferrer nofollow\">GPT-2 \u0432 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445<\/a>, \u0438 \u044d\u0442\u043e\u0442: <a href=\"https:\/\/habr.com\/ru\/articles\/514698\/\" rel=\"noopener noreferrer nofollow\">GPT-3<\/a><\/p>\n<p>\u0427\u0442\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0438\u0437 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/p>\n<ul>\n<li>\n<p><strong><em>GPT-1<\/em><\/strong> (2018) (Context: <strong>512<\/strong>) &#8212; \u0420\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e (\u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043b\u043e\u0445\u043e), \u043d\u043e \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u043b\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong><em>GPT-2<\/em><\/strong> (2019) (Context: <strong>1024<\/strong>) &#8212; \u0441\u0442\u0430\u043b\u0430 \u043b\u0443\u0447\u0448\u0435, \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0438 \u0434\u0430\u0436\u0435 \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 prompt engineering \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.  <\/p>\n<\/li>\n<li>\n<p><strong><em>GPT-3<\/em><\/strong> (2020) (Context: <strong>2048<\/strong>) &#8212; \u0421\u0442\u0430\u043b\u0430 \u0432 10 (!) \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435, \u0438 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0443\u0442\u043e\u0439, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0439 \u043a\u043e\u0434.<\/p>\n<\/li>\n<li>\n<p><strong><em>RuGPT3<\/em><\/strong><em>, <\/em><strong><em>RuDialoGPT3<\/em><\/strong><em>,<\/em> (Context: <strong>512!<\/strong>) &#8212; \u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 <strong>GPT3<\/strong> \u043f\u043e\u0434 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0431\u044b\u043b\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043e \u0438 \u0432\u044b\u043b\u043e\u0436\u0435\u043d\u043e \u0421\u0431\u0435\u0440\u043e\u043c \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f <em>(\u0412 \u0441\u0432\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044f \u0434\u0430\u0436\u0435 \u044d\u0441\u0441\u0435 \u043f\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u043e\u0431\u0449\u0430\u0433\u0435 \u0438 \u043f\u0430\u0440\u0435 \u0441\u043f\u0435\u0446\u043e\u0432 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u043c\u0438).<br \/><\/em><strong>\u041d\u043e \u0431\u044b\u043b \u0443 \u043d\u0438\u0445 \u043e\u0434\u0438\u043d<\/strong> \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 <strong>\u043d\u044e\u0430\u043d\u0441<\/strong>. \u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u043d \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u043a\u0430\u043a \u0438\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0434\u043b\u0438\u043d\u043e\u0439 512 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. (\u044d\u0442\u043e \u043a\u0430\u043a \u0443 \u0441\u0430\u043c\u043e\u0439 \u043f\u0435\u0440\u0432\u043e\u0439 GPT, \u0434\u0430).<br \/>\u041f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u0443\u044e \u043d\u0430 2048 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043a\u0443\u0441\u043a\u0430\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e <strong>512<\/strong>, \u0442\u043e \u043e\u043d\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u0442\u0443\u043f\u0435\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0432\u044f\u0442\u043e \u043c\u0435\u0441\u0442\u043e \u043f\u0443\u0441\u0442\u043e \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442, \u043a\u0442\u043e-\u0442\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u043b \u043d\u0430\u0447\u0430\u0442\u044c \u044d\u0442\u043e \u043c\u043e\u043d\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u042d\u0442\u0438\u043c \u0437\u0430\u043d\u044f\u043b\u0438\u0441\u044c \u0441\u0430\u043c\u0438 \u0441\u043e\u0437\u0434\u0430\u0442\u0435\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b &#8212; <strong>OpenAI<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u0439\u0442\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0441\u0432\u043e\u0435\u0433\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0430\u0439\u0442, \u0441 \u0447\u0430\u0442 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c \u0441\u0432\u043e\u0435\u0439 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 GPT3, \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0447\u0430\u0442\u0430 &#8212; <strong>ChatGPT<\/strong>. \u0412 \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u0435\u043d\u044c \u0435\u0451 \u0432\u044b\u0445\u043e\u0434\u0430 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0442\u0435\u0441\u0442 \u044f \u0437\u0430\u0440\u0435\u0433\u0430\u043b temp phone number \u0438 \u0431\u044b\u043b \u0440\u0430\u0437\u043e\u0447\u0430\u0440\u043e\u0432\u0430\u043d. \u041e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043d\u0438\u0447\u0443\u0442\u044c \u043d\u0435 \u043b\u0443\u0447\u0448\u0435 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0439 GPT3 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c, \u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0431\u044b\u043b \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0432\u044b\u0445\u043e\u0434\u0435.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0445\u043e\u0434\u0430 ChatGPT3.5 \u0441 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0430\u043c\u0438 \u0434\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u044b\u043b\u0430 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u0430\u043c\u0438 \u0443\u043c\u0440\u0451\u0442 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435\u043c ChatGPT4. OpenAI \u0441\u0442\u0430\u043b\u0438 \u043f\u0440\u043e\u0434\u0430\u0432\u0430\u0442\u044c API \u0447\u0430\u0441\u0442\u043d\u044b\u043c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0443\u044e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443. <\/p>\n<p>\u041c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u0433\u043e\u0434 \u0441\u0442\u0430\u043b\u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u044b \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445.<\/p>\n<p><strong><em>YaML 100b<\/em><\/strong> (2022)<strong> <\/strong>(Context: ?) &#8212; \u043d\u0435\u0447\u0442\u043e \u0436\u0438\u0434\u043a\u043e\u0435, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0435 \u0441 \u043f\u043b\u0435\u0432\u043a\u043e\u043c \u0432 \u043b\u0438\u0446\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e, \u0445\u043e\u0442\u044c \u043e\u043d\u0430 \u0438 \u0432 \u043e\u043f\u0435\u043d \u0441\u043e\u0440\u0441&#8230; \u0422\u0430\u043a \u043a\u0430\u043a \u0432\u0435\u0441\u0438\u0442 \u0441\u0438\u0435 \u0447\u0443\u0434\u043e <strong>250\u0433\u0431!<\/strong> \u0410 \u0438\u0445 \u0435\u0449\u0451 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c, \u0432 \u043e\u0431\u0449\u0435\u043c, \u0441\u0432\u043e\u0435\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0439 \u043f\u0440\u0438\u043a\u043e\u043b \u043e\u0442 \u0432\u0441\u0435\u043c\u0438 \u043b\u044e\u0431\u0438\u043c\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. \u0412\u0441\u0451 \u0447\u0442\u043e \u043e \u043d\u0435\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0451\u0439, \u0441\u0430\u043c\u043e\u0433\u043e Ya:<br \/><a href=\"https:\/\/habr.com\/ru\/companies\/yandex\/articles\/672396\/\" rel=\"noopener noreferrer nofollow\">\u042f\u043d\u0434\u0435\u043a\u0441 \u0432\u044b\u043b\u043e\u0436\u0438\u043b YaLM 100B \u2014 \u0441\u0435\u0439\u0447\u0430\u0441 \u044d\u0442\u043e \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0430\u044f GPT-\u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0432 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435.<\/a><\/p>\n<p><strong><em>LLama 2<\/em><\/strong> (2023) (Context: <strong>4096<\/strong>) &#8212; \u0421\u0430\u043c\u044b\u0439 \u0441\u043e\u043a, \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0432\u044b\u0448\u0435\u0434\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. \u0421\u0442\u0430\u043b\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<br \/>HF \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u0447\u0430\u0442-\u0431\u043e\u0442\u0430\u043c\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 LLama, \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0437\u0430 \u0441\u0443\u0449\u0438\u0435 \u0447\u0430\u0441\u044b \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u0412\u043e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 <strong>\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043c\u043e\u0433\u043b\u0430 \u0432\u043e\u043e\u0431\u0449\u0435<\/strong> (\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0435\u0433\u043e \u0431\u044b\u043b\u043e \u043c\u0435\u043d\u0435\u0435 1%). \u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0443\u0442 \u043d\u0435 \u043f\u043e\u043c\u043e\u0436\u0435\u0442. \u0412 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a ChatGPT \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<p>\u0421\u0431\u0435\u0440 \u0436\u0435 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0438 <strong>GigaChat<\/strong>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0441\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0440\u043e\u0444\u043b\u043e\u043c \u0438 \u0440\u0430\u0441\u043f\u0438\u043b\u043e\u043c \u0434\u0435\u043d\u0435\u0433, \u0434\u043e\u0441\u0442\u0443\u043f\u044b \u0432 \u0417\u0411\u0422 \u0434\u0430\u0432\u0430\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u0442\u043e\u0440\u043e\u043f\u043b\u0438\u0432\u043e.<\/p>\n<p>\u042f \u043f\u043e\u043f\u0430\u043b \u0432 \u043f\u0435\u0440\u0432\u044b\u0435 10\u043a \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u043b\u0435 \u0431\u043b\u043e\u0433\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u0438 \u043a\u0430\u043a \u0438 \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c, GigaChat \u0431\u044b\u043b \u0442\u0443\u043f\u043e\u0439. \u0414\u0430\u043b\u0435\u0435 \u044f \u0437\u0430 \u043d\u0438\u043c \u043d\u0435 \u0441\u043b\u0435\u0434\u0438\u043b.<\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0432\u0440\u043e\u0434\u0435 \u0443\u0436\u0435 \u0438\u0434\u0451\u0442 \u041e\u0411\u0422 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0439 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u044b\u043a\u0430\u0442\u044c &#171;\u0447\u0438\u0441\u0442\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u0439 ChatGPT&#187;, \u043d\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0441\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0432\u043e\u0440\u043e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u041e\u043d\u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0432 \u043e\u043f\u0435\u043d \u0441\u043e\u0440\u0441 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u0441\u043d\u043e\u0432\u0430\u043d GigaChat: <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/articles\/746736\/\" rel=\"noopener noreferrer nofollow\">\u0421\u0431\u0435\u0440 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 ruGPT-3.5<\/a>. \u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0441\u0442\u0430\u043b\u0430 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430 <em>\u043d\u0435\u043b\u0438\u043a\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u044c<\/em> GigaChat \u043a\u0430\u043a \u043d\u043e\u0432\u043e\u0433\u043e, \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e API \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0431\u043e\u0442\u043e\u0432, \u0438 \u043e\u043d\u0438 \u0440\u0435\u0448\u0438\u043b\u0438 \u0434\u0430\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u043f\u043e\u0442\u0440\u043e\u0433\u0430\u0442\u044c \u0443\u0434\u043e\u0432\u043e\u043b\u044c\u0441\u0442\u0432\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0447\u0430\u0442-\u0431\u043e\u0442\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0433\u043e\u043b\u044b\u0445 \u0432\u0435\u0441\u043e\u0432, \u0430 \u043d\u0435 API, \u0438 \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0442\u043e \u043e\u043d\u0438 \u0441\u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 \u0434\u043b\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043d\u0443\u0436\u0435\u043d &#171;\u0441\u0432\u043e\u0439, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u0447\u0430\u0442-\u0431\u043e\u0442&#187;. \u0421\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u0432 \u0442\u043e\u0432\u0430\u0440.<\/p>\n<p>\u041d\u0435 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043d\u0430\u044f \u043a \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u043d\u043e\/\u043e\u0442\u0432\u0435\u0442\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0441\u0451 \u0442\u043e\u0439-\u0436\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u043a\u043e\u0439 \u0442\u0435\u0441\u0442\u0430 \u043a\u0430\u043a \u0438 RuGPT3, \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0435\u0437 \u043a\u0430\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u043e\u043d \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 2048 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u0430\u043a \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0434\u043e\u0433\u043d\u0430\u043b\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b).<\/p>\n<p><a class=\"anchor\" name=\"%D0%BA%D0%BE%D0%BD%D0%B5%D1%86%D0%BF%D1%80%D0%BE%D0%BB%D0%BE%D0%B3%D0%B0\" id=\"\u043a\u043e\u043d\u0435\u0446\u043f\u0440\u043e\u043b\u043e\u0433\u0430\">\u043e\u043b\u043e\u0433\u0430&#187;><\/a><\/p>\n<h3>\u0417\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 RuGPT3.5<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0435 \u043d\u0430\u0448\u0430 \u043d\u043e\u0432\u0430\u044f \u043f\u043e\u0434\u0440\u0443\u0433\u0430 \u0432\u0435\u0441\u0438\u0442 <strong>50<\/strong> \u0433\u0438\u0433\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u043d\u0435 \u043d\u0435 \u043f\u043e \u043a\u0430\u0440\u043c\u0430\u043d\u0443. \u0411\u043b\u0430\u0433\u043e \u0434\u043e\u0431\u0440\u044b\u0435 \u043b\u044e\u0434\u0438 \u0443\u0436\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0441\u0435\u0442\u044c, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0432 \u0431\u0438\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0435\u0451 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0441\u0436\u0430\u0432 \u0435\u0451 \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0432 4 \u0440\u0430\u0437\u0430! \u0420\u0430\u0437\u043c\u0435\u0440 4\u0445 \u0431\u0438\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u043a\u043e\u043b\u043e <strong>7<\/strong> \u0433\u0438\u0433\u043e\u0432.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0451 \u0432 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u043c Google Colab \u043d\u0430 <strong>NVIDIA Tesla T4 16Gb<\/strong> \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043f\u0443\u0441\u0442\u044c \u0438 \u043c\u0435\u043d\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0439, \u043d\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u043f\u044b\u0442 \u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0435\u0451 \u0432 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445. <\/p>\n<pre><code class=\"powershell\">pip install transformers auto-gptq gradio >> nul<\/code><\/pre>\n<p>\u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u044e \u0438 \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0435 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0441\u0430\u043c\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438.<\/p>\n<pre><code class=\"python\">from transformers import AutoTokenizer from auto_gptq import AutoGPTQForCausalLM import gradio as gr  model_name = 'fffrrt\/ruGPT-3.5-13B-GPTQ' model_basename = 'gptq_model-4bit-128g'  tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True) model = AutoGPTQForCausalLM.from_quantized(model_name,         model_basename = model_basename,         use_safetensors=True,         trust_remote_code=True,         device=\"cuda:0\",         use_triton=False,         quantize_config=None)<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c <strong>model<\/strong> \u0438 <strong>tokenizer<\/strong>, \u043a\u0430\u043a \u0432 \u0441\u0442\u0430\u0440\u044b\u0435 \u0434\u043e\u0431\u0440\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 GPT2\/3.<\/p>\n<h2>\u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0442\u0435\u0441\u0442\u044b<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u0442\u0435 \u043a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u044d\u0442\u0438 \u0432\u0430\u0448\u0438 <strong>top_k<\/strong>, <strong>top_p<\/strong>, <strong>temperature<\/strong> \u0438 <strong>no_repeat_ngram<\/strong>, \u043d\u043e \u0437\u043d\u0430\u0435\u0442\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0431\u043e\u0433\u043e\u0443\u0433\u043e\u0434\u043d\u044b\u0439 \u044f\u0437\u044b\u043a (\u043e\u043d \u0436\u0435 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439), \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0432\u0435\u0440\u0441\u0442\u0430\u0442\u044c \u0438\u043b\u0438 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0432\u0441\u0451 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435: <\/p>\n<p><a href=\"https:\/\/huggingface.co\/blog\/how-to-generate\" rel=\"noopener noreferrer nofollow\">Using different decoding methods for language generation with Transformers<\/a><\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/summary>\n<div class=\"spoiler__content\">\n<blockquote>\n<p>K:<strong>40,<\/strong><br \/>P:<strong>0.98<\/strong>,<br \/>temperature:<strong>0.6<\/strong>,<br \/>no_repeat_ngram_size:<strong>4<\/strong><\/p>\n<\/blockquote>\n<p>\u0418 \u0434\u0430, beam search \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0436 \u0441\u043e\u0432\u0441\u0435\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u0438 \u043f\u043b\u043e\u0445\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u043e\u0432\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u044f \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e top_p \u0441\u0435\u043c\u043f\u043b\u0438\u043d\u0433.<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0438\u0441\u043f\u044b\u0442\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0439 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043a\u0440\u043e\u0432\u044c \u0440\u043e\u0434\u043d\u043e\u0435 &#8212; \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b. \u0412\u043e\u0437\u044c\u043c\u0443 \u044f, \u043e\u0434\u043d\u0430\u043a\u043e, \u043d\u0435 \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u0443\u0441\u043e\u043a: \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 &#171;\u0417\u043e\u0432\u0430 \u041a\u0442\u0443\u043b\u0443\u0445\u0443&#187; \u041b\u0430\u0432\u043a\u0440\u0430\u0444\u0442\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0417\u043e\u0432\u043e\u043c \u041a\u0442\u0443\u043b\u0443\u0445\u0443<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u0435\u043b\u0438\u043a\u0438\u0435 \u0421\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u043d\u044b, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b \u041a\u0430\u0441\u0442\u0440\u043e, \u043d\u0435 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u0442 \u0438\u0437 \u043f\u043b\u043e\u0442\u0438 \u0438 \u043a\u0440\u043e\u0432\u0438. \u0423 \u043d\u0438\u0445 \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430 \u2014 <strong>&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;&#8230;..<\/strong>, \u0412\u0435\u043b\u0438\u043a\u0438\u0435 \u0441\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u043d\u044b \u043e\u0431\u0440\u0430\u0449\u0430\u043b\u0438\u0441\u044c \u043a \u0441\u0430\u043c\u044b\u043c \u0447\u0443\u0442\u043a\u0438\u043c \u0438\u0437 \u043d\u0438\u0445 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u0432 \u043d\u0438\u0445 \u0441\u043d\u043e\u0432\u0438\u0434\u0435\u043d\u0438\u0439, \u0438\u0431\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0433 \u0418\u0445 \u044f\u0437\u044b\u043a \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u044f \u043b\u044e\u0434\u0435\u0439.<\/p>\n<p>\u0418 \u0432\u043e\u0442, \u043f\u0440\u043e\u0448\u0435\u043f\u0442\u0430\u043b \u041a\u0430\u0441\u0442\u0440\u043e, <strong>&lt;\u0414\u0430\u043b\u044c\u0448\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f> <\/strong>\u0441\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u043d\u044b, \u043e\u0431\u0438\u0442\u0430\u0442\u0435\u043b\u0438 \u0420\u2019\u043b\u044c\u0435\u0445\u0430, \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u0417\u0435\u043c\u043b\u0435 \u0435\u0441\u0442\u044c \u043b\u044e\u0434\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u041d\u0438\u043c\u0438, \u0438 \u043f\u043e\u0442\u043e\u043c\u0443 \u041e\u043d\u0438 \u043f\u043e\u0441\u043b\u0430\u043b\u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043b\u0443\u0433\u0443, \u041a\u0442\u0443\u043b\u0445\u0445\u0430, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043e\u0442\u044b\u0441\u043a\u0430\u043b \u0442\u0430\u043a\u0438\u0445 \u043b\u044e\u0434\u0435\u0439. \u041e\u043d \u043d\u0430\u0448\u0435\u043b \u0438\u0445 \u2014 \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043c\u0435\u0440\u0435, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0437 \u043d\u0438\u0445. \u041e\u043d \u043d\u0430\u0448\u0435\u043b \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0433 \u043f\u043e\u0434\u0447\u0438\u043d\u0438\u0442\u044c \u0441\u0435\u0431\u0435. \u0418 \u043e\u043d \u043f\u043e\u0434\u0447\u0438\u043d\u0438\u043b \u0438\u0445 \u0441\u0435\u0431\u0435. \u041e\u043d \u043d\u0430\u0448\u0435\u043b \u0442\u0430\u043a\u0438\u0445 \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u041d&#8230;<\/p>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0438\u0436\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e. \u0414\u0443\u043c\u0430\u044e, \u0434\u0430\u0436\u0435 \u0441\u0442\u0430\u0440\u0430\u044f rugpt3 \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0431\u044b \u043d\u0430 \u0442\u043e\u043c-\u0436\u0435 \u0443\u0440\u043e\u0432\u043d\u0435. \u0412 \u043a\u043e\u043d\u0446\u0435 \u0432\u0438\u0434\u043d\u043e \u044f\u0432\u043d\u043e\u0435 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0438 \u043d\u0435\u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c. \u0414\u0430\u0434\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0442\u043e\u0440\u043e\u0439 \u0448\u0430\u043d\u0441. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 \u043a \u043d\u0430\u0448\u0435\u0439 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0442\u0435\u043c\u0435 &#8212; \u0434\u0438\u0430\u043b\u043e\u0433\u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0435\u0439, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0432.<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u0438\u0430\u043b\u043e\u0433 \u0410\u043d\u0438 \u0438 \u0412\u0430\u0441\u0438 \u0432 \u043f\u0435\u0441\u043e\u0447\u043d\u0438\u0446\u0435, \u043a\u043e\u0433\u0434\u0430 \u0410\u043d\u044e \u0437\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u043c\u0430\u043c\u0430.<\/summary>\n<div class=\"spoiler__content\">\n<blockquote>\n<p>\u0410\u043d\u043d\u0430: \u0422\u044b \u043f\u0440\u0430\u0432\u0434\u0430 \u043d\u0435 \u0432\u0435\u0440\u043d\u0451\u0448\u044c\u0441\u044f?<\/p>\n<p>\u042f \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0439\u0442\u0438, \u0432\u0441\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a \u043b\u0443\u0447\u0448\u0435, \u043e\u0442\u0432\u0435\u0442\u0438\u043b \u0412\u0430\u0441\u0438\u043b\u0438\u0439.<\/p>\n<p>\u041d\u043e \u043c\u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043b\u043e\u0445\u043e \u0431\u0435\u0437 \u0442\u0435\u0431\u044f, \u044f \u043d\u0435 \u0441\u043c\u043e\u0433\u0443 \u0436\u0438\u0442\u044c \u0431\u0435\u0437 \u0442\u0435\u0431\u044f, &#8212; \u0437\u0430\u043f\u043b\u0430\u043a\u0430\u043b\u0430 \u0410\u043d\u043d\u0430.<\/p>\n<p>\u042f \u0432\u0435\u0440\u043d\u0443\u0441\u044c, &#8212; \u0441\u043a\u0430\u0437\u0430\u043b \u0412\u0430\u0441\u0438\u043b\u0438\u0439.<\/p>\n<p>\u0410\u043d\u043d\u0430: \u042f \u0431\u0443\u0434\u0443 \u0436\u0434\u0430\u0442\u044c \u0442\u0435\u0431\u044f, \u044f \u0431\u0443\u0434\u0443 \u0436\u0434\u0430\u0442\u044c \u0442\u0435\u0431\u044f \u0432\u0441\u0435\u0433\u0434\u0430, \u044f \u0431\u0443\u0434\u0443 \u043b\u044e\u0431\u0438\u0442\u044c \u0442\u0435\u0431\u044f, \u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0443 \u043b\u044e\u0431\u0438\u0442\u044c \u0442\u0435\u0431\u044f.<\/p>\n<p>\u0412\u0430\u0441\u0438\u043b\u0438\u0439: \u042f \u0432\u0435\u0440\u043d\u0443\u0441\u044c, \u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u043d\u0443\u0441\u044c.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432 \u043a\u043e\u043c\u043d\u0430\u0442\u0443 \u0432\u043e\u0448\u043b\u0430 \u043c\u0430\u0442\u044c \u0410\u043d\u043d\u044b.<\/p>\n<p>\u041c\u0430\u0442\u044c \u0410\u043d\u043d\u044b: \u0410\u043d\u043d\u0430, \u0447\u0442\u043e \u0442\u044b \u043d\u0430\u0434\u0435\u043b\u0430\u043b\u0430?<\/p>\n<p>\u0410\u043d\u043d\u0430 (\u043f\u043b\u0430\u0447\u0430): \u042f \u043b\u044e\u0431\u043b\u044e \u0435\u0433\u043e.<\/p>\n<p>\u042f \u043b\u044e\u0431\u043b\u044e \u0435\u0433\u043e, &#8212; \u0441\u043a\u0430\u0437\u0430\u043b\u0430 \u0410\u043d\u043d\u0430.<\/p>\n<p>\u041e\u043d\u0430 \u043f\u043e\u0434\u043e\u0448\u043b\u0430 \u043a \u0412\u0430\u0441\u0438\u043b\u0438\u044e, \u043e\u0431\u043d\u044f\u043b\u0430 \u0435\u0433\u043e \u0438 \u043f\u043e\u0446\u0435\u043b\u043e\u0432\u0430\u043b\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0412\u0430\u0441\u0438\u043b\u0438\u0439 \u0438 \u0410\u043d\u043d\u0430 \u0432\u044b\u0448\u043b\u0438 \u0438\u0437 \u0434\u043e\u043c\u0430 \u0438 \u043f\u043e\u0448\u043b\u0438 \u043f\u043e \u0434\u043e\u0440\u043e\u0433\u0435<\/p>\n<\/blockquote>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u043b\u043e\u0441\u043a\u043e, \u043c\u0434\u0430. \u041d\u0443, \u043a\u0430\u043a \u043e\u0442\u0435\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0444\u0438\u043b\u044c\u043c \u0434\u043b\u044f \u0437\u043e\u043c\u0431\u043e\u044f\u0449\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0442\u0438\u0442.<\/p>\n<figure class=\"\"><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><a class=\"anchor\" name=\"%D0%B8%D0%B3%D1%80%D0%B0\" id=\"\u0438\u0433\u0440\u0430\">\u0430&#187;><\/a><\/p>\n<h2>\u041b\u0430\u0434\u043d\u043e, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0433\u0435\u0440\u043e\u044e<\/h2>\n<p><em>\u0418\u0433\u0440\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u043d\u0430 99% \u0438\u0437 \u0434\u0436\u0435\u043d\u0435\u0440\u0438\u043a \u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043d\u043e\u043d\u0447\u0438\u043a\u0430\u043c\u0438, \u0438\u0433\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u043b\u044e\u0431\u043e\u0432\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0438\u0433\u0440\u043e\u043a\u043e\u0432, \u0431\u0443\u0434\u0443\u0447\u0438 \u043d\u0438\u0448\u0435\u0432\u044b\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u043e \u043c\u0430\u0441\u043a\u043e\u0442\u043e\u0432 \u0438\u043c\u0438\u0434\u0436\u0431\u043e\u0440\u0434\u043e\u0432<\/em> &#8212; <strong>\u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u041b\u0435\u0442\u043e<\/strong>.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041d\u043e, \u043a\u0430\u043a \u043e\u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0438 \u0431\u044b\u0432\u0430\u0435\u0442 &#8212; \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043d\u044e\u0430\u043d\u0441.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u041b\u0435\u0442\u043e \u043d\u0435 \u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435?<\/h3>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0432 \u043d\u0451\u043c \u0432\u0441\u0435\u0433\u043e 7 \u0434\u043d\u0435\u0439, \u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0438\u0433\u0440\u044b \u044d\u0442\u043e \u043e\u0431\u043c\u0430\u043d \u0438 \u043f\u0440\u043e\u0432\u043e\u043a\u0430\u0446\u0438\u044f.<\/p>\n<ol>\n<li>\n<p>\u041a\u0430\u0447\u0430\u0435\u043c \u0438\u0433\u0440\u0443 \u0438\u0437 \u0441\u0442\u0438\u043c\u0430<\/p>\n<\/li>\n<li>\n<p>\u0414\u0435\u043b\u0430\u0435\u043c \u0432\u0438\u0434, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043c\u043e\u0434\u043e\u0432, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u043e\u0436\u0435\u043c \u043b\u0435\u0437\u0442\u044c \u0432 \u0444\u0430\u0439\u043b\u044b \u0438\u0433\u0440\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u043c \u0444\u0430\u0439\u043b\u044b <strong>RenPy<\/strong> \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 <a href=\"https:\/\/github.com\/CensoredUsername\/unrpyc\" rel=\"noopener noreferrer nofollow\">Unrpyc (github)<\/a><\/p>\n<\/li>\n<li>\n<p>\u0412\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 RenPy \u0432 \u0442\u0435\u043a\u0441\u0442 (\u043f\u0430\u0440\u0441\u0438\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043a\u0430\u043c\u0438 (<strong>regex<\/strong>))<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0438\u0433\u0440\u044b \u0432 \u0432\u0438\u0434\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0417\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u043f\u0430\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0443\u0440\u044b \u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b \u043f\u0443\u043d\u043a\u0442 3 (\u043d\u0443, \u043f\u043e\u0447\u0442\u0438)<br \/><a href=\"https:\/\/github.com\/CodeDruidX\/Everlasting-Summer-txt\" rel=\"noopener noreferrer nofollow\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0442\u0443\u0442<\/a>.<\/p>\n<p>\u0414\u0435\u043b\u0430\u043b \u044f \u044d\u0442\u043e, \u0443\u0432\u044b, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0433\u043e\u0434 \u043d\u0430\u0437\u0430\u0434 \u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u0438\u043c \u0441 RuGPT3, \u043d\u043e \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0433\u043b\u0443\u043f\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0436\u0435 \u0441\u043f\u043e\u0434\u0432\u0438\u0433\u043b\u0438 \u043c\u0435\u043d\u044f \u043d\u0430\u0439\u0442\u0438 \u044d\u0442\u043e\u0442 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u043f\u044b\u0442\u044b, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f \u0441 \u0432\u0430\u043c\u0438 \u0438 \u0445\u043e\u0447\u0443 \u043f\u043e\u0434\u043b\u0438\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c RuGPT3.5, \u043a\u0430\u043a \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u043e\u0432\u0435\u043b\u043b\u044b (\u0431\u0443\u0434\u0443 \u0447\u0435\u0441\u0442\u0435\u043d, \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u043e\u0432\u0435\u043b\u043b\u044b, \u043d\u0438 \u0440\u0430\u0437\u0443 \u043d\u0435 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0439). \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c RuGPT3.5 \u043d\u0430 \u044d\u0442\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0432 \u043b\u0443\u0447\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 &#8212; \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u043f\u0440\u044f\u043c\u043e \u0432 RenPy, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c\u0438.<\/p>\n<p><a class=\"anchor\" name=\"%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5\" id=\"\u0434\u0430\u043d\u043d\u044b\u0435\">\u044b\u0435&#187;><\/a><\/p>\n<h3>\u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439?<\/h3>\n<p><strong>.rpy<\/strong> &#8212; \u044d\u0442\u043e \u0444\u0430\u0439\u043b\u0438\u043a \u043d\u0430 \u043f\u0438\u0442\u043e\u043d\u0435, \u0433\u0434\u0435 \u043e\u0442 \u043f\u0438\u0442\u043e\u043d\u0430 \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441 \u0446\u0438\u043a\u043b\u043e\u0432\\\u0432\u0435\u0442\u0432\u043b\u0435\u043d\u0438\u0439.<br \/>\u0420\u0435\u043f\u043b\u0438\u043a\u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0435\u0439 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0430\u043a:<br \/><u>&#187; (id) \u041f\u0440\u0438\u0432\u0435\u0442, \u043a\u0430\u043a \u0434\u0435\u043b\u0430!&#187;<\/u> &#8212; \u0433\u0434\u0435 id \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c \u0433\u0435\u0440\u043e\u044f &#8212; \u043e\u043d \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0438\u043c\u044f \u0438 \u0435\u0433\u043e \u0441\u0442\u0438\u043b\u044c \u0432 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043e\u043a\u043d\u0435.<\/p>\n<p>\u0412 \u043c\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 <\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-381983","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/381983","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=381983"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/381983\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=381983"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=381983"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=381983"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}