{"id":354204,"date":"2024-05-20T22:43:44","date_gmt":"2024-05-20T22:43:44","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=354204"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=354204","title":{"rendered":"<span>\u041a\u0430\u043a (\u0431\u044b\u0441\u0442\u0440\u043e) \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 ChatGPT<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u042d\u0442\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043c\u0430\u0440\u0442\u0430 \u044d\u0442\u043e\u0433\u043e \u0433\u043e\u0434\u0430. ChatGPT \u0442\u043e\u0433\u0434\u0430 \u0431\u044b\u043b \u0432 \u0441\u0430\u043c\u043e\u043c \u0440\u0430\u0441\u0446\u0432\u0435\u0442\u0435. \u041c\u043d\u0435 \u0432 Telegram \u043f\u0440\u0438\u0448\u0451\u043b \u0421\u0430\u0448\u0430 \u041a\u0443\u043a\u0443\u0448\u043a\u0438\u043d, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0437\u043d\u0430\u043a\u043e\u043c\u044b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0434\u0430\u0432\u043d\u043e. \u0421\u043f\u0440\u043e\u0441\u0438\u043b, \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u0441\u044f \u043b\u0438 \u043c\u044b \u0441 \u0421\u0430\u0448\u0435\u0439 \u041d\u0438\u043a\u043e\u043b\u0438\u0447\u0435\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u0438 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0447\u044c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d3f\/b7a\/66a\/d3fb7a66a01a3fbb13ab41491491695c.png\" alt=\"\u0420\u0443\u0441\u0441\u043a\u0430\u044f \u0442\u0443\u0440\u0431\u043e-\u0430\u043b\u044c\u043f\u0430\u043a\u0430\" title=\"\u0420\u0443\u0441\u0441\u043a\u0430\u044f \u0442\u0443\u0440\u0431\u043e-\u0430\u043b\u044c\u043f\u0430\u043a\u0430\" width=\"1536\" height=\"768\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3f\/b7a\/66a\/d3fb7a66a01a3fbb13ab41491491695c.png\"\/><\/p>\n<div><figcaption>\u0420\u0443\u0441\u0441\u043a\u0430\u044f \u0442\u0443\u0440\u0431\u043e-\u0430\u043b\u044c\u043f\u0430\u043a\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u0442\u0430\u043a \u0432\u044b\u0448\u043b\u043e, \u0447\u0442\u043e \u043c\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c, \u044f \u043f\u044b\u0442\u0430\u043b\u0441\u044f \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/rulm\" rel=\"noopener noreferrer nofollow\">rulm<\/a>, \u0430 \u0421\u0430\u0448\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0441 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u043c\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438 \u043a\u0443\u0441\u0442\u0430\u0440\u043d\u044b\u043c\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0438 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0441\u0451 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u042f \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443 \u043f\u043e \u0438\u043d\u0435\u0440\u0446\u0438\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u043b rulm <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/habr\" rel=\"noopener noreferrer nofollow\">\u043d\u043e\u0432\u044b\u043c\u0438<\/a> <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/ru_news\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438<\/a> <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/pikabu\" rel=\"noopener noreferrer nofollow\">\u0434\u0430\u043d\u043d\u044b\u0445<\/a>. \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0432, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u043c \u0432 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0435 \u0441\u0432\u0435\u0442\u0438\u0442, \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c, \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439 \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 <a href=\"https:\/\/arxiv.org\/pdf\/2210.11416.pdf\" rel=\"noopener noreferrer nofollow\">Flan<\/a>. \u0418 \u0442\u0443\u0442 \u043c\u0435\u043d\u044f \u0443\u0433\u043e\u0440\u0430\u0437\u0434\u0438\u043b\u043e \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e.<\/p>\n<p>\u0422\u0430\u043c \u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b \u0432\u043e\u0442 \u044d\u0442\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e87\/02a\/c5d\/e8702ac5d2aafec9cc6bde9818eccce6.png\" alt=\"\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e Flan\" title=\"\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e Flan\" width=\"732\" height=\"488\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e87\/02a\/c5d\/e8702ac5d2aafec9cc6bde9818eccce6.png\"\/><\/p>\n<div><figcaption>\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e Flan<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e \u044d\u0442\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u043b\u043e, \u0447\u0442\u043e \u0441 \u0442\u0435\u043a\u0443\u0449\u0438\u043c\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u043d\u0430\u043c \u043b\u043e\u0432\u0438\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e. \u0421\u0430\u043c\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0431\u044b\u043b\u0430 <a href=\"https:\/\/huggingface.co\/ai-forever\/rugpt3large_based_on_gpt2\" rel=\"noopener noreferrer nofollow\">rugpt3large<\/a> \u0441 760 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u0430\u043c\u043e\u043c\u0443 \u043d\u0430\u0447\u0430\u043b\u0443 \u044d\u0442\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0440\u0443\u0433\u0430\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0438\u0437 <a href=\"https:\/\/openai.com\/research\/instruction-following\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0441\u0442\u0430 OpenAI<\/a>, \u0438\u0437-\u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0432\u0441\u0451 \u044d\u0442\u043e \u0437\u0430\u0442\u0435\u0432\u0430\u043b\u0438:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c4e\/b9f\/cd2\/c4eb9fcd2a88b159742e324d0da38920.png\" alt=\"\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e InstructGPT\" title=\"\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e InstructGPT\" width=\"1474\" height=\"732\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c4e\/b9f\/cd2\/c4eb9fcd2a88b159742e324d0da38920.png\"\/><\/p>\n<div><figcaption>\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e InstructGPT<\/figcaption><\/div>\n<\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 760 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u043d\u0435\u0439 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u0442, \u0430 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0410 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0442\u0443\u0442 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u0423 Flan\u2019\u0430 \u044d\u0442\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 NLP \u0437\u0430\u0434\u0430\u0447, \u0430 \u0443 OpenAI &#8212; \u0440\u0443\u0447\u043d\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 OpenAI \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 Flan&#8217;\u0430 \u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0442\u0443\u0442 \u0432\u043e\u0442 \u043a\u0430\u043a\u0430\u044f&#8230;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/26d\/050\/f89\/26d050f8943684ff7dc122c033adf7b4.png\" width=\"1118\" height=\"220\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/26d\/050\/f89\/26d050f8943684ff7dc122c033adf7b4.png\"\/><\/figure>\n<p>\u041d\u0430 \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u0431\u044b\u043b:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a03\/955\/0bf\/a039550bfb10fc0b6ffc65ad5f10d061.png\" width=\"1120\" height=\"180\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a03\/955\/0bf\/a039550bfb10fc0b6ffc65ad5f10d061.png\"\/><\/figure>\n<p>\u041d\u0430\u043c \u0447\u0435\u0440\u0442\u043e\u0432\u0441\u043a\u0438 \u043f\u043e\u0432\u0435\u0437\u043b\u043e. \u0417\u0430 4 \u0434\u043d\u044f \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0448\u043b\u0430 \u0410\u043b\u044c\u043f\u0430\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u0441\u0443\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e GPT-3. \u041c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u043e\u0432\u043d\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0441 gpt-3.5-turbo \u0432\u043c\u0435\u0441\u0442\u043e text-davinci-003 \u0434\u043b\u044f \u0443\u0434\u0435\u0448\u0435\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430.<\/p>\n<p>\u0421\u043a\u0430\u0437\u0430\u043d\u043e &#8212; \u0441\u0434\u0435\u043b\u0430\u043d\u043e! \u0414\u0430\u043d\u043d\u044b\u0435 \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u0431\u044b\u0441\u0442\u0440\u043e, \u0437\u0430 4 \u0434\u043d\u044f. \u0415\u0449\u0451 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0443\u0448\u043b\u043e \u043d\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0439 \u043a API \u0438 \u0434\u043e\u0431\u043e\u0440 \u0434\u043e 30 \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043c\u044b \u043d\u0430\u0447\u0430\u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u0447\u0430\u043b\u0438 \u0441 <a href=\"https:\/\/huggingface.co\/ai-forever\/rugpt3large_based_on_gpt2\" rel=\"noopener noreferrer nofollow\">rugpt<\/a>, <a href=\"https:\/\/huggingface.co\/facebook\/xglm-1.7B\" rel=\"noopener noreferrer nofollow\">xglm<\/a> \u0438 <a href=\"https:\/\/huggingface.co\/bigscience\/mt0-xxl\" rel=\"noopener noreferrer nofollow\">mt0_xxl<\/a>. \u041f\u043e\u043b\u0443\u0447\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e, \u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0433\u043e.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/041\/7e8\/20e\/0417e820e67d41d596f8fcbc22c11c19.png\" alt=\"RuGPT-large. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0442\u0430\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u0433\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0435 \u043c\u043e\u0433\u043b\u043e \u0431\u044b\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0437\u0430\u0446\u0435\u043d\u0437\u0443\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 ChatGPT.\" title=\"RuGPT-large. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0442\u0430\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u0433\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0435 \u043c\u043e\u0433\u043b\u043e \u0431\u044b\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0437\u0430\u0446\u0435\u043d\u0437\u0443\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 ChatGPT.\" width=\"1280\" height=\"457\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/041\/7e8\/20e\/0417e820e67d41d596f8fcbc22c11c19.png\"\/><\/p>\n<div><figcaption>RuGPT-large. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0442\u0430\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u0433\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0435 \u043c\u043e\u0433\u043b\u043e \u0431\u044b\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0437\u0430\u0446\u0435\u043d\u0437\u0443\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 ChatGPT.<\/figcaption><\/div>\n<\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u044b \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u0438 \u043d\u0430 HuggingFace \u043f\u043e \u043c\u0435\u0440\u0435 \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438, \u0438 \u043d\u0430\u0441 \u043d\u0430\u0447\u0430\u043b\u0438 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 LLaMA. \u0423 \u043c\u0435\u043d\u044f \u0431\u044b\u043b\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u043c\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0432\u043e\u0434\u0443, \u044f \u0447\u0438\u0442\u0430\u043b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0438 \u0432\u0438\u0434\u0435\u043b, \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u0447\u0430\u0441\u0442\u044f\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0432\u044b\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u044b\u0432\u0430\u043b\u0438. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u2014 \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f. \u0414\u043b\u044f \u043d\u0435\u0451 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 20 \u044f\u0437\u044b\u043a\u043e\u0432 \u0441 \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0435\u0439 \u0438\u043b\u0438 \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0435\u0439, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/06f\/90e\/455\/06f90e4552f7e0e998726563200ccd6e.png\" alt=\"\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043c\u043e\u0436\u043d\u043e \u0431\u044b \u0438 \u043e\u0442\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u043b\u0438\u0431\u043e.\" title=\"\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043c\u043e\u0436\u043d\u043e \u0431\u044b \u0438 \u043e\u0442\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u043b\u0438\u0431\u043e.\" width=\"842\" height=\"231\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/06f\/90e\/455\/06f90e4552f7e0e998726563200ccd6e.png\"\/><\/p>\n<div><figcaption>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043c\u043e\u0436\u043d\u043e \u0431\u044b \u0438 \u043e\u0442\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u043b\u0438\u0431\u043e.<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430\u0434\u043e \u043b\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u044f \u0431\u044b\u043b \u043d\u0435 \u043f\u0440\u0430\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6c2\/21c\/eb5\/6c221ceb533f636e66641fab211576d4.png\" width=\"786\" height=\"914\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c2\/21c\/eb5\/6c221ceb533f636e66641fab211576d4.png\"\/><\/figure>\n<p>\u0418 \u043e\u043d\u043e \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e! \u0417\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0432\u0441\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c1d\/0d2\/391\/c1d0d2391c0e8698bb15b1a416b31633.png\" width=\"1280\" height=\"189\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1d\/0d2\/391\/c1d0d2391c0e8698bb15b1a416b31633.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7ac\/1e9\/ddc\/7ac1e9ddc155648dc673d5df462fce7e.png\" width=\"1280\" height=\"228\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ac\/1e9\/ddc\/7ac1e9ddc155648dc673d5df462fce7e.png\"\/><\/figure>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0421\u0430\u0439\u0433\u0438 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u043f\u043e-\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443.<\/p>\n<h2>\u0411\u0430\u0437\u0430<\/h2>\n<p>\u042f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c. \u0418\u043b\u0438 \u0441\u0438\u043c\u0432\u043e\u043b, \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d, \u0442\u043e \u0435\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430. \u0413\u0434\u0435-\u0442\u043e \u0434\u043e 2017 \u0433\u043e\u0434\u0430 \u0441\u0430\u043c\u044b\u043c\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0431\u044b\u043b\u0438 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/N-%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0\" rel=\"noopener noreferrer nofollow\">N-\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0435<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b\u0438, \u043a\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u0448\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u043a\u0438\u0445, \u0438 \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/271\/58d\/8d3\/27158d8d31ba01e93744532111878a7b.png\" alt=\"\u041d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438 \u043a\u0443\u0440\u0441 \u041b\u0435\u043d\u044b \u0412\u043e\u0439\u0442\u044b? \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u043d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438? \u041d\u0443 \u0442\u0430\u043a \u043f\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435!\" title=\"\u041d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438 \u043a\u0443\u0440\u0441 \u041b\u0435\u043d\u044b \u0412\u043e\u0439\u0442\u044b? \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u043d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438? \u041d\u0443 \u0442\u0430\u043a \u043f\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435!\" width=\"924\" height=\"598\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/271\/58d\/8d3\/27158d8d31ba01e93744532111878a7b.png\"\/><\/p>\n<div><figcaption>\u041d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438 \u043a\u0443\u0440\u0441 \u041b\u0435\u043d\u044b \u0412\u043e\u0439\u0442\u044b? \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u043d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438? \u041d\u0443 \u0442\u0430\u043a <a href=\"https:\/\/lena-voita.github.io\/nlp_course\/language_modeling.html\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435<\/a>!<\/figcaption><\/div>\n<\/figure>\n<p>\u0411\u044b\u043b\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u0438 \u0432\u0430\u0448 \u043f\u043e\u043a\u043e\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0433\u0430 \u0438\u0445 \u0434\u0430\u0436\u0435 \u0442\u043e\u0433\u0434\u0430 <a href=\"https:\/\/habr.com\/ru\/articles\/334046\/\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b<\/a>, \u043d\u043e \u0432 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u043c \u0430\u0441\u043f\u0435\u043a\u0442\u0435 N-\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u044b\u043b\u0438 \u0432\u0441\u0451 \u0435\u0449\u0451 \u0432\u0430\u0436\u043d\u0435\u0435. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043e\u043d\u0438 \u0432 \u0441\u043f\u0435\u043b\u043b\u0447\u0435\u043a\u0435\u0440\u0430\u0445 \u0438 ASR \u0434\u043b\u044f \u0443\u0447\u0451\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e <a href=\"https:\/\/arxiv.org\/abs\/1301.3781\" rel=\"noopener noreferrer nofollow\">word2vec<\/a> \u0438\u0437 2013 \u0442\u043e\u0436\u0435 \u0441\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0442\u043e\u0433\u0434\u0430 \u0442\u0430\u043a \u043d\u0438\u043a\u0442\u043e \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b.<\/p>\n<p>\u0412 2017 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c <a href=\"https:\/\/arxiv.org\/abs\/1706.03762\" rel=\"noopener noreferrer nofollow\">\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b<\/a>, \u0432 2018 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c <a href=\"https:\/\/s3-us-west-2.amazonaws.com\/openai-assets\/research-covers\/language-unsupervised\/language_understanding_paper.pdf\" rel=\"noopener noreferrer nofollow\">GPT<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/1810.04805\" rel=\"noopener noreferrer nofollow\">BERT<\/a>, \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u0430\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0432\u0441\u0435\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u0412 \u043a\u043e\u043d\u0446\u0435 2022 <a href=\"https:\/\/openai.com\/blog\/chatgpt\" rel=\"noopener noreferrer nofollow\">\u0432\u044b\u0448\u043b\u0430 ChatGPT<\/a>, \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u0434\u043e \u043e\u0431\u044b\u0432\u0430\u0442\u0435\u043b\u044f, \u0430 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0446\u0438\u0438 \u0438 \u0443\u0447\u0451\u043d\u044b\u0435 \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c.<\/p>\n<h2>\u041c\u043e\u0434\u0435\u043b\u044c<\/h2>\n<p>\u0411\u044b\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0431\u044b\u043b\u0438 \u0434\u0440\u0435\u0432\u043d\u0438\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0421\u0431\u0435\u0440\u0430: <a href=\"https:\/\/huggingface.co\/ai-forever\/rugpt3medium_based_on_gpt2\" rel=\"noopener noreferrer nofollow\">rugpt3medium<\/a> \u0438 rugpt3large, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442 GPT-3 \u043e\u0434\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0431\u044b\u043b\u0438 \u043c\u043d\u043e\u0433\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: <a href=\"https:\/\/arxiv.org\/abs\/2112.10668\" rel=\"noopener noreferrer nofollow\">xglm<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2211.01786\" rel=\"noopener noreferrer nofollow\">mt0<\/a>. \u041d\u043e \u0432 \u0444\u0435\u0432\u0440\u0430\u043b\u0435 \u0432\u044b\u0448\u043b\u0430 <a href=\"https:\/\/ai.meta.com\/blog\/large-language-model-llama-meta-ai\/\" rel=\"noopener noreferrer nofollow\">LLaMA<\/a>. \u0418 \u043e\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0447\u0435\u0440\u0442\u043e\u0432\u0441\u043a\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0439.<\/p>\n<p>\u041f\u043e\u043c\u043d\u0438\u0442\u0435 \u0437\u0430\u043a\u043e\u043d\u044b \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 <a href=\"https:\/\/habr.com\/ru\/articles\/718996\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>? \u041b\u043b\u0430\u043c\u0430 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 <a href=\"https:\/\/arxiv.org\/pdf\/2203.15556.pdf\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043a\u043e\u043d\u044b \u0428\u0438\u043d\u0448\u0438\u043b\u043b\u044b<\/a>, \u0437\u0430\u043a\u043e\u043d\u044b \u0425\u043e\u0444\u0444\u043c\u0430\u043d\u0430, \u0437\u0430\u043a\u043e\u043d\u044b DeepMind, \u0437\u0430\u043a\u043e\u043d\u044b, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u043e\u0440\u043c\u0438\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0441\u0442\u0430\u043b\u043e \u0445\u043e\u0440\u043e\u0448\u043e. \u0418 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u044b\u0445\u043e\u0434\u0430 \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0432 \u044d\u0442\u043e\u043c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u0430 \u0441\u0440\u0435\u0434\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2ce\/741\/d51\/2ce741d51150807559dc9cf1e9c3edf6.png\" alt=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u044d\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0437\u0434\u0435\u0441\u044c\" title=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u044d\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0437\u0434\u0435\u0441\u044c\" width=\"776\" height=\"435\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ce\/741\/d51\/2ce741d51150807559dc9cf1e9c3edf6.png\"\/><\/p>\n<div><figcaption>\u0418 \u0441\u043d\u043e\u0432\u0430 \u044d\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0437\u0434\u0435\u0441\u044c<\/figcaption><\/div>\n<\/figure>\n<p>\u0423 \u041b\u043b\u0430\u043c\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u0433\u043e\u0434\u043d\u0430\u044f \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b. \u042d\u0442\u043e \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0447\u0442\u043e \u0432 \u0435\u0451 \u043d\u0430\u0431\u043e\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0431\u044b\u043b\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f, \u0447\u0442\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u043e \u043c\u0435\u043d\u044c\u0448\u0435 1% \u0434\u0430\u043d\u043d\u044b\u0445. \u042f \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u044e, \u0431\u044b\u043b\u0430 \u043b\u0438 \u0442\u0430\u043a\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u0441\u0442\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0431\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u0441\u0442\u0432, \u0438\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u044d\u0442\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0434\u0443\u043c\u0430\u043b. \u0414\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435\u0442 \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 \u041b\u043b\u0430\u043c\u044b. \u041a\u0440\u043e\u043c\u0435 <a href=\"https:\/\/huggingface.co\/BlinkDL\/rwkv-4-world\" rel=\"noopener noreferrer nofollow\">RWKV-4-World<\/a>, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u043e \u044d\u0442\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 \u044d\u043a\u0437\u043e\u0442\u0438\u043a\u0430.<\/p>\n<h2>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p>\u0412 \u0434\u0435\u043a\u0430\u0431\u0440\u0435 2022 \u0433\u043e\u0434\u0430 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e self-instruct. \u041e\u043d\u0430 \u0442\u043e\u0436\u0435 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u0430 \u2014 \u0434\u043b\u044f \u043d\u0435\u0451 \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u0431\u044b\u043b\u0438 GPU. \u0410\u0432\u0442\u043e\u0440\u044b \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 175 \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0445 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f, \u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0438 GPT-3 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438\u0445. \u0418 \u043f\u043e\u0442\u043e\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0441\u0430\u043c\u0443 GPT-3 \u043d\u0430 \u044d\u0442\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445 \u0447\u0435\u0440\u0435\u0437 API.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u043b\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0443\u0440\u043e\u0432\u043d\u044e InstructGPT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0441\u043e\u0442\u043d\u044f\u043c\u0438 \u043b\u044e\u0434\u0435\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0445 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f.<\/p>\n<blockquote>\n<p>\u0421\u0445\u0432\u0430\u0442\u0438\u0432 \u0441\u0435\u0431\u044f \u0437\u0430 \u044d\u0442\u0443 \u043a\u043e\u0441\u0438\u0447\u043a\u0443, \u044f \u0438\u0437\u043e \u0432\u0441\u0435\u0445 \u0441\u0438\u043b \u0434\u0451\u0440\u043d\u0443\u043b \u0432\u0432\u0435\u0440\u0445 \u0438 \u0431\u0435\u0437 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0442\u0440\u0443\u0434\u0430 \u0432\u044b\u0442\u0430\u0449\u0438\u043b \u0438\u0437 \u0431\u043e\u043b\u043e\u0442\u0430 \u0438 \u0441\u0435\u0431\u044f, \u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u043a\u043e\u043d\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u0440\u0435\u043f\u043a\u043e \u0441\u0436\u0430\u043b \u043e\u0431\u0435\u0438\u043c\u0438 \u043d\u043e\u0433\u0430\u043c\u0438, \u043a\u0430\u043a \u0449\u0438\u043f\u0446\u0430\u043c\u0438.<\/p>\n<\/blockquote>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/942\/498\/1a3\/9424981a37c96a544241d1c7cc2ca521.png\" width=\"1610\" height=\"908\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/942\/498\/1a3\/9424981a37c96a544241d1c7cc2ca521.png\"\/><\/figure>\n<p>\u0412 \u043c\u0430\u0440\u0442\u0435 2023 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c <a href=\"https:\/\/crfm.stanford.edu\/2023\/03\/13\/alpaca.html\" rel=\"noopener noreferrer nofollow\">\u0410\u043b\u044c\u043f\u0430\u043a\u0430<\/a>, \u0441\u0442\u0435\u043d\u0444\u043e\u0440\u0434\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442 \u0441 \u0442\u043e\u0439 \u0436\u0435 \u0438\u0434\u0435\u0435\u0439, \u0447\u0442\u043e \u0438 self-instruct, \u043d\u043e \u0441 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0435 GPT-3, \u0430 LLaMA. \u041f\u043e \u0441\u0443\u0442\u0438 \u0440\u0435\u0431\u044f\u0442\u0430 \u0432\u044b\u0442\u0430\u0449\u0438\u043b\u0438 \u0441\u0442\u0438\u043b\u044c \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438\u0437 GPT-3 \u0438 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u043b\u0438 \u0435\u0433\u043e \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u0443\u044e \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e6d\/863\/71c\/e6d86371cc37eae49eb0a50f212f21fd.png\" alt=\"\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 API \u2014 \u044d\u0442\u043e \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u043e!\" title=\"\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 API \u2014 \u044d\u0442\u043e \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u043e!\" width=\"2293\" height=\"954\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6d\/863\/71c\/e6d86371cc37eae49eb0a50f212f21fd.png\"\/><\/p>\n<div><figcaption>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 API \u2014 \u044d\u0442\u043e \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u043e!<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043d\u043e \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e. \u0421\u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0439 \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 gpt-3.5-turbo. \u0418 \u0435\u0449\u0451 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0437\u043e\u0432\u043e\u043c API. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0447\u0442\u043e-\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u0442\u0430\u043a\u043e\u0433\u043e:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c16\/09a\/129\/c1609a1296210aeb4bbc2dd8ea341eff.png\" alt=\"\u0418\u0437 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043a DataFest'\u0443\" title=\"\u0418\u0437 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043a DataFest'\u0443\" width=\"1706\" height=\"866\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c16\/09a\/129\/c1609a1296210aeb4bbc2dd8ea341eff.png\"\/><\/p>\n<div><figcaption>\u0418\u0437 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043a <a href=\"https:\/\/docs.google.com\/presentation\/d\/1lPXJoLOYMTt6T6h33TrggtRPm9nUTlp9fPDxIuiNGT4\/edit?usp=sharing\" rel=\"noopener noreferrer nofollow\">DataFest&#8217;\u0443<\/a><\/figcaption><\/div>\n<\/figure>\n<h2>LoRA: Low-Rank Adaptation<\/h2>\n<p>\u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u0430\u0436\u0435 7-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0438\u0437-\u0437\u0430 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043a VRAM. \u042d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0442\u0443\u0442 \u0442\u0430\u043a\u0430\u044f: \u0434\u043b\u044f 16-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043d\u0430 2, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c. \u0414\u043b\u044f 7 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u044d\u0442\u043e 14\u0413\u0431. \u041d\u043e \u043a\u0440\u043e\u043c\u0435 \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0435\u0449\u0451 \u0438 \u0435\u0451 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430, \u0438 \u043c\u044b \u0432\u044b\u043b\u0435\u0437\u0430\u0435\u043c \u0437\u0430 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 24\u0413\u0431 VRAM.<\/p>\n<p>\u0421 \u043f\u0440\u0438\u0445\u043e\u0434\u043e\u043c \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u043e\u0432 \u0432\u0441\u0451 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0442\u0440\u043e\u0433\u0430\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e <a href=\"https:\/\/arxiv.org\/pdf\/1902.00751.pdf\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0432\u0435\u0441\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0445<\/a>. \u0418\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043a\u0443\u0441\u043e\u0447\u043a\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, <a href=\"https:\/\/arxiv.org\/abs\/2106.10199\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u043e\u043b\u044c\u043a\u043e bias<\/a>. \u0418\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2104.08691\" rel=\"noopener noreferrer nofollow\">\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b<\/a>. \u0418\u043b\u0438 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0432\u0435\u0441\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430, \u043d\u043e \u0438 \u0432\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438\u0445 <a href=\"https:\/\/arxiv.org\/abs\/2106.09685\" rel=\"noopener noreferrer nofollow\">\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e<\/a> \u0441\u0442\u0430\u0440\u044b\u043c, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0437\u0430 \u0441\u0447\u0451\u0442 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446.<\/p>\n<p>\u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f LoRA, \u0430 \u0432\u0441\u044f \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u2014 PEFT, parameter-efficient fine-tuning.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a86\/caf\/780\/a86caf780f73aba0e439055d0f936a5e.png\" alt=\"\u042d\u0442\u043e \u0432\u0441\u044f \u0441\u0443\u0442\u044c LoRA. \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u0432\u0441\u044f.\" title=\"\u042d\u0442\u043e \u0432\u0441\u044f \u0441\u0443\u0442\u044c LoRA. \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u0432\u0441\u044f.\" width=\"406\" height=\"382\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a86\/caf\/780\/a86caf780f73aba0e439055d0f936a5e.png\"\/><\/p>\n<div><figcaption>\u042d\u0442\u043e \u0432\u0441\u044f \u0441\u0443\u0442\u044c LoRA. \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u0432\u0441\u044f.<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 LoRA \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043d\u0430 VRAM, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u0430, \u0438 \u043f\u043e \u043d\u0435\u0439 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b. LoRA \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c 7-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 16 \u0431\u0438\u0442\u0430\u0445 \u043d\u0430 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u0445 \u0441 24\u0413\u0431 VRAM.<\/p>\n<h2>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435<\/h2>\n<p>\u041d\u043e \u0434\u0430\u0436\u0435 \u0441 LoRA \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 13-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432 24\u0413\u0431 VRAM, \u043e\u0434\u043d\u0430\u043a\u043e \u0436\u0435 \u043c\u044b \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u0434\u0435\u043b\u0430\u043b\u0438. \u0410 \u043a\u0430\u043a \u0442\u0430\u043a?<\/p>\n<p>\u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, 16 \u0431\u0438\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u2014 \u044d\u0442\u043e \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0432\u043e\u0438\u0445 \u0441\u043b\u043e\u0451\u0432, \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0443\u043b\u044f (<a href=\"https:\/\/arxiv.org\/pdf\/2305.14314.pdf\" rel=\"noopener noreferrer nofollow\">\u0441\u043c. Appendix F<\/a>), \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0447\u0438\u0441\u043b\u0430 \u0442\u0438\u043f\u0430 65504 \u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e. int8 \u0432\u043c\u0435\u0441\u0442\u043e float16 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n<p>\u0412 \u0430\u0432\u0433\u0443\u0441\u0442\u0435 2022 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/arxiv.org\/abs\/2208.07339\" rel=\"noopener noreferrer nofollow\">LLM.int8<\/a>. \u0412 \u043d\u0435\u0439 \u0430\u0432\u0442\u043e\u0440\u044b, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 <a href=\"https:\/\/timdettmers.com\/\" rel=\"noopener noreferrer nofollow\">\u0422\u0438\u043c \u0414\u0435\u0442\u0442\u043c\u0435\u0440\u0441<\/a>, \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435\u043c \u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u043c\u0443 \u0446\u0435\u043b\u043e\u043c\u0443. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0432 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u0445 (\u043d\u0435 \u0432 \u0432\u0435\u0441\u0430\u0445!) \u0441\u0435\u0442\u0438 \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u043e\u043c\u0430\u044e\u0442. \u041d\u0443 \u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043a\u043e\u0441\u0442\u044b\u043b\u044c \u043f\u043e\u0434 \u044d\u0442\u0438 \u0432\u044b\u0431\u0440\u043e\u0441\u044b. \u041e \u043f\u0440\u0438\u0440\u043e\u0434\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432, \u043a\u0441\u0442\u0430\u0442\u0438, \u043d\u0435 \u0442\u0430\u043a \u0434\u0430\u0432\u043d\u043e \u0431\u044b\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 <a href=\"https:\/\/www.evanmiller.org\/attention-is-off-by-one.html\" rel=\"noopener noreferrer nofollow\">\u0441\u043f\u043e\u0440\u044b<\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/894\/852\/11e\/89485211e3f2aec39a281d46b3baefee.png\" alt=\"\u041e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438\" title=\"\u041e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438\" width=\"1362\" height=\"576\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/894\/852\/11e\/89485211e3f2aec39a281d46b3baefee.png\"\/><\/p>\n<div><figcaption>\u041e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u043e \u0447\u0442\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u043e, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u0442\u0435\u043d \u0441\u0442\u0430\u0442\u044c\u0435\u0439 \u043f\u0440\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435, \u043e\u043d\u0438 <a href=\"https:\/\/huggingface.co\/blog\/hf-bitsandbytes-integration\" rel=\"noopener noreferrer nofollow\">\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438<\/a> \u0441\u0432\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u0432 HuggingFace Transformers, \u043d\u0435\u0431\u0435\u0437\u044b\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u043d\u0430\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043c \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u0447\u043a\u0443. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043c\u043e\u0440\u043e\u0437\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 8 \u0431\u0438\u0442\u0430\u0445, \u0438 \u0443\u0447\u0438\u043c 16-\u0431\u0438\u0442\u043d\u044b\u0435 LoRA.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0435\u0449\u0451 \u043f\u0440\u043e\u0449\u0435: <strong>\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442<\/strong>. \u0418 13-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0432 24\u0413\u0431 \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c.<\/p>\n<p>\u042d\u0442\u043e \u0432\u0441\u0451 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0445\u0443\u0448\u043a\u0430 \u0430\u0439\u0441\u0431\u0435\u0440\u0433\u0430: \u0435\u0441\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2210.17323\" rel=\"noopener noreferrer nofollow\">gptq<\/a>, \u0435\u0441\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2305.14314\" rel=\"noopener noreferrer nofollow\">qlora<\/a>, \u0435\u0441\u0442\u044c \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0435 \u0432\u044b\u0448\u0435 \u0441\u043e\u0442\u043d\u0438 \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u0440\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0439.<\/p>\n<h2>\u0417\u0430\u043f\u0443\u0441\u043a \u043d\u0430 CPU<\/h2>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u0430 \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u0430\u044f \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u0432\u0435\u0449\u044c \u2014 \u0437\u0430\u043f\u0443\u0441\u043a 13-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435, \u0430 \u0442\u043e\u0433\u043e \u0433\u043b\u044f\u0434\u0438 \u0438 \u043d\u0430 \u0442\u0435\u043b\u0435\u0444\u043e\u043d\u0435.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, <a href=\"https:\/\/ggerganov.com\/\" rel=\"noopener noreferrer nofollow\">\u0413\u0435\u043e\u0440\u0433\u0438\u0439 \u0413\u0435\u0440\u0433\u0430\u043d\u043e\u0432<\/a>. \u041e\u043d \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0421\u0438, <a href=\"https:\/\/github.com\/ggerganov\/ggml\/\" rel=\"noopener noreferrer nofollow\">ggml<\/a> (\u0433\u0434\u0435 gg, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0435\u0433\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u044b), \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0434\u043d\u043e\u0438\u043c\u0435\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043b <a href=\"https:\/\/github.com\/ggerganov\/ggml\/pull\/302\" rel=\"noopener noreferrer nofollow\">gguf<\/a>). \u041d\u0430 \u044d\u0442\u043e\u0439 \u043e\u0441\u043d\u043e\u0432\u0435 \u043e\u043d \u0441\u0434\u0435\u043b\u0430\u043b <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\" rel=\"noopener noreferrer nofollow\">llama.cpp<\/a>, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u041b\u043b\u0430\u043c\u044b.<\/p>\n<p>\u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 HuggingFace \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0432 \u044d\u0442\u043e\u0442 \u0444\u043e\u0440\u043c\u0430\u0442 \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043c\u0438 \u043d\u0430 CPU \u0441 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u0447\u0435\u043c \u043c\u044b \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f. 2 \u0438\u0437 3 \u043d\u0430\u0448\u0438\u0445 <a href=\"https:\/\/huggingface.co\/spaces\/IlyaGusev\/saiga2_13b_ggml\" rel=\"noopener noreferrer nofollow\">\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445<\/a> <a href=\"https:\/\/huggingface.co\/spaces\/IlyaGusev\/saiga_13b_llamacpp_retrieval_qa\" rel=\"noopener noreferrer nofollow\">\u0434\u0435\u043c\u043e<\/a> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e ggml \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0432 ggml \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp#quantization\" rel=\"noopener noreferrer nofollow\">\u043c\u0435\u0442\u043e\u0434\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f<\/a>, \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e \u043d\u0435\u0447\u0435\u0441\u0442\u043d\u044b\u0445 2 \u0431\u0438\u0442.<\/p>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0434\u0432\u0430: \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0431\u043e\u043a \u043e \u0431\u043e\u043a \u043d\u0430 176 \u0437\u0430\u0434\u0430\u043d\u0438\u044f\u0445 \u0438 <a href=\"https:\/\/russiansuperglue.com\/leaderboard\/2\" rel=\"noopener noreferrer nofollow\">RussianSuperGLUE<\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/aad\/639\/823\/aad639823c8ba265ced37566d4c97630.jpg\" alt=\"\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u044b\u0441\u044f\u0447\u0438 \u0441\u043b\u043e\u0432\" title=\"\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u044b\u0441\u044f\u0447\u0438 \u0441\u043b\u043e\u0432\" width=\"1248\" height=\"908\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aad\/639\/823\/aad639823c8ba265ced37566d4c97630.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u044b\u0441\u044f\u0447\u0438 \u0441\u043b\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u043e\u043a \u043e \u0431\u043e\u043a \u0441 ChatGPT-3.5, \u0446\u0438\u0444\u0440\u044b \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043f\u043e\u0431\u0435\u0434\u044b-\u043d\u0438\u0447\u044c\u0438-\u043f\u043e\u0440\u0430\u0436\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>gigasaiga vs gpt3.5-turbo: <strong>41-4-131<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga2_7b vs gpt3.5-turbo: <strong>53-7-116<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga7b vs gpt3.5-turbo: <strong>58-6-112<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga13b vs gpt3.5-turbo: <strong>63-10-103<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga30b vs gpt3.5-turbo: <strong>67-6-103<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga2_13b vs gpt3.5-turbo: <strong>70-11-95<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga2_70b vs gpt3.5-turbo: <strong>91-10-75<\/strong><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u043b\u0430\u043b\u0438\u0441\u044c \u0432 \u0422\u043e\u043b\u043e\u043a\u0435, \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u0430\u0440\u0443 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043e\u0442\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 5 \u0447\u0435\u043b\u043e\u0432\u0435\u043a.<\/p>\n<p>\u041d\u0430 RSG \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u041b\u043b\u0430\u043c\u044b \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0421\u0430\u0439\u0433\u0438, \u0435\u0441\u043b\u0438 \u0438\u0445 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c. \u0421\u0430\u043c\u0430 LLaMA-2 13B \u043d\u0430 4 \u043c\u0435\u0441\u0442\u0435, \u043f\u043e\u0441\u043b\u0435 \u043b\u044e\u0434\u0435\u0439, \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0438 <a href=\"https:\/\/habr.com\/ru\/companies\/sberbank\/news\/721030\/\" rel=\"noopener noreferrer nofollow\">Fred<\/a>&#8216;\u0430. \u041c\u043e\u0436\u043d\u043e \u0435\u0449\u0451 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 zero-shot \u0438 few-shot. \u0423 ChatGPT \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 <strong>68.2%<\/strong> \u0432 zero-shot \u0440\u0435\u0436\u0438\u043c\u0435, \u0443 70-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u0421\u0430\u0439\u0433\u0438 \u2014 <strong>64.3%<\/strong>.<\/p>\n<p>\u041a\u043e\u0440\u043e\u0447\u0435, 70-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u0430\u044f \u0421\u0430\u0439\u0433\u0430 \u0432\u043f\u043e\u043b\u043d\u0435 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 ChatGPT-3.5, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u0443\u0434\u043e\u0431\u043d\u043e, \u0434\u0430\u0436\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0443\u044e.<\/p>\n<p>\u0415\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u043c\u043e, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u043e\u0433\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043b\u0430\u0447\u0443 \u044f \u0437\u0430 \u043d\u0438\u0445 \u0438\u0437 \u0441\u0432\u043e\u0435\u0433\u043e \u043a\u0430\u0440\u043c\u0430\u043d\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u043d\u0430 CPU:<\/p>\n<ul>\n<li>\n<p>Saiga2 13B \u0432 4 \u0431\u0438\u0442\u0430\u0445 \u043d\u0430 CPU: <a href=\"https:\/\/huggingface.co\/spaces\/IlyaGusev\/saiga2_13b_ggml\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a><\/p>\n<\/li>\n<li>\n<p>\u041e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u0432\u0430\u0448\u0438\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c: <a href=\"https:\/\/huggingface.co\/spaces\/IlyaGusev\/saiga_13b_llamacpp_retrieval_qa\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a><\/p>\n<\/li>\n<li>\n<p>Saiga1 13B \u043d\u0430 GPU: <a href=\"https:\/\/huggingface.co\/spaces\/IlyaGusev\/saiga_13b\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a><\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/-q\/tl\/uk\/-qtlukq4lmft8eavd_k5ojsshfi.gif\" alt=\"\u0421\u0442\u0430\u0440\u0430\u044f \u0434\u0435\u043c\u043a\u0430: &quot;\u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0440\u0430\u0432\u0430 \u0437\u0435\u043b\u0451\u043d\u0430\u044f?&quot;\" title=\"\u0421\u0442\u0430\u0440\u0430\u044f \u0434\u0435\u043c\u043a\u0430: &quot;\u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0440\u0430\u0432\u0430 \u0437\u0435\u043b\u0451\u043d\u0430\u044f?&quot;\" width=\"2034\" height=\"1040\" data-src=\"https:\/\/habrastorage.org\/webt\/-q\/tl\/uk\/-qtlukq4lmft8eavd_k5ojsshfi.gif\"\/><\/p>\n<div><figcaption>\u0421\u0442\u0430\u0440\u0430\u044f \u0434\u0435\u043c\u043a\u0430: &#171;\u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0440\u0430\u0432\u0430 \u0437\u0435\u043b\u0451\u043d\u0430\u044f?&#187;<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gj\/3y\/wo\/gj3yworpn8xythxlufjkhurwvra.gif\" alt=\"\u0421\u0442\u0430\u0440\u0430\u044f \u0434\u0435\u043c\u043a\u0430: \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 json\" title=\"\u0421\u0442\u0430\u0440\u0430\u044f \u0434\u0435\u043c\u043a\u0430: \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 json\" width=\"2034\" height=\"1038\" data-src=\"https:\/\/habrastorage.org\/webt\/gj\/3y\/wo\/gj3yworpn8xythxlufjkhurwvra.gif\"\/><\/p>\n<div><figcaption>\u0421\u0442\u0430\u0440\u0430\u044f \u0434\u0435\u043c\u043a\u0430: \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 json<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0438 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<h2>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0441\u0442\u044c<\/h2>\n<p>\u0421 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0447\u0435\u0433\u043e:<\/p>\n<ul>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u0437\u043e\u0432\u0451\u0442\u0441\u044f <strong>\u0421\u0430\u0439\u0433\u043e\u0439<\/strong><\/p>\n<\/li>\n<li>\n<p>LLaMA \u0441\u0442\u0430\u043b\u0430 \u0432\u0442\u043e\u0440\u043e\u0439<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445: \u043e\u0442 <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/ru_turbo_saiga\" rel=\"noopener noreferrer nofollow\">\u043c\u0435\u043d\u044f<\/a>, \u043e\u0442 <a href=\"https:\/\/open-assistant.io\" rel=\"noopener noreferrer nofollow\">OpenAssistant<\/a>, \u043e\u0442 <a href=\"https:\/\/huggingface.co\/datasets\/lksy\/ru_instruct_gpt4\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u0431\u0440\u044b\u0445 \u043b\u044e\u0434\u0435\u0439<\/a><\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 ggml \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0442\u0440\u0438 \u0440\u0430\u0437\u0430 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0443\u0442\u044c \u0436\u0435 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0442\u043e\u0439 \u0436\u0435: \u0443\u0447\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u0438 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0435\u0451 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f.<\/p>\n<p>\u041f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0435\u0449\u0451 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441\u0430 \u0438 \u0421\u0431\u0435\u0440\u0430, <a href=\"https:\/\/cloud.yandex.com\/en\/services\/yandexgpt\" rel=\"noopener noreferrer nofollow\">YandexGPT<\/a> \u0438 <a href=\"https:\/\/developers.sber.ru\/portal\/products\/gigachat?attempt=1\" rel=\"noopener noreferrer nofollow\">GigaChat<\/a>. \u041f\u0435\u0440\u0432\u0430\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f <a href=\"https:\/\/habr.com\/ru\/companies\/yandex\/articles\/759306\/\" rel=\"noopener noreferrer nofollow\">\u0432\u0442\u043e\u0440\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e<\/a>. \u041f\u043e \u043d\u0430\u0448\u0438\u043c \u0437\u0430\u043c\u0435\u0440\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0432\u0435\u0440\u0438\u0442\u044c, GigaChat \u043b\u0443\u0447\u0448\u0435 YandexGPT \u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 ChatGPT. \u041b\u0443\u0447\u0448\u0435 \u043e\u043d \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043d\u0435 \u0446\u0435\u043d\u0437\u0443\u0440\u0438\u0440\u0443\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041d\u0438 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u0430, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0437\u043e\u0432\u0430\u044f <a href=\"https:\/\/huggingface.co\/ai-forever\/ruGPT-3.5-13B\" rel=\"noopener noreferrer nofollow\">13-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/a> \u0421\u0431\u0435\u0440\u0430.<\/p>\n<p>\u0412\u0441\u0435 \u043d\u0430\u0448\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0432\u0441\u0435 \u0441\u0441\u044b\u043b\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438: <a href=\"https:\/\/github.com\/IlyaGusev\/rulm\" rel=\"noopener noreferrer nofollow\">IlyaGusev\/rulm<\/a>.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0441 \u0414\u0430\u0442\u0430\u0444\u0435\u0441\u0442\u0430: <a href=\"https:\/\/www.youtube.com\/watch?v=YqKCk8_dNpQ\" rel=\"noopener noreferrer nofollow\">\u0432\u0438\u0434\u0435\u043e<\/a>, <a href=\"https:\/\/docs.google.com\/presentation\/d\/1lPXJoLOYMTt6T6h33TrggtRPm9nUTlp9fPDxIuiNGT4\" rel=\"noopener noreferrer nofollow\">\u0441\u043b\u0430\u0439\u0434\u044b<\/a>. \u0421\u0441\u044b\u043b\u043a\u0443 \u043d\u0430 \u0422\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u043a\u0430\u043d\u0430\u043b \u043d\u0435 \u0434\u0430\u043c, \u0443 \u043c\u0435\u043d\u044f \u0435\u0433\u043e \u043d\u0435\u0442.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/759386\/\"> https:\/\/habr.com\/ru\/articles\/759386\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u042d\u0442\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043c\u0430\u0440\u0442\u0430 \u044d\u0442\u043e\u0433\u043e \u0433\u043e\u0434\u0430. ChatGPT \u0442\u043e\u0433\u0434\u0430 \u0431\u044b\u043b \u0432 \u0441\u0430\u043c\u043e\u043c \u0440\u0430\u0441\u0446\u0432\u0435\u0442\u0435. \u041c\u043d\u0435 \u0432 Telegram \u043f\u0440\u0438\u0448\u0451\u043b \u0421\u0430\u0448\u0430 \u041a\u0443\u043a\u0443\u0448\u043a\u0438\u043d, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0437\u043d\u0430\u043a\u043e\u043c\u044b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0434\u0430\u0432\u043d\u043e. \u0421\u043f\u0440\u043e\u0441\u0438\u043b, \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u0441\u044f \u043b\u0438 \u043c\u044b \u0441 \u0421\u0430\u0448\u0435\u0439 \u041d\u0438\u043a\u043e\u043b\u0438\u0447\u0435\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u0438 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0447\u044c.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0443\u0441\u0441\u043a\u0430\u044f \u0442\u0443\u0440\u0431\u043e-\u0430\u043b\u044c\u043f\u0430\u043a\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u0442\u0430\u043a \u0432\u044b\u0448\u043b\u043e, \u0447\u0442\u043e \u043c\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c, \u044f \u043f\u044b\u0442\u0430\u043b\u0441\u044f \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/rulm\" rel=\"noopener noreferrer nofollow\">rulm<\/a>, \u0430 \u0421\u0430\u0448\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0441 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u043c\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438 \u043a\u0443\u0441\u0442\u0430\u0440\u043d\u044b\u043c\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0438 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0441\u0451 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u042f \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443 \u043f\u043e \u0438\u043d\u0435\u0440\u0446\u0438\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u043b rulm <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/habr\" rel=\"noopener noreferrer nofollow\">\u043d\u043e\u0432\u044b\u043c\u0438<\/a> <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/ru_news\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438<\/a> <a href=\"https:\/\/huggingface.co\/datasets\/IlyaGusev\/pikabu\" rel=\"noopener noreferrer nofollow\">\u0434\u0430\u043d\u043d\u044b\u0445<\/a>. \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0432, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u043c \u0432 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0435 \u0441\u0432\u0435\u0442\u0438\u0442, \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c, \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439 \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 <a href=\"https:\/\/arxiv.org\/pdf\/2210.11416.pdf\" rel=\"noopener noreferrer nofollow\">Flan<\/a>. \u0418 \u0442\u0443\u0442 \u043c\u0435\u043d\u044f \u0443\u0433\u043e\u0440\u0430\u0437\u0434\u0438\u043b\u043e \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e.<\/p>\n<p>\u0422\u0430\u043c \u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b \u0432\u043e\u0442 \u044d\u0442\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e Flan<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e \u044d\u0442\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u043b\u043e, \u0447\u0442\u043e \u0441 \u0442\u0435\u043a\u0443\u0449\u0438\u043c\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u043d\u0430\u043c \u043b\u043e\u0432\u0438\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e. \u0421\u0430\u043c\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0431\u044b\u043b\u0430 <a href=\"https:\/\/huggingface.co\/ai-forever\/rugpt3large_based_on_gpt2\" rel=\"noopener noreferrer nofollow\">rugpt3large<\/a> \u0441 760 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u0430\u043c\u043e\u043c\u0443 \u043d\u0430\u0447\u0430\u043b\u0443 \u044d\u0442\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0440\u0443\u0433\u0430\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0438\u0437 <a href=\"https:\/\/openai.com\/research\/instruction-following\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0441\u0442\u0430 OpenAI<\/a>, \u0438\u0437-\u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0432\u0441\u0451 \u044d\u0442\u043e \u0437\u0430\u0442\u0435\u0432\u0430\u043b\u0438:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e InstructGPT<\/figcaption><\/div>\n<\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 760 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u043d\u0435\u0439 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u0442, \u0430 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0410 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0442\u0443\u0442 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u0423 Flan\u2019\u0430 \u044d\u0442\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 NLP \u0437\u0430\u0434\u0430\u0447, \u0430 \u0443 OpenAI &#8212; \u0440\u0443\u0447\u043d\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 OpenAI \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 Flan&#8217;\u0430 \u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0442\u0443\u0442 \u0432\u043e\u0442 \u043a\u0430\u043a\u0430\u044f&#8230;<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041d\u0430 \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u0431\u044b\u043b:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041d\u0430\u043c \u0447\u0435\u0440\u0442\u043e\u0432\u0441\u043a\u0438 \u043f\u043e\u0432\u0435\u0437\u043b\u043e. \u0417\u0430 4 \u0434\u043d\u044f \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0448\u043b\u0430 \u0410\u043b\u044c\u043f\u0430\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u0441\u0443\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e GPT-3. \u041c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u043e\u0432\u043d\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0441 gpt-3.5-turbo \u0432\u043c\u0435\u0441\u0442\u043e text-davinci-003 \u0434\u043b\u044f \u0443\u0434\u0435\u0448\u0435\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430.<\/p>\n<p>\u0421\u043a\u0430\u0437\u0430\u043d\u043e &#8212; \u0441\u0434\u0435\u043b\u0430\u043d\u043e! \u0414\u0430\u043d\u043d\u044b\u0435 \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u0431\u044b\u0441\u0442\u0440\u043e, \u0437\u0430 4 \u0434\u043d\u044f. \u0415\u0449\u0451 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0443\u0448\u043b\u043e \u043d\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0439 \u043a API \u0438 \u0434\u043e\u0431\u043e\u0440 \u0434\u043e 30 \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043c\u044b \u043d\u0430\u0447\u0430\u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u0447\u0430\u043b\u0438 \u0441 <a href=\"https:\/\/huggingface.co\/ai-forever\/rugpt3large_based_on_gpt2\" rel=\"noopener noreferrer nofollow\">rugpt<\/a>, <a href=\"https:\/\/huggingface.co\/facebook\/xglm-1.7B\" rel=\"noopener noreferrer nofollow\">xglm<\/a> \u0438 <a href=\"https:\/\/huggingface.co\/bigscience\/mt0-xxl\" rel=\"noopener noreferrer nofollow\">mt0_xxl<\/a>. \u041f\u043e\u043b\u0443\u0447\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e, \u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0433\u043e.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>RuGPT-large. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0442\u0430\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u0433\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0435 \u043c\u043e\u0433\u043b\u043e \u0431\u044b\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0438\u0437-\u0437\u0430 \u0437\u0430\u0446\u0435\u043d\u0437\u0443\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 ChatGPT.<\/figcaption><\/div>\n<\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u044b \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u0438 \u043d\u0430 HuggingFace \u043f\u043e \u043c\u0435\u0440\u0435 \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438, \u0438 \u043d\u0430\u0441 \u043d\u0430\u0447\u0430\u043b\u0438 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 LLaMA. \u0423 \u043c\u0435\u043d\u044f \u0431\u044b\u043b\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u043c\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0432\u043e\u0434\u0443, \u044f \u0447\u0438\u0442\u0430\u043b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0438 \u0432\u0438\u0434\u0435\u043b, \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u0447\u0430\u0441\u0442\u044f\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0432\u044b\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u044b\u0432\u0430\u043b\u0438. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u2014 \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f. \u0414\u043b\u044f \u043d\u0435\u0451 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 20 \u044f\u0437\u044b\u043a\u043e\u0432 \u0441 \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0435\u0439 \u0438\u043b\u0438 \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0435\u0439, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0440\u0443\u0441\u0441\u043a\u0438\u0439.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043c\u043e\u0436\u043d\u043e \u0431\u044b \u0438 \u043e\u0442\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u043b\u0438\u0431\u043e.<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430\u0434\u043e \u043b\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u044f \u0431\u044b\u043b \u043d\u0435 \u043f\u0440\u0430\u0432.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0418 \u043e\u043d\u043e \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e! \u0417\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0432\u0441\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width\"><\/figure>\n<figure class=\"full-width\"><\/figure>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0421\u0430\u0439\u0433\u0438 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u043f\u043e-\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443.<\/p>\n<h2>\u0411\u0430\u0437\u0430<\/h2>\n<p>\u042f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c. \u0418\u043b\u0438 \u0441\u0438\u043c\u0432\u043e\u043b, \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d, \u0442\u043e \u0435\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430. \u0413\u0434\u0435-\u0442\u043e \u0434\u043e 2017 \u0433\u043e\u0434\u0430 \u0441\u0430\u043c\u044b\u043c\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0431\u044b\u043b\u0438 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/N-%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0\" rel=\"noopener noreferrer nofollow\">N-\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0435<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b\u0438, \u043a\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u0448\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u043a\u0438\u0445, \u0438 \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438 \u043a\u0443\u0440\u0441 \u041b\u0435\u043d\u044b \u0412\u043e\u0439\u0442\u044b? \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u043d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438? \u041d\u0443 \u0442\u0430\u043a <a href=\"https:\/\/lena-voita.github.io\/nlp_course\/language_modeling.html\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435<\/a>!<\/figcaption><\/div>\n<\/figure>\n<p>\u0411\u044b\u043b\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u0438 \u0432\u0430\u0448 \u043f\u043e\u043a\u043e\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0433\u0430 \u0438\u0445 \u0434\u0430\u0436\u0435 \u0442\u043e\u0433\u0434\u0430 <a href=\"https:\/\/habr.com\/ru\/articles\/334046\/\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b<\/a>, \u043d\u043e \u0432 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u043c \u0430\u0441\u043f\u0435\u043a\u0442\u0435 N-\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u044b\u043b\u0438 \u0432\u0441\u0451 \u0435\u0449\u0451 \u0432\u0430\u0436\u043d\u0435\u0435. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043e\u043d\u0438 \u0432 \u0441\u043f\u0435\u043b\u043b\u0447\u0435\u043a\u0435\u0440\u0430\u0445 \u0438 ASR \u0434\u043b\u044f \u0443\u0447\u0451\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e <a href=\"https:\/\/arxiv.org\/abs\/1301.3781\" rel=\"noopener noreferrer nofollow\">word2vec<\/a> \u0438\u0437 2013 \u0442\u043e\u0436\u0435 \u0441\u0432\u043e\u0435\u0433\u043e \u0440\u043e\u0434\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0442\u043e\u0433\u0434\u0430 \u0442\u0430\u043a \u043d\u0438\u043a\u0442\u043e \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b.<\/p>\n<p>\u0412 2017 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c <a href=\"https:\/\/arxiv.org\/abs\/1706.03762\" rel=\"noopener noreferrer nofollow\">\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b<\/a>, \u0432 2018 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c <a href=\"https:\/\/s3-us-west-2.amazonaws.com\/openai-assets\/research-covers\/language-unsupervised\/language_understanding_paper.pdf\" rel=\"noopener noreferrer nofollow\">GPT<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/1810.04805\" rel=\"noopener noreferrer nofollow\">BERT<\/a>, \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u0430\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0432\u0441\u0435\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u0412 \u043a\u043e\u043d\u0446\u0435 2022 <a href=\"https:\/\/openai.com\/blog\/chatgpt\" rel=\"noopener noreferrer nofollow\">\u0432\u044b\u0448\u043b\u0430 ChatGPT<\/a>, \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u0434\u043e \u043e\u0431\u044b\u0432\u0430\u0442\u0435\u043b\u044f, \u0430 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0446\u0438\u0438 \u0438 \u0443\u0447\u0451\u043d\u044b\u0435 \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c.<\/p>\n<h2>\u041c\u043e\u0434\u0435\u043b\u044c<\/h2>\n<p>\u0411\u044b\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0431\u044b\u043b\u0438 \u0434\u0440\u0435\u0432\u043d\u0438\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0421\u0431\u0435\u0440\u0430: <a href=\"https:\/\/huggingface.co\/ai-forever\/rugpt3medium_based_on_gpt2\" rel=\"noopener noreferrer nofollow\">rugpt3medium<\/a> \u0438 rugpt3large, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0442 GPT-3 \u043e\u0434\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0431\u044b\u043b\u0438 \u043c\u043d\u043e\u0433\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: <a href=\"https:\/\/arxiv.org\/abs\/2112.10668\" rel=\"noopener noreferrer nofollow\">xglm<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2211.01786\" rel=\"noopener noreferrer nofollow\">mt0<\/a>. \u041d\u043e \u0432 \u0444\u0435\u0432\u0440\u0430\u043b\u0435 \u0432\u044b\u0448\u043b\u0430 <a href=\"https:\/\/ai.meta.com\/blog\/large-language-model-llama-meta-ai\/\" rel=\"noopener noreferrer nofollow\">LLaMA<\/a>. \u0418 \u043e\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0447\u0435\u0440\u0442\u043e\u0432\u0441\u043a\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0439.<\/p>\n<p>\u041f\u043e\u043c\u043d\u0438\u0442\u0435 \u0437\u0430\u043a\u043e\u043d\u044b \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 <a href=\"https:\/\/habr.com\/ru\/articles\/718996\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>? \u041b\u043b\u0430\u043c\u0430 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 <a href=\"https:\/\/arxiv.org\/pdf\/2203.15556.pdf\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043a\u043e\u043d\u044b \u0428\u0438\u043d\u0448\u0438\u043b\u043b\u044b<\/a>, \u0437\u0430\u043a\u043e\u043d\u044b \u0425\u043e\u0444\u0444\u043c\u0430\u043d\u0430, \u0437\u0430\u043a\u043e\u043d\u044b DeepMind, \u0437\u0430\u043a\u043e\u043d\u044b, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u043e\u0440\u043c\u0438\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0441\u0442\u0430\u043b\u043e \u0445\u043e\u0440\u043e\u0448\u043e. \u0418 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u044b\u0445\u043e\u0434\u0430 \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0432 \u044d\u0442\u043e\u043c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u0430 \u0441\u0440\u0435\u0434\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0418 \u0441\u043d\u043e\u0432\u0430 \u044d\u0442\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0437\u0434\u0435\u0441\u044c<\/figcaption><\/div>\n<\/figure>\n<p>\u0423 \u041b\u043b\u0430\u043c\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2014 \u0433\u043e\u0434\u043d\u0430\u044f \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b. \u042d\u0442\u043e \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0447\u0442\u043e \u0432 \u0435\u0451 \u043d\u0430\u0431\u043e\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0431\u044b\u043b\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f, \u0447\u0442\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u043e \u043c\u0435\u043d\u044c\u0448\u0435 1% \u0434\u0430\u043d\u043d\u044b\u0445. \u042f \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u044e, \u0431\u044b\u043b\u0430 \u043b\u0438 \u0442\u0430\u043a\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u0441\u0442\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0431\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u0441\u0442\u0432, \u0438\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u044d\u0442\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0434\u0443\u043c\u0430\u043b. \u0414\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435\u0442 \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 \u041b\u043b\u0430\u043c\u044b. \u041a\u0440\u043e\u043c\u0435 <a href=\"https:\/\/huggingface.co\/BlinkDL\/rwkv-4-world\" rel=\"noopener noreferrer nofollow\">RWKV-4-World<\/a>, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u043e \u044d\u0442\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 \u044d\u043a\u0437\u043e\u0442\u0438\u043a\u0430.<\/p>\n<h2>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p>\u0412 \u0434\u0435\u043a\u0430\u0431\u0440\u0435 2022 \u0433\u043e\u0434\u0430 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e self-instruct. \u041e\u043d\u0430 \u0442\u043e\u0436\u0435 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u0430 \u2014 \u0434\u043b\u044f \u043d\u0435\u0451 \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u0431\u044b\u043b\u0438 GPU. \u0410\u0432\u0442\u043e\u0440\u044b \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 175 \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0445 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f, \u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0438 GPT-3 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438\u0445. \u0418 \u043f\u043e\u0442\u043e\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0441\u0430\u043c\u0443 GPT-3 \u043d\u0430 \u044d\u0442\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445 \u0447\u0435\u0440\u0435\u0437 API.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u043b\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0443\u0440\u043e\u0432\u043d\u044e InstructGPT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0441\u043e\u0442\u043d\u044f\u043c\u0438 \u043b\u044e\u0434\u0435\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u0445 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0445 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f.<\/p>\n<blockquote>\n<p>\u0421\u0445\u0432\u0430\u0442\u0438\u0432 \u0441\u0435\u0431\u044f \u0437\u0430 \u044d\u0442\u0443 \u043a\u043e\u0441\u0438\u0447\u043a\u0443, \u044f \u0438\u0437\u043e \u0432\u0441\u0435\u0445 \u0441\u0438\u043b \u0434\u0451\u0440\u043d\u0443\u043b \u0432\u0432\u0435\u0440\u0445 \u0438 \u0431\u0435\u0437 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0442\u0440\u0443\u0434\u0430 \u0432\u044b\u0442\u0430\u0449\u0438\u043b \u0438\u0437 \u0431\u043e\u043b\u043e\u0442\u0430 \u0438 \u0441\u0435\u0431\u044f, \u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u043a\u043e\u043d\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u0440\u0435\u043f\u043a\u043e \u0441\u0436\u0430\u043b \u043e\u0431\u0435\u0438\u043c\u0438 \u043d\u043e\u0433\u0430\u043c\u0438, \u043a\u0430\u043a \u0449\u0438\u043f\u0446\u0430\u043c\u0438.<\/p>\n<\/blockquote>\n<figure class=\"full-width\"><\/figure>\n<p>\u0412 \u043c\u0430\u0440\u0442\u0435 2023 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c <a href=\"https:\/\/crfm.stanford.edu\/2023\/03\/13\/alpaca.html\" rel=\"noopener noreferrer nofollow\">\u0410\u043b\u044c\u043f\u0430\u043a\u0430<\/a>, \u0441\u0442\u0435\u043d\u0444\u043e\u0440\u0434\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442 \u0441 \u0442\u043e\u0439 \u0436\u0435 \u0438\u0434\u0435\u0435\u0439, \u0447\u0442\u043e \u0438 self-instruct, \u043d\u043e \u0441 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0435 GPT-3, \u0430 LLaMA. \u041f\u043e \u0441\u0443\u0442\u0438 \u0440\u0435\u0431\u044f\u0442\u0430 \u0432\u044b\u0442\u0430\u0449\u0438\u043b\u0438 \u0441\u0442\u0438\u043b\u044c \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438\u0437 GPT-3 \u0438 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u043b\u0438 \u0435\u0433\u043e \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u0443\u044e \u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 API \u2014 \u044d\u0442\u043e \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u043e!<\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043d\u043e \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e. \u0421\u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0439 \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 gpt-3.5-turbo. \u0418 \u0435\u0449\u0451 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0437\u043e\u0432\u043e\u043c API. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0447\u0442\u043e-\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u0442\u0430\u043a\u043e\u0433\u043e:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0418\u0437 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043a <a href=\"https:\/\/docs.google.com\/presentation\/d\/1lPXJoLOYMTt6T6h33TrggtRPm9nUTlp9fPDxIuiNGT4\/edit?usp=sharing\" rel=\"noopener noreferrer nofollow\">DataFest&#8217;\u0443<\/a><\/figcaption><\/div>\n<\/figure>\n<h2>LoRA: Low-Rank Adaptation<\/h2>\n<p>\u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u0430\u0436\u0435 7-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0438\u0437-\u0437\u0430 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043a VRAM. \u042d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0442\u0443\u0442 \u0442\u0430\u043a\u0430\u044f: \u0434\u043b\u044f 16-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043d\u0430 2, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u044d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c. \u0414\u043b\u044f 7 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u044d\u0442\u043e 14\u0413\u0431. \u041d\u043e \u043a\u0440\u043e\u043c\u0435 \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0435\u0449\u0451 \u0438 \u0435\u0451 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430, \u0438 \u043c\u044b \u0432\u044b\u043b\u0435\u0437\u0430\u0435\u043c \u0437\u0430 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 24\u0413\u0431 VRAM.<\/p>\n<p>\u0421 \u043f\u0440\u0438\u0445\u043e\u0434\u043e\u043c \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u043e\u0432 \u0432\u0441\u0451 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0442\u0440\u043e\u0433\u0430\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e <a href=\"https:\/\/arxiv.org\/pdf\/1902.00751.pdf\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0432\u0435\u0441\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0445<\/a>. \u0418\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043a\u0443\u0441\u043e\u0447\u043a\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, <a href=\"https:\/\/arxiv.org\/abs\/2106.10199\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u043e\u043b\u044c\u043a\u043e bias<\/a>. \u0418\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2104.08691\" rel=\"noopener noreferrer nofollow\">\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b<\/a>. \u0418\u043b\u0438 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0432\u0435\u0441\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430, \u043d\u043e \u0438 \u0432\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438\u0445 <a href=\"https:\/\/arxiv.org\/abs\/2106.09685\" rel=\"noopener noreferrer nofollow\">\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e<\/a> \u0441\u0442\u0430\u0440\u044b\u043c, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0437\u0430 \u0441\u0447\u0451\u0442 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446.<\/p>\n<p>\u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f LoRA, \u0430 \u0432\u0441\u044f \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u2014 PEFT, parameter-efficient fine-tuning.<\/p>\n<figure class=\"\">\n<div><figcaption>\u042d\u0442\u043e \u0432\u0441\u044f \u0441\u0443\u0442\u044c LoRA. \u0421\u0435\u0440\u044c\u0451\u0437\u043d\u043e, \u0432\u0441\u044f.<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 LoRA \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043d\u0430 VRAM, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u0430, \u0438 \u043f\u043e \u043d\u0435\u0439 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b. LoRA \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c 7-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 16 \u0431\u0438\u0442\u0430\u0445 \u043d\u0430 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u0445 \u0441 24\u0413\u0431 VRAM.<\/p>\n<h2>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435<\/h2>\n<p>\u041d\u043e \u0434\u0430\u0436\u0435 \u0441 LoRA \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 13-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432 24\u0413\u0431 VRAM, \u043e\u0434\u043d\u0430\u043a\u043e \u0436\u0435 \u043c\u044b \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u0434\u0435\u043b\u0430\u043b\u0438. \u0410 \u043a\u0430\u043a \u0442\u0430\u043a?<\/p>\n<p>\u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, 16 \u0431\u0438\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u2014 \u044d\u0442\u043e \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0432\u043e\u0438\u0445 \u0441\u043b\u043e\u0451\u0432, \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0443\u043b\u044f (<a href=\"https:\/\/arxiv.org\/pdf\/2305.14314.pdf\" rel=\"noopener noreferrer nofollow\">\u0441\u043c. Appendix F<\/a>), \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0447\u0438\u0441\u043b\u0430 \u0442\u0438\u043f\u0430 65504 \u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e. int8 \u0432\u043c\u0435\u0441\u0442\u043e float16 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n<p>\u0412 \u0430\u0432\u0433\u0443\u0441\u0442\u0435 2022 \u0432\u044b\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/arxiv.org\/abs\/2208.07339\" rel=\"noopener noreferrer nofollow\">LLM.int8<\/a>. \u0412 \u043d\u0435\u0439 \u0430\u0432\u0442\u043e\u0440\u044b, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 <a href=\"https:\/\/timdettmers.com\/\" rel=\"noopener noreferrer nofollow\">\u0422\u0438\u043c \u0414\u0435\u0442\u0442\u043c\u0435\u0440\u0441<\/a>, \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435\u043c \u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u043c\u0443 \u0446\u0435\u043b\u043e\u043c\u0443. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0432 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u0445 (\u043d\u0435 \u0432 \u0432\u0435\u0441\u0430\u0445!) \u0441\u0435\u0442\u0438 \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u043e\u043c\u0430\u044e\u0442. \u041d\u0443 \u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043a\u043e\u0441\u0442\u044b\u043b\u044c \u043f\u043e\u0434 \u044d\u0442\u0438 \u0432\u044b\u0431\u0440\u043e\u0441\u044b. \u041e \u043f\u0440\u0438\u0440\u043e\u0434\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432, \u043a\u0441\u0442\u0430\u0442\u0438, \u043d\u0435 \u0442\u0430\u043a \u0434\u0430\u0432\u043d\u043e \u0431\u044b\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 <a href=\"https:\/\/www.evanmiller.org\/attention-is-off-by-one.html\" rel=\"noopener noreferrer nofollow\">\u0441\u043f\u043e\u0440\u044b<\/a>.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u043e \u0447\u0442\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u043e, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u0442\u0435\u043d \u0441\u0442\u0430\u0442\u044c\u0435\u0439 \u043f\u0440\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435, \u043e\u043d\u0438 <a href=\"https:\/\/huggingface.co\/blog\/hf-bitsandbytes-integration\" rel=\"noopener noreferrer nofollow\">\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438<\/a> \u0441\u0432\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u0432 HuggingFace Transformers, \u043d\u0435\u0431\u0435\u0437\u044b\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u043d\u0430\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043c \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u0447\u043a\u0443. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043c\u043e\u0440\u043e\u0437\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 8 \u0431\u0438\u0442\u0430\u0445, \u0438 \u0443\u0447\u0438\u043c 16-\u0431\u0438\u0442\u043d\u044b\u0435 LoRA.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0435\u0449\u0451 \u043f\u0440\u043e\u0449\u0435: <strong>\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442<\/strong>. \u0418 13-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0432 24\u0413\u0431 \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c.<\/p>\n<p>\u042d\u0442\u043e \u0432\u0441\u0451 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0445\u0443\u0448\u043a\u0430 \u0430\u0439\u0441\u0431\u0435\u0440\u0433\u0430: \u0435\u0441\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2210.17323\" rel=\"noopener noreferrer nofollow\">gptq<\/a>, \u0435\u0441\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2305.14314\" rel=\"noopener noreferrer nofollow\">qlora<\/a>, \u0435\u0441\u0442\u044c \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0435 \u0432\u044b\u0448\u0435 \u0441\u043e\u0442\u043d\u0438 \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u0440\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0439.<\/p>\n<h2>\u0417\u0430\u043f\u0443\u0441\u043a \u043d\u0430 CPU<\/h2>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u0430 \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u0430\u044f \u043f\u0430\u0440\u0443 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u0432\u0435\u0449\u044c \u2014 \u0437\u0430\u043f\u0443\u0441\u043a 13-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435, \u0430 \u0442\u043e\u0433\u043e \u0433\u043b\u044f\u0434\u0438 \u0438 \u043d\u0430 \u0442\u0435\u043b\u0435\u0444\u043e\u043d\u0435.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, <a href=\"https:\/\/ggerganov.com\/\" rel=\"noopener noreferrer nofollow\">\u0413\u0435\u043e\u0440\u0433\u0438\u0439 \u0413\u0435\u0440\u0433\u0430\u043d\u043e\u0432<\/a>. \u041e\u043d \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0421\u0438, <a href=\"https:\/\/github.com\/ggerganov\/ggml\/\" rel=\"noopener noreferrer nofollow\">ggml<\/a> (\u0433\u0434\u0435 gg, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0435\u0433\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u044b), \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0434\u043d\u043e\u0438\u043c\u0435\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043b <a href=\"https:\/\/github.com\/ggerganov\/ggml\/pull\/302\" rel=\"noopener noreferrer nofollow\">gguf<\/a>). \u041d\u0430 \u044d\u0442\u043e\u0439 \u043e\u0441\u043d\u043e\u0432\u0435 \u043e\u043d \u0441\u0434\u0435\u043b\u0430\u043b <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\" rel=\"noopener noreferrer nofollow\">llama.cpp<\/a>, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u041b\u043b\u0430\u043c\u044b.<\/p>\n<p>\u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 HuggingFace \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0432 \u044d\u0442\u043e\u0442 \u0444\u043e\u0440\u043c\u0430\u0442 \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043c\u0438 \u043d\u0430 CPU \u0441 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u0447\u0435\u043c \u043c\u044b \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f. 2 \u0438\u0437 3 \u043d\u0430\u0448\u0438\u0445 <a href=\"https:\/\/huggingface.co\/spaces\/IlyaGusev\/saiga2_13b_ggml\" rel=\"noopener noreferrer nofollow\">\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445<\/a> <a href=\"https:\/\/huggingface.co\/spaces\/IlyaGusev\/saiga_13b_llamacpp_retrieval_qa\" rel=\"noopener noreferrer nofollow\">\u0434\u0435\u043c\u043e<\/a> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e ggml \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0432 ggml \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp#quantization\" rel=\"noopener noreferrer nofollow\">\u043c\u0435\u0442\u043e\u0434\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f<\/a>, \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e \u043d\u0435\u0447\u0435\u0441\u0442\u043d\u044b\u0445 2 \u0431\u0438\u0442.<\/p>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0434\u0432\u0430: \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0431\u043e\u043a \u043e \u0431\u043e\u043a \u043d\u0430 176 \u0437\u0430\u0434\u0430\u043d\u0438\u044f\u0445 \u0438 <a href=\"https:\/\/russiansuperglue.com\/leaderboard\/2\" rel=\"noopener noreferrer nofollow\">RussianSuperGLUE<\/a>.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u044b\u0441\u044f\u0447\u0438 \u0441\u043b\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u043e\u043a \u043e \u0431\u043e\u043a \u0441 ChatGPT-3.5, \u0446\u0438\u0444\u0440\u044b \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043f\u043e\u0431\u0435\u0434\u044b-\u043d\u0438\u0447\u044c\u0438-\u043f\u043e\u0440\u0430\u0436\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>gigasaiga vs gpt3.5-turbo: <strong>41-4-131<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga2_7b vs gpt3.5-turbo: <strong>53-7-116<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga7b vs gpt3.5-turbo: <strong>58-6-112<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga13b vs gpt3.5-turbo: <strong>63-10-103<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga30b vs gpt3.5-turbo: <strong>67-6-103<\/strong><\/p>\n<\/li>\n<li>\n<p>saiga2_13b vs gpt3.5-turbo: <strong>70-11-95<\/strong><\/p>\n<\/li>\n<li>\n<p>sai<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-354204","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/354204","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=354204"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/354204\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=354204"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=354204"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=354204"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}