{"id":360965,"date":"2024-05-21T01:03:41","date_gmt":"2024-05-21T01:03:41","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=360965"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=360965","title":{"rendered":"<span>\u0412\u0441\u0435, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c LLM<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7f4\/4b9\/5f2\/7f44b95f28c12567254846a1412a1740.png\" alt=\" \u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043e Stable Diffusion  \" title=\" \u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043e Stable Diffusion  \" width=\"828\" height=\"473\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f4\/4b9\/5f2\/7f44b95f28c12567254846a1412a1740.png\"\/><\/p>\n<div><figcaption> \u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043e Stable Diffusion  <\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/towardsdatascience.com\/all-you-need-to-know-to-develop-using-large-language-models-5c45708156bc\" rel=\"noopener noreferrer nofollow\">\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u0421\u0435\u0440\u0433\u0435\u044f \u0421\u0430\u0432\u0432\u043e\u0432\u0430. <\/a><\/p>\n<p>\u0426\u0435\u043b\u044c \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f\u00a0\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 LLM. O\u043d\u0430 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u043a\u0430\u043a\u00a0\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c, \u0442\u0430\u043a \u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u043f\u043e\u00a0\u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0443\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0439 \u0438\u00a0\u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043f\u043e\u0433\u043b\u0443\u0431\u0436\u0435. \u0422\u0430\u043a\u0436\u0435 \u044f \u043f\u0440\u0438\u043a\u0440\u0435\u043f\u0438\u043b \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a \u0434\u043b\u044f\u00a0\u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c! <\/p>\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 Large Language Models  <\/h2>\n<p>\u0414\u0443\u043c\u0430\u044e, \u0432\u044b \u0443\u0436\u0435 \u0442\u044b\u0441\u044f\u0447\u0443 \u0440\u0430\u0437 \u0441\u043b\u044b\u0448\u0430\u043b\u0438, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 LLM, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u00a0\u0431\u0443\u0434\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0435\u0449\u0435 \u0440\u0430\u0437. \u0412\u0441\u0435, \u0447\u0442\u043e\u00a0\u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c: Large Language Model (LLM)\u00a0\u2014 \u044d\u0442\u043e \u041e\u0413\u0420\u041e\u041c\u041d\u0410\u042f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0435\u0435. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3ae\/51c\/169\/3ae51c169cd45693a96fe0501ee01108.png\" alt=\" \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f GPT-3. \u041f\u0440\u043e GPT-4 \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043d\u0435\u0442.   \" title=\" \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f GPT-3. \u041f\u0440\u043e GPT-4 \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043d\u0435\u0442.   \" width=\"2000\" height=\"1060\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ae\/51c\/169\/3ae51c169cd45693a96fe0501ee01108.png\"\/><\/p>\n<div><figcaption> \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f GPT-3. \u041f\u0440\u043e GPT-4 \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043d\u0435\u0442.   <\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u0438, LLMs \u0441\u0442\u0430\u043b\u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b \u0438\u0437-\u0437\u0430 \u0438\u0445 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438. \u041e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c, \u0440\u0435\u0437\u044e\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u043c \u0438 \u0442.\u0434.  <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/999\/3ec\/de3\/9993ecde3cda00334bee0909b4e53cd8.png\" alt=\" \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 LLM  \" title=\" \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 LLM  \" width=\"2000\" height=\"1181\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/999\/3ec\/de3\/9993ecde3cda00334bee0909b4e53cd8.png\"\/><\/p>\n<div><figcaption> \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 LLM  <\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0431\u044f LLMs:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/www.notion.so\/product\/ai\" rel=\"noopener noreferrer nofollow\">Notion AI<\/a>\u00a0\u2014 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u0430, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043d\u0442, \u043f\u0440\u0430\u0432\u0438\u0442 \u043e\u0440\u0444\u043e\u0433\u0440\u0430\u0444\u0438\u044e \u0438 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0443, \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043d \u0438 \u0438\u043d\u0442\u043e\u043d\u0430\u0446\u0438\u044e, \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/features\/copilot\" rel=\"noopener noreferrer nofollow\">GitHub Copilot<\/a>\u00a0\u2014 \u043f\u0438\u0448\u0435\u0442 \u0437\u0430\u00a0\u0432\u0430\u0441 \u043a\u043e\u0434, \u0434\u0430\u0451\u0442 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/blog.dropbox.com\/topics\/product\/introducing-AI-powered-tools\" rel=\"noopener noreferrer nofollow\">Dropbox Dash<\/a>\u00a0\u2014 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0438\u0441\u043a\u0430 \u043d\u0430\u00a0\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0438\u0437\u00a0\u043a\u0430\u043a\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 LLM, \u0442\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u043e\u0442 <a href=\"https:\/\/medium.com\/u\/7247bdeb9655?source=post_page-----5c45708156bc--------------------------------\" rel=\"noopener noreferrer nofollow\">Mark Riedl<\/a> \u00ab<a href=\"https:\/\/medium.com\/@mark-riedl\/a-very-gentle-introduction-to-large-language-models-without-the-hype-5f67941fa59e\" rel=\"noopener noreferrer nofollow\">A Very Gentle Introduction to Large Language Models without the Hype<\/a>\u00bb.<\/p>\n<h3>2. Open Source vs Closed Source Models<\/h3>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0439 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0432\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u044f \u0432\u044b\u0434\u0435\u043b\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c<\/strong>\u00a0\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0438\u0447\u0438\u043d, \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 self\u2011hosted \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u044b\u0441\u0442\u0440\u043e\u0435 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/strong>\u00a0\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u043e\u0432, \u0447\u0442\u043e\u0431\u044b\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0438\u0434\u0435\u0438 \u0431\u0435\u0437\u00a0\u0447\u0440\u0435\u0437\u043c\u0435\u0440\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/strong>\u00a0\u2014\u00a0\u043b\u0438\u0431\u043e \u0432\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443,\u00a0\u043b\u0438\u0431\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 \u043f\u043b\u0430\u0442\u043d\u044b\u0439 API.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e\u00a0\u043b\u0443\u0447\u0448\u0435, \u0430\u00a0\u0447\u0442\u043e\u00a0\u0445\u0443\u0436\u0435, \u043d\u0435\u0442. \u042f \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5db\/69f\/5f9\/5db69f5f9eccbfbc63fa6d1e7e1743d4.png\" width=\"828\" height=\"423\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5db\/69f\/5f9\/5db69f5f9eccbfbc63fa6d1e7e1743d4.png\"\/><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c\u0441\u044f \u0432\u00a0\u0434\u0435\u0442\u0430\u043b\u0438, \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u043e\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u00ab<a href=\"https:\/\/medium.com\/better-programming\/you-dont-need-hosted-llms-do-you-1160b2520526\" rel=\"noopener noreferrer nofollow\">You don\u00bbt need hosted LLMs, do you?<\/a>\u00bb.<\/p>\n<h4>\u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 Open Source models<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/meta-llama\/Llama-2-7b-chat-hf\" rel=\"noopener noreferrer nofollow\">LLaMA-2<\/a> \u043e\u0442 <strong>Meta<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/tiiuae\/falcon-7b\" rel=\"noopener noreferrer nofollow\">Falcon<\/a> \u043e\u0442 <strong>Technology Innovation Institute in Abu Dhabi<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/mistralai\/Mistral-7B-v0.1\" rel=\"noopener noreferrer nofollow\">Mistral<\/a> \u043e\u0442 <strong>Mistral AI<\/strong><\/p>\n<\/li>\n<\/ul>\n<h4>\u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 Closed Source models<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/openai.com\/gpt-4\" rel=\"noopener noreferrer nofollow\">GPT-4<\/a> \u043e\u0442 <strong>OpenAI<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/bard.google.com\/\" rel=\"noopener noreferrer nofollow\">Bard<\/a> \u043e\u0442 <strong>Google<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.anthropic.com\/\" rel=\"noopener noreferrer nofollow\">Claude<\/a> \u043e\u0442 <strong>Anthropic<\/strong><\/p>\n<\/li>\n<\/ul>\n<p><a href=\"https:\/\/www.promptingguide.ai\/models\/collection\" rel=\"noopener noreferrer nofollow\">\u0412\u043e\u0442 \u0442\u0443\u0442<\/a> \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u0438\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c.<\/p>\n<h3>\u041f\u0440\u043e\u043c\u043f\u0442-\u0418\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433<\/h3>\n<p>\u0417\u043d\u0430\u044e, \u0437\u043d\u0430\u044e, \u043c\u043d\u043e\u0433\u0438\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u044d\u0442\u043e \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0430\u0443\u043a\u043e\u0439 \u0438\u043b\u0438\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0448\u0443\u043c\u0438\u0445\u043e\u0439. \u041d\u043e\u00a0\u043f\u0440\u0430\u0432\u0434\u0430 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043c\u044b \u0434\u043e\u00a0\u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435\u00a0\u0434\u043e\u00a0\u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u043a\u0430\u043a\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 LLM. \u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u044e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u0430\u00a0\u0438\u043d\u043e\u0433\u0434\u0430 \u043b\u0433\u0443\u0442 \u0438\u043b\u0438\u00a0\u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u0443\u044e\u0442? \u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u00a0\u043f\u0440\u043e\u043c\u043f\u0442 \u00ablet\u00bbs think step\u2011by\u2011step\u00bb \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e?<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/28f\/a42\/f6f\/28fa42f6ff930a05419d3b50f5c54eb6.png\" alt=\" \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043a\u0440\u0430\u0441\u043a\u0438 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0431\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.  \" title=\" \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043a\u0440\u0430\u0441\u043a\u0438 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0431\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.  \" width=\"1108\" height=\"426\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/28f\/a42\/f6f\/28fa42f6ff930a05419d3b50f5c54eb6.png\"\/><\/p>\n<div><figcaption> \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043a\u0440\u0430\u0441\u043a\u0438 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0431\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.  <\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u044d\u0442\u0438\u043c \u0443\u0447\u0435\u043d\u044b\u043c \u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u0430\u043c \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u043c\u0438, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/957\/c0c\/e2e\/957c0ce2eccbd9d7f6e9cdbf9b03e7a6.png\" alt=\"\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLMs\" title=\"\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLMs\" width=\"1100\" height=\"455\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/957\/c0c\/e2e\/957c0ce2eccbd9d7f6e9cdbf9b03e7a6.png\"\/><\/p>\n<div><figcaption>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLMs<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0435\u00a0\u0431\u0443\u0434\u0443 \u0443\u0442\u043e\u043c\u043b\u044f\u0442\u044c \u0432\u0430\u0441 \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u0441\u0445\u0435\u043c\u0430\u043c\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432. \u041b\u0443\u0447\u0448\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0442\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u0435\u0440\u0444\u043e\u043c\u0430\u043d\u0441:<\/p>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2205.11916.pdf\" rel=\"noopener noreferrer nofollow\"><strong><em>\u201cLet\u2019s think step by step\u201d<\/em><\/strong><\/a>\u00a0\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2309.03409.pdf\" rel=\"noopener noreferrer nofollow\"><strong><em>\u201cTake a deep breath and work on this problem step-by-step\u201c<\/em><\/strong><\/a>\u2014 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0430, \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2307.11760.pdf\" rel=\"noopener noreferrer nofollow\"><strong><em>\u201cThis is very important to my career\u201d<\/em><\/strong><\/a>\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u044d\u0442\u043e \u0432 \u043a\u043e\u043d\u0435\u0446 \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u0438 \u0432\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 5-20%.<\/p>\n<\/li>\n<\/ol>\n<p>\u0410 \u0432\u043e\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u043f\u0440\u043e\u043c\u043f\u0442\u0430:<\/p>\n<blockquote>\n<p><em>Let\u2019s combine our\u00a0<\/em><strong><em>X<\/em><\/strong><em>\u00a0command and clear thinking to quickly and accurately decipher the answer in the step-by-step approach. Provide details and include sources in the answer. This is very important to my career.<\/em><\/p>\n<p><em>Where\u00a0<\/em><strong><em>X<\/em><\/strong><em>\u00a0is the industry of the task you are solving, for example, programming.<\/em><\/p>\n<\/blockquote>\n<p>\u041d\u0430\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0447\u0435\u0440\u043e\u0432 \u043d\u0430 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u043f\u0440\u043e\u043c\u043f\u0442-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0430. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439. \u041c\u043e\u0436\u043d\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0441 \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f <a href=\"https:\/\/www.promptingguide.ai\/\" rel=\"noopener noreferrer nofollow\"><strong>Prompt Engineering Guide<\/strong><\/a>, \u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0441\u0432\u043e\u0434\u043a\u0430.<\/p>\n<h4>\u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438:<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/hegelai\/prompttools\" rel=\"noopener noreferrer nofollow\">prompttools<\/a> &#8212; \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, OpenAI, LLaMA).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/promptfoo\/promptfoo\" rel=\"noopener noreferrer nofollow\">promptfoo<\/a> &#8212; \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0446\u0435\u043d\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 LLMs.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/f\/awesome-chatgpt-prompts\" rel=\"noopener noreferrer nofollow\">Awesome ChatGPT Prompts<\/a> &#8212; \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 ChatGPT.<\/p>\n<\/li>\n<\/ul>\n<h3>4. \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: Retrieval Augmented Generation (RAG)<\/h3>\n<p>RAG\u00a0\u2014 \u0442\u0435\u0445\u043d\u0438\u043a\u0430, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0430\u044f LLM \u0441\u00a0\u0432\u043d\u0435\u0448\u043d\u0438\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u0439. \u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u043b\u0438\u00a0\u043a\u0430\u043a\u0438\u0435\u2011\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e.<\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0443\u0441\u0442\u0440\u0430\u0448\u0430\u044e\u0449\u0435\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 (\u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u00a0\u043d\u0435\u043c\u0443 \u0441\u043b\u043e\u0432\u043e \u00abreranker\u00bb), \u043d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0440\u044b\u0439 \u0438 \u043d\u0430\u00a0\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043c\u0435\u0442\u043e\u0434:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ee6\/e34\/a63\/ee6e34a63f84574c4edab3f4125910e9.png\" alt=\"\u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 RAG\" title=\"\u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 RAG\" width=\"828\" height=\"359\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee6\/e34\/a63\/ee6e34a63f84574c4edab3f4125910e9.png\"\/><\/p>\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 RAG<\/figcaption><\/div>\n<\/figure>\n<ol>\n<li>\n<p>\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0432\u00a0\u0447\u0438\u0441\u043b\u0430, \u043c\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0438\u0445 <a href=\"https:\/\/towardsdatascience.com\/neural-network-embeddings-explained-4d028e6f0526\" rel=\"noopener noreferrer nofollow\">\u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u00a0\u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u0443\u00a0\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0449\u0435\u043c \u0442\u043e\u043f K \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Cosine_similarity\" rel=\"noopener noreferrer nofollow\">cosine similarity<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0441\u0438\u043c LLM \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p>\u041d\u0443\u0436\u043d\u0430 <strong>\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f<\/strong>: \u0415\u0441\u043b\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432\u00a0\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c. \u041a\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0435\u0441\u043b\u0438 \u0440\u0435\u0447\u044c \u0438\u0434\u0435\u0442 \u043e\u00a0\u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u0437\u043a\u0430\u044f \u0434\u043e\u043c\u0435\u043d\u043d\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c:<\/strong> \u0415\u0441\u043b\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442\u0441\u044f \u043e\u0441\u043e\u0431\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f, \u0432\u044b\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0437\u0430\u00a0\u0440\u0430\u043c\u043a\u0438 \u0443\u0447\u0435\u0431\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 LLM. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u041d\u0415 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p><strong>General Conversational Applications:<\/strong> \u0415\u0441\u043b\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u0431\u0449\u0430\u044f \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0442\u043e RAG \u0432\u0430\u043c \u043d\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b:<\/strong> \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 RAG \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u0439, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e &#8212; \u0445\u043e\u0442\u044f \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0447\u0435\u043c fine-tuning.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0413\u043e\u0442\u043e\u0432\u0438\u043c RAG<\/h4>\n<p>\u041e\u0442\u043b\u0438\u0447\u043d\u043e\u0439 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/run-llama\/llama_index\" rel=\"noopener noreferrer nofollow\">LlamaIndex<\/a>. \u041e\u043d\u0430 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a LLMs. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from llama_index import VectorStoreIndex, SimpleDirectoryReader  # 1. Load your documents: documents = SimpleDirectoryReader(\"YOUR_DATA\").load_data()  # 2. Convert them to vectors: index = VectorStoreIndex.from_documents(documents)  # 3. Ask the question: query_engine = index.as_query_engine() response = query_engine.query(\"When's my boss's birthday?\" print(response)<\/code><\/pre>\n<p>\u0412\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u0432\u0441\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u041a\u0430\u043a\u00a0\u0438 \u0432\u00a0\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435, \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u0441\u00a0\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u044e\u0430\u043d\u0441\u043e\u0432. \u041a\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043d\u0435\u00a0\u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0438\u043b\u0438\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0445\u0443\u0436\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u0434\u0430\u0436\u0435 \u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<h4>\u0427\u0442\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c &amp; \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/www.anyscale.com\/blog\/a-comprehensive-guide-for-building-rag-based-llm-applications-part-1\" rel=\"noopener noreferrer nofollow\">Building RAG\u2011based LLM Applications for Production<\/a>\u00a0\u2014 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0431\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u0445 RAG.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/towardsdatascience.com\/why-your-rag-is-not-reliable-in-a-production-environment-9e6a73b3eddb\" rel=\"noopener noreferrer nofollow\">Why Your RAG Is Not Reliable in a Production Environment<\/a>\u00a0\u2014 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u043e\u00a0\u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u0445, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 RAG.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/betterprogramming.pub\/7-query-strategies-for-navigating-knowledge-graphs-with-llamaindex-ed551863d416\" rel=\"noopener noreferrer nofollow\">7\u00a0Query Strategies for Navigating Knowledge Graphs With LlamaIndex<\/a>\u00a0\u2014 \u043e\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 RAG\u2011\u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0430 \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c LlamaIndex.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/platform.openai.com\/docs\/assistants\/tools\/knowledge-retrieval\" rel=\"noopener noreferrer nofollow\">OpenAI Retrieval tool<\/a>\u00a0\u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 RAG OpenAI, \u0435\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0443\u0441\u0438\u043b\u0438\u0439.<\/p>\n<\/li>\n<\/ul>\n<h3>5. Fine-Tuning LLM<\/h3>\n<p>Fine\u2011tuning\u00a0\u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u043d\u0435\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 LLM \u043d\u0430\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u041d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u00a0\u2014 \u0430\u00a0\u0437\u0430\u0447\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0435\u0441\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e RAG? \u041f\u0440\u043e\u0441\u0442\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f\u00a0\u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0438\u043b\u0438\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0435\u0435 \u0441\u0442\u0438\u043b\u044c. \u041a\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u044f \u0441\u043e\u0437\u0434\u0430\u043b \u043a\u043e\u043f\u0438\u044e \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0435\u0431\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f fine\u2011tuning \u043d\u0430\u00a0\u043b\u0438\u0447\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4b\/99f\/1c4\/a4b99f1c44e677857d302c02aa576ca0.gif\" alt=\"Demo of the fine-tuned model on the author\u2019s correspondences\" title=\"Demo of the fine-tuned model on the author\u2019s correspondences\" width=\"725\" height=\"798\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4b\/99f\/1c4\/a4b99f1c44e677857d302c02aa576ca0.gif\"\/><\/p>\n<div><figcaption>Demo of the fine-tuned model on the author\u2019s correspondences<\/figcaption><\/div>\n<\/figure>\n<p>\u041b\u0430\u0434\u043d\u043e, \u0435\u0441\u043b\u0438 \u044f \u0432\u0430\u0441 \u0443\u0431\u0435\u0434\u0438\u043b \u0432\u00a0\u0435\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a\u00a0\u043e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u0441\u043f\u043e\u0439\u043b\u0435\u0440\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u0442\u0430\u043a \u0443\u0436 \u0438 \u0441\u043b\u043e\u0436\u043d\u043e):<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3cd\/127\/d4e\/3cd127d4ec49c3266fceb7e219122bda.png\" alt=\"Classical approach of fine-tuning on domain specific data\" title=\"Classical approach of fine-tuning on domain specific data\" width=\"828\" height=\"514\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3cd\/127\/d4e\/3cd127d4ec49c3266fceb7e219122bda.png\"\/><\/p>\n<div><figcaption>Classical approach of fine-tuning on domain specific data<\/figcaption><\/div>\n<\/figure>\n<ol>\n<li>\n<p>\u0412\u043e\u0437\u044c\u043c\u0438\u0442\u0435 \u0431\u0430\u0437\u043e\u0432\u0443\u044e LLM. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0435\u0435 \u0441 <a href=\"https:\/\/huggingface.co\/spaces\/HuggingFaceH4\/open_llm_leaderboard\" rel=\"noopener noreferrer nofollow\">HuggingFace<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u044c\u0442\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u0412\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438 \u043e\u0442\u0432\u0435\u0442\u044b. <a href=\"https:\/\/huggingface.co\/datasets\/databricks\/databricks-dolly-15k\" rel=\"noopener noreferrer nofollow\">\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440<\/a> \u0442\u0430\u043a\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u041c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/www.promptingguide.ai\/applications\/generating\" rel=\"noopener noreferrer nofollow\">\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/a> \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e GPT-4.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u0430\u00a0\u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b LoRA \u0438 QLoRA.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p><strong>\u041d\u0438\u0448\u0435\u0432\u044b\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f:<\/strong> \u041a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043e \u043d\u0430\u00a0\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u0435\u043c\u0430\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0\u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043b\u0435\u043a\u0441\u0438\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0430:<\/strong> \u0414\u043b\u044f\u00a0\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u043e\u043d\u0430 \u0438\u043b\u0438\u00a0\u0441\u0442\u0438\u043b\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 <a href=\"https:\/\/beta.character.ai\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430 \u0418\u0418<\/a>, \u0431\u0443\u0434\u044c \u0442\u043e \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0441\u0442\u044c \u0438\u043b\u0438\u00a0\u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436 \u0438\u0437\u00a0\u043a\u043d\u0438\u0433\u0438.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u041d\u0415 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p><strong>Broad Applications:<\/strong> \u041a\u043e\u0433\u0434\u0430 \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0431\u0448\u0438\u0440\u043d\u0430\u044f \u0438 \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:<\/strong> \u0414\u043b\u044f\u00a0fine\u2011tuning \u043d\u0443\u0436\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e <a href=\"https:\/\/www.confident-ai.com\/blog\/how-to-generate-synthetic-data-using-llms-part-1\" rel=\"noopener noreferrer nofollow\">\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u0440\u0443\u0433\u043e\u0433\u043e LLM.<\/a> \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/github.com\/gururise\/AlpacaDataCleaned\" rel=\"noopener noreferrer nofollow\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442 Alpaca<\/a>, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 52\u00a0\u0442\u044b\u0441. \u043f\u0430\u0440 &#171;instruction\u2011response&#187;\u00a0\u0431\u044b\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d \u0434\u043b\u044f\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0439 finetuning <a href=\"https:\/\/arxiv.org\/abs\/2302.13971\" rel=\"noopener noreferrer nofollow\">Llama v1<\/a> \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043d\u0430\u0447\u0430\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0414\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c \u0432\u0430\u0448\u0443 LLM<\/h4>\n<p>\u041d\u0430\u00a0\u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0430\u0442\u0435\u0439, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0445 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041a\u0430\u043a\u00a0\u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1000\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0Medium. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435\u00a0\u0445\u043e\u0447\u0443 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u0442\u044c\u0441\u044f \u0432\u00a0\u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u0438 \u043f\u043e\u043a\u0430\u0436\u0443 \u0432\u0430\u043c \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 Lit\u2011GPT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u044e \u043c\u0430\u0433\u0438\u044e \u0432\u043d\u0443\u0442\u0440\u0438. \u0414\u0430, \u043e\u043d\u0430 \u043d\u0435\u00a0\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u0430\u0441\u0442\u043e\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043d\u043e\u00a0\u0437\u0430\u0442\u043e \u043c\u043e\u0436\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0418 \u0432\u043d\u043e\u0432\u044c \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f\u00a0\u043b\u0438\u0448\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u0447\u0435\u043a \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\"># 1. Download the model: python scripts\/download.py --repo_id meta-llama\/Llama-2-7b  # 2. Convert the checkpoint to the lit-gpt format: python scripts\/convert_hf_checkpoint.py --checkpoint_dir checkpoints\/llama  # 3. Generate an instruction tuning dataset: python scripts\/prepare_alpaca.py  # it should be your dataset  # 4. Run the finetuning script python finetune\/lora.py \\     --checkpoint_dir checkpoints\/llama\/     --data_dir your_data_folder\/     --out_dir my_finetuned_model\/ <\/code><\/pre>\n<p>\u0418 \u0432\u0441\u0435! \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0436\u0435 \u0437\u0430\u043f\u0443\u0449\u0435\u043d:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/027\/3bc\/4c6\/0273bc4c6e6380bfaae39d341a3bbc94.gif\" width=\"727\" height=\"364\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/027\/3bc\/4c6\/0273bc4c6e6380bfaae39d341a3bbc94.gif\"\/><\/figure>\n<blockquote>\n<p>\u0418\u043c\u0435\u0439\u0442\u0435 \u0432 \u0432\u0438\u0434\u0443, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043d\u044f\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0414\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Falcon-7B \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435 A100 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 10 \u0447\u0430\u0441\u043e\u0432 \u0438 30 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<\/blockquote>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u043b, \u0438 \u043c\u044b\u00a0\u043b\u0438\u0448\u044c \u043f\u0440\u043e\u0448\u043b\u0438\u0441\u044c \u043f\u043e\u00a0\u0432\u0435\u0440\u0445\u0430\u043c. \u0412\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 fine\u2011tuning \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0438 \u0434\u043b\u044f\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u0445, \u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u0438 \u043c\u043d\u043e\u0433\u043e\u043c \u0434\u0440\u0443\u0433\u043e\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u0434\u0430\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0443\u00a0\u0432\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0432\u0430\u0448\u0438\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c.<\/p>\n<h4>\u0427\u0442\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c &amp; \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/medium.com\/better-programming\/unleash-your-digital-twin-how-fine-tuning-llm-can-create-your-perfect-doppelganger-b5913e7dda2e\" rel=\"noopener noreferrer nofollow\">Create a Clone of Yourself With a Fine-tuned LLM<\/a>\u00a0\u2014 \u043c\u043e\u044f \u0441\u0442\u0430\u0442\u044c\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043e \u0441\u0431\u043e\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u0430\u043b \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u043e\u0432\u0435\u0442\u044b \u043f\u043e fine-tuning.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/lightning.ai\/pages\/community\/article\/understanding-llama-adapters\/\" rel=\"noopener noreferrer nofollow\">Understanding Parameter-Efficient Fine-tuning of Large Language Models<\/a>\u00a0\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e, \u0435\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438\u0437\u0443\u0447\u0438\u0442\u044c \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e fine-tuning \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/lightning.ai\/pages\/community\/lora-insights\/\" rel=\"noopener noreferrer nofollow\">Fine-tuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments<\/a>\u00a0\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043c\u043e\u0438\u0445 \u043b\u044e\u0431\u0438\u043c\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 LoRA.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/platform.openai.com\/docs\/guides\/fine-tuning\" rel=\"noopener noreferrer nofollow\">OpenAI Fine-tuning<\/a>\u00a0\u2014  \u0435\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c GPT-3.5 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u0441\u0438\u043b\u0438\u044f\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0414\u0435\u043f\u043b\u043e\u0439 LLM \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0432\u0441\u0435, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e, &#8212; \u044d\u0442\u043e <a href=\"https:\/\/youtu.be\/Qyel-oWsJPQ\" rel=\"noopener noreferrer nofollow\">\u043d\u0430\u0436\u0430\u0442\u044c \u043a\u043d\u043e\u043f\u043a\u0443<\/a> &#171;deploy&#187;\u2026<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/740\/99b\/ab0\/74099bab06bd00884ac56abcbcab2d2e.png\" width=\"766\" height=\"425\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/740\/99b\/ab0\/74099bab06bd00884ac56abcbcab2d2e.png\"\/><\/figure>\n<p>\u041a\u00a0\u0441\u0447\u0430\u0441\u0442\u044c\u044e, \u044d\u0442\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0438\u043c\u043e. \u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0437\u0430\u0434\u0435\u043f\u043b\u043e\u0438\u0442\u044c LLMs. \u0427\u0442\u043e\u00a0\u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u0445 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438:<\/p>\n<ul>\n<li>\n<p>\u041c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u043e\u0431\u0451\u0440\u0442\u043e\u043a \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0411\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0411\u044b\u0441\u0442\u0440\u043e\u0435 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0412\u044b\u0431\u043e\u0440 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430<\/h4>\n<p>\u0412\u044b\u0431\u043e\u0440 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432: \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u00a0\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438, \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 \u043d\u0435\u00a0\u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u0434\u0430\u0435\u0442 \u043d\u0430\u043c \u043d\u0435\u043a\u043e\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u00a0\u2014 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0449\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0438\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f\u0445. \u042f \u0441\u0434\u0435\u043b\u0430\u043b \u0434\u043b\u044f\u00a0\u0432\u0430\u0441 \u00ab\u0448\u043f\u0430\u0440\u0433\u0430\u043b\u043a\u0443\u00bb, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/688\/597\/df1\/688597df1568f2aa850ccbddc3d42edd.png\" width=\"1100\" height=\"306\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/688\/597\/df1\/688597df1568f2aa850ccbddc3d42edd.png\"\/><\/figure>\n<p>\u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u0432\u044b \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u0432 \u043c\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u201c<a href=\"https:\/\/medium.com\/better-programming\/frameworks-for-serving-llms-60b7f7b23407\" rel=\"noopener noreferrer nofollow\">7 Frameworks for Serving LLMs<\/a>\u201d. \u0421\u043e\u0432\u0435\u0442\u0443\u044e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0439, \u0435\u0441\u043b\u0438 \u0440\u0435\u0448\u0438\u0442\u0435 \u0437\u0430\u0434\u0435\u043f\u043b\u043e\u0438\u0442\u044c LLM.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/542\/788\/29f\/54278829f9bd77e287d4d01c1bfbc9c6.png\" alt=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u0432\u043e\u0434\u0430 LLMs\" title=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u0432\u043e\u0434\u0430 LLMs\" width=\"1100\" height=\"430\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/542\/788\/29f\/54278829f9bd77e287d4d01c1bfbc9c6.png\"\/><\/p>\n<div><figcaption>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u0432\u043e\u0434\u0430 LLMs<\/figcaption><\/div>\n<\/figure>\n<h4>\u041f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u0434\u0430 \u0434\u043b\u044f \u0434\u0435\u043f\u043b\u043e\u044f<\/h4>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043e\u0442 \u0442\u0435\u043e\u0440\u0438\u0438 \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c LLaMA-2 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/github.com\/huggingface\/text-generation-inference\" rel=\"noopener noreferrer nofollow\">Text Generation Inference.<\/a> \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0432\u044b \u0443\u0436\u0435 \u0434\u043e\u0433\u0430\u0434\u0430\u043b\u0438\u0441\u044c, \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\"># 1. Create a folder where your model will be stored: mkdir data  # 2. Run Docker container (launch RestAPI service): docker run --gpus all --shm-size 1g -p 8080:80 \\     -v $volume:\/data \\     ghcr.io\/huggingface\/text-generation-inference:1.1.0     --model-id meta-llama\/Llama-2-7b  # 3. And now you can make requests: curl 127.0.0.1:8080\/generate \\     -X POST \\     -d '{\"inputs\":\"Tell me a joke!\",\"parameters\":{\"max_new_tokens\":20}}' \\     -H 'Content-Type: application\/json'<\/code><\/pre>\n<p>\u0413\u043e\u0442\u043e\u0432\u043e! \u0412\u044b \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 RestAPI\u2011\u0441\u0435\u0440\u0432\u0438\u0441 \u0441\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u044d\u043d\u0434\u043e\u043f\u043e\u0438\u043d\u0442\u043e\u043c Prometheus \u0434\u043b\u044f\u00a0\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0435\u0439 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0430. \u0420\u0430\u0437\u0432\u0435 \u044d\u0442\u043e \u043d\u0435\u00a0\u043c\u0430\u0433\u0438\u044f?<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/565\/c83\/afa\/565c83afa954dc7c0b101085d28abce3.png\" alt=\"\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043f\u043e API\" title=\"\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043f\u043e API\" width=\"828\" height=\"313\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/565\/c83\/afa\/565c83afa954dc7c0b101085d28abce3.png\"\/><\/p>\n<div><figcaption>\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043f\u043e API<\/figcaption><\/div>\n<\/figure>\n<h4>\u0427\u0442\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c &amp; \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/medium.com\/better-programming\/frameworks-for-serving-llms-60b7f7b23407\" rel=\"noopener noreferrer nofollow\">7\u00a0Frameworks for Serving LLMs<\/a>\u00a0\u2014 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 \u0434\u043b\u044f\u00a0\u0434\u0435\u043f\u043b\u043e\u044f LLMs \u0441\u00a0\u0438\u0445 \u043f\u043b\u044e\u0441\u0430\u043c\u0438 \u0438 \u043c\u0438\u043d\u0443\u0441\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/inference-endpoints\" rel=\"noopener noreferrer nofollow\">Inference Endpoints<\/a>\u00a0\u2014 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u043e\u0442\u00a0\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 HuggingFace, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0432\u0430\u043c \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043b\u0438\u043a\u043e\u0432. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 \u0434\u043b\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<h3>7. \u0427\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c<\/h3>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u00a0\u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f\u00a0\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0430\u00a0\u0431\u0430\u0437\u0435 LLMs, \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0432\u044b, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0441\u0442\u043e\u043b\u043a\u043d\u0435\u0442\u0435\u0441\u044c \u0432\u00a0\u0431\u0443\u0434\u0443\u0449\u0435\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0445\u043e\u0442\u0435\u043b\u00a0\u0431\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a:<\/p>\n<h4>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f<\/h4>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0432 \u0441\u0432\u043e\u044e \u043f\u0435\u0440\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0432\u044b \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u0439\u043c\u0435\u0442\u0435, \u0447\u0442\u043e\u00a0\u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u00a0\u0442\u0430\u043a\u00a0\u0431\u044b\u0441\u0442\u0440\u043e, \u043a\u0430\u043a\u00a0\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c\u00a0\u0431\u044b, \u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432. \u0412\u00a0\u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u00a0\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/medium.com\/better-programming\/speed-up-llm-inference-83653aa24c47\" rel=\"noopener noreferrer nofollow\">7\u00a0Ways To Speed Up Inference of Your Hosted LLMs<\/a>\u00a0\u2014 \u043c\u0435\u0442\u043e\u0434\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f LLMs \u0434\u043b\u044f\u00a0\u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/lightning.ai\/pages\/community\/tutorial\/pytorch-memory-vit-llm\/\" rel=\"noopener noreferrer nofollow\">Optimizing Memory Usage for Training LLMs in PyTorch<\/a>\u00a0\u2014 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0440\u044f\u0434 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u00a0PyTorch \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 20\u00a0\u0440\u0430\u0437 \u0431\u0435\u0437\u00a0\u0443\u0449\u0435\u0440\u0431\u0430 \u0434\u043b\u044f\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<\/li>\n<\/ul>\n<h4>Evaluating<\/h4>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e\u00a0\u0432\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c. \u041d\u043e\u00a0\u043a\u0430\u043a\u00a0\u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e\u00a0\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u043e\u0441\u044c? \u041a\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c?<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/explodinggradients.com\/all-about-evaluating-large-language-models\" rel=\"noopener noreferrer nofollow\">All about evaluating Large language models<\/a>\u00a0\u2014 \u043e\u0431\u0437\u043e\u0440\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u00a0\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/openai\/evals\" rel=\"noopener noreferrer nofollow\">evals<\/a>\u00a0\u2014 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f\u00a0\u043e\u0446\u0435\u043d\u043a\u0438 LLM \u0438 LLM\u2011\u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<\/li>\n<\/ul>\n<h4>Vector Databases<\/h4>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u0441\u00a0RAG, \u0442\u043e \u0432\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0430\u043c \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043e\u0442\u00a0\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438 \u043a\u00a0\u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u0441\u0435\u0439\u0447\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0430\u00a0\u0440\u044b\u043d\u043a\u0435 \u0438 \u0441\u00a0\u043a\u0430\u043a\u0438\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0438.<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/towardsdatascience.com\/all-you-need-to-know-about-vector-databases-and-how-to-use-them-to-augment-your-llm-apps-596f39adfedb\" rel=\"noopener noreferrer nofollow\">All You Need to Know about Vector Databases<\/a>\u00a0\u2014 \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/benchmark.vectorview.ai\/vectordbs.html\" rel=\"noopener noreferrer nofollow\">Picking a vector database: a comparison and guide for 2023<\/a>\u00a0\u2014 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 Pinecone, Weviate, Milvus, Qdrant, Chroma, Elasticsearch \u0438 PGvector.<\/p>\n<\/li>\n<\/ul>\n<h4>LLM-\u0430\u0433\u0435\u043d\u0442\u044b<\/h4>\n<p>\u041d\u0430\u00a0\u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u044d\u0442\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0432\u00a0LLMs. \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0432\u043c\u0435\u0441\u0442\u0435, \u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0438\u0437\u0443\u0447\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u0441\u044b\u043b\u043a\u0438.<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/paitesanshi\/llm-agent-survey#-more-comprehensive-summarization\" rel=\"noopener noreferrer nofollow\">A Survey on LLM\u2011based Autonomous Agents<\/a>\u00a0\u2014 \u043e\u0434\u0438\u043d \u0438\u0437\u00a0\u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u043e\u0431\u0437\u043e\u0440\u043e\u0432 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 LLM.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/microsoft\/autogen\" rel=\"noopener noreferrer nofollow\">autogen<\/a>\u00a0\u2014 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c LLM\u2011\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433 \u0441\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u0434\u043b\u044f\u00a0\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/xlang-ai\/OpenAgents\" rel=\"noopener noreferrer nofollow\">OpenAgents<\/a>\u00a0\u2014 \u043e\u0442\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0434\u043b\u044f\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<h4>Reinforcement Learning from Human Feedback (RLHF)<\/h4>\n<p>\u041a\u0430\u043a\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u044b \u0431\u0435\u0440\u0435\u0442\u0435 \u043d\u0430\u00a0\u0441\u0435\u0431\u044f \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c. \u0427\u0442\u043e, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0438\u0442 \u0433\u0440\u0443\u0431\u043e? \u0418\u043b\u0438\u00a0\u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043a\u0430\u043a\u00a0\u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043c\u0431\u0443? \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u044d\u0442\u043e\u0433\u043e, \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u044c\u0442\u0435\u0441\u044c \u0441\u00a0\u044d\u0442\u0438\u043c\u0438 \u0441\u0442\u0430\u0442\u044c\u044f\u043c\u0438:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/blog\/rlhf\" rel=\"noopener noreferrer nofollow\">Illustrating Reinforcement Learning from Human Feedback (RLHF)<\/a>\u00a0\u2014 \u043e\u0431\u0437\u043e\u0440\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0430\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044e RLHF.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/allenai\/RL4LMs\" rel=\"noopener noreferrer nofollow\">RL4LMs<\/a>\u00a0\u2014 \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 RL \u0434\u043b\u044f\u00a0fine\u2011tuning \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u00a0\u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f\u043c\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/huggingface\/trl\" rel=\"noopener noreferrer nofollow\">TRL<\/a>\u00a0\u2014 \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0440\u043d\u044b\u0445 LLM \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 Reinforcement Learning, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441\u00a0\u044d\u0442\u0430\u043f\u0430 Supervised Fine\u2011tuning (SFT), \u044d\u0442\u0430\u043f\u0430 Reward Modeling (RM) \u0438 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044f \u044d\u0442\u0430\u043f\u043e\u043c Proximal Policy Optimization (PPO).<\/p>\n<\/li>\n<\/ul>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0448\u0443\u043c\u0438\u0445\u0443, \u043e\u0442\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0432\u0441\u0435 \u0443\u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u0441\u0442\u0430\u043b\u0438, LLM \u0431\u0443\u0434\u0443\u0442 \u0441\u00a0\u043d\u0430\u043c\u0438 \u0435\u0449\u0435 \u0434\u043e\u043b\u0433\u043e, \u0438 \u0443\u043c\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0438\u0445 \u0441\u0442\u0435\u043a\u0435 \u0438 \u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0442\u044c \u0432\u0430\u043c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u0443\u0441\u0442. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u043c\u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0430\u0441 \u0432\u00a0\u044d\u0442\u0443 \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u0432\u00a0\u043d\u0435\u0439 \u043d\u0435\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0438 \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0433\u043e.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/775842\/\"> https:\/\/habr.com\/ru\/articles\/775842\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption> \u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043e Stable Diffusion  <\/figcaption><\/div>\n<\/figure>\n<p><a href=\"https:\/\/towardsdatascience.com\/all-you-need-to-know-to-develop-using-large-language-models-5c45708156bc\" rel=\"noopener noreferrer nofollow\">\u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0430\u0442\u044c\u0438 \u0421\u0435\u0440\u0433\u0435\u044f \u0421\u0430\u0432\u0432\u043e\u0432\u0430. <\/a><\/p>\n<p>\u0426\u0435\u043b\u044c \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f\u00a0\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 LLM. O\u043d\u0430 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u043a\u0430\u043a\u00a0\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c, \u0442\u0430\u043a \u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u043f\u043e\u00a0\u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e, \u0443\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0439 \u0438\u00a0\u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043f\u043e\u0433\u043b\u0443\u0431\u0436\u0435. \u0422\u0430\u043a\u0436\u0435 \u044f \u043f\u0440\u0438\u043a\u0440\u0435\u043f\u0438\u043b \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a \u0434\u043b\u044f\u00a0\u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c! <\/p>\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 Large Language Models  <\/h2>\n<p>\u0414\u0443\u043c\u0430\u044e, \u0432\u044b \u0443\u0436\u0435 \u0442\u044b\u0441\u044f\u0447\u0443 \u0440\u0430\u0437 \u0441\u043b\u044b\u0448\u0430\u043b\u0438, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 LLM, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u00a0\u0431\u0443\u0434\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0435\u0449\u0435 \u0440\u0430\u0437. \u0412\u0441\u0435, \u0447\u0442\u043e\u00a0\u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c: Large Language Model (LLM)\u00a0\u2014 \u044d\u0442\u043e \u041e\u0413\u0420\u041e\u041c\u041d\u0410\u042f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0435\u0435. <\/p>\n<figure class=\"full-width\">\n<div><figcaption> \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f GPT-3. \u041f\u0440\u043e GPT-4 \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043d\u0435\u0442.   <\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u0438, LLMs \u0441\u0442\u0430\u043b\u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b \u0438\u0437-\u0437\u0430 \u0438\u0445 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438. \u041e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c, \u0440\u0435\u0437\u044e\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u043c \u0438 \u0442.\u0434.  <\/p>\n<figure class=\"full-width\">\n<div><figcaption> \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 LLM  <\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0431\u044f LLMs:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/www.notion.so\/product\/ai\" rel=\"noopener noreferrer nofollow\">Notion AI<\/a>\u00a0\u2014 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u0430, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043d\u0442, \u043f\u0440\u0430\u0432\u0438\u0442 \u043e\u0440\u0444\u043e\u0433\u0440\u0430\u0444\u0438\u044e \u0438 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0443, \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043d \u0438 \u0438\u043d\u0442\u043e\u043d\u0430\u0446\u0438\u044e, \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/features\/copilot\" rel=\"noopener noreferrer nofollow\">GitHub Copilot<\/a>\u00a0\u2014 \u043f\u0438\u0448\u0435\u0442 \u0437\u0430\u00a0\u0432\u0430\u0441 \u043a\u043e\u0434, \u0434\u0430\u0451\u0442 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/blog.dropbox.com\/topics\/product\/introducing-AI-powered-tools\" rel=\"noopener noreferrer nofollow\">Dropbox Dash<\/a>\u00a0\u2014 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0438\u0441\u043a\u0430 \u043d\u0430\u00a0\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0438\u0437\u00a0\u043a\u0430\u043a\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 LLM, \u0442\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u043e\u0442 <a href=\"https:\/\/medium.com\/u\/7247bdeb9655?source=post_page-----5c45708156bc--------------------------------\" rel=\"noopener noreferrer nofollow\">Mark Riedl<\/a> \u00ab<a href=\"https:\/\/medium.com\/@mark-riedl\/a-very-gentle-introduction-to-large-language-models-without-the-hype-5f67941fa59e\" rel=\"noopener noreferrer nofollow\">A Very Gentle Introduction to Large Language Models without the Hype<\/a>\u00bb.<\/p>\n<h3>2. Open Source vs Closed Source Models<\/h3>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0439 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0432\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u044f \u0432\u044b\u0434\u0435\u043b\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c<\/strong>\u00a0\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0438\u0447\u0438\u043d, \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 self\u2011hosted \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u044b\u0441\u0442\u0440\u043e\u0435 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/strong>\u00a0\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u043e\u0432, \u0447\u0442\u043e\u0431\u044b\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0438\u0434\u0435\u0438 \u0431\u0435\u0437\u00a0\u0447\u0440\u0435\u0437\u043c\u0435\u0440\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/strong>\u00a0\u2014\u00a0\u043b\u0438\u0431\u043e \u0432\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443,\u00a0\u043b\u0438\u0431\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 \u043f\u043b\u0430\u0442\u043d\u044b\u0439 API.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e\u00a0\u043b\u0443\u0447\u0448\u0435, \u0430\u00a0\u0447\u0442\u043e\u00a0\u0445\u0443\u0436\u0435, \u043d\u0435\u0442. \u042f \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c\u0441\u044f \u0432\u00a0\u0434\u0435\u0442\u0430\u043b\u0438, \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u043e\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u00ab<a href=\"https:\/\/medium.com\/better-programming\/you-dont-need-hosted-llms-do-you-1160b2520526\" rel=\"noopener noreferrer nofollow\">You don\u00bbt need hosted LLMs, do you?<\/a>\u00bb.<\/p>\n<h4>\u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 Open Source models<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/meta-llama\/Llama-2-7b-chat-hf\" rel=\"noopener noreferrer nofollow\">LLaMA-2<\/a> \u043e\u0442 <strong>Meta<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/tiiuae\/falcon-7b\" rel=\"noopener noreferrer nofollow\">Falcon<\/a> \u043e\u0442 <strong>Technology Innovation Institute in Abu Dhabi<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/mistralai\/Mistral-7B-v0.1\" rel=\"noopener noreferrer nofollow\">Mistral<\/a> \u043e\u0442 <strong>Mistral AI<\/strong><\/p>\n<\/li>\n<\/ul>\n<h4>\u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 Closed Source models<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/openai.com\/gpt-4\" rel=\"noopener noreferrer nofollow\">GPT-4<\/a> \u043e\u0442 <strong>OpenAI<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/bard.google.com\/\" rel=\"noopener noreferrer nofollow\">Bard<\/a> \u043e\u0442 <strong>Google<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.anthropic.com\/\" rel=\"noopener noreferrer nofollow\">Claude<\/a> \u043e\u0442 <strong>Anthropic<\/strong><\/p>\n<\/li>\n<\/ul>\n<p><a href=\"https:\/\/www.promptingguide.ai\/models\/collection\" rel=\"noopener noreferrer nofollow\">\u0412\u043e\u0442 \u0442\u0443\u0442<\/a> \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u0438\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c.<\/p>\n<h3>\u041f\u0440\u043e\u043c\u043f\u0442-\u0418\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433<\/h3>\n<p>\u0417\u043d\u0430\u044e, \u0437\u043d\u0430\u044e, \u043c\u043d\u043e\u0433\u0438\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u044d\u0442\u043e \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0430\u0443\u043a\u043e\u0439 \u0438\u043b\u0438\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0448\u0443\u043c\u0438\u0445\u043e\u0439. \u041d\u043e\u00a0\u043f\u0440\u0430\u0432\u0434\u0430 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043c\u044b \u0434\u043e\u00a0\u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435\u00a0\u0434\u043e\u00a0\u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u043a\u0430\u043a\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 LLM. \u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u044e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u0430\u00a0\u0438\u043d\u043e\u0433\u0434\u0430 \u043b\u0433\u0443\u0442 \u0438\u043b\u0438\u00a0\u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u0443\u044e\u0442? \u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u00a0\u043f\u0440\u043e\u043c\u043f\u0442 \u00ablet\u00bbs think step\u2011by\u2011step\u00bb \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e?<\/p>\n<figure class=\"full-width\">\n<div><figcaption> \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043a\u0440\u0430\u0441\u043a\u0438 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u044e\u0431\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.  <\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u044d\u0442\u0438\u043c \u0443\u0447\u0435\u043d\u044b\u043c \u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u0430\u043c \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u043c\u0438, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLMs<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0435\u00a0\u0431\u0443\u0434\u0443 \u0443\u0442\u043e\u043c\u043b\u044f\u0442\u044c \u0432\u0430\u0441 \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u0441\u0445\u0435\u043c\u0430\u043c\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432. \u041b\u0443\u0447\u0448\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0442\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u0435\u0440\u0444\u043e\u043c\u0430\u043d\u0441:<\/p>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2205.11916.pdf\" rel=\"noopener noreferrer nofollow\"><strong><em>\u201cLet\u2019s think step by step\u201d<\/em><\/strong><\/a>\u00a0\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2309.03409.pdf\" rel=\"noopener noreferrer nofollow\"><strong><em>\u201cTake a deep breath and work on this problem step-by-step\u201c<\/em><\/strong><\/a>\u2014 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0430, \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2307.11760.pdf\" rel=\"noopener noreferrer nofollow\"><strong><em>\u201cThis is very important to my career\u201d<\/em><\/strong><\/a>\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u044d\u0442\u043e \u0432 \u043a\u043e\u043d\u0435\u0446 \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u0438 \u0432\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 5-20%.<\/p>\n<\/li>\n<\/ol>\n<p>\u0410 \u0432\u043e\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u043f\u0440\u043e\u043c\u043f\u0442\u0430:<\/p>\n<blockquote>\n<p><em>Let\u2019s combine our\u00a0<\/em><strong><em>X<\/em><\/strong><em>\u00a0command and clear thinking to quickly and accurately decipher the answer in the step-by-step approach. Provide details and include sources in the answer. This is very important to my career.<\/em><\/p>\n<p><em>Where\u00a0<\/em><strong><em>X<\/em><\/strong><em>\u00a0is the industry of the task you are solving, for example, programming.<\/em><\/p>\n<\/blockquote>\n<p>\u041d\u0430\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0447\u0435\u0440\u043e\u0432 \u043d\u0430 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u043f\u0440\u043e\u043c\u043f\u0442-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0430. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439. \u041c\u043e\u0436\u043d\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0441 \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f <a href=\"https:\/\/www.promptingguide.ai\/\" rel=\"noopener noreferrer nofollow\"><strong>Prompt Engineering Guide<\/strong><\/a>, \u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0441\u0432\u043e\u0434\u043a\u0430.<\/p>\n<h4>\u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438:<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/hegelai\/prompttools\" rel=\"noopener noreferrer nofollow\">prompttools<\/a> &#8212; \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, OpenAI, LLaMA).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/promptfoo\/promptfoo\" rel=\"noopener noreferrer nofollow\">promptfoo<\/a> &#8212; \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0446\u0435\u043d\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 LLMs.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/f\/awesome-chatgpt-prompts\" rel=\"noopener noreferrer nofollow\">Awesome ChatGPT Prompts<\/a> &#8212; \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 ChatGPT.<\/p>\n<\/li>\n<\/ul>\n<h3>4. \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: Retrieval Augmented Generation (RAG)<\/h3>\n<p>RAG\u00a0\u2014 \u0442\u0435\u0445\u043d\u0438\u043a\u0430, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0430\u044f LLM \u0441\u00a0\u0432\u043d\u0435\u0448\u043d\u0438\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u0439. \u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u043b\u0438\u00a0\u043a\u0430\u043a\u0438\u0435\u2011\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e.<\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0443\u0441\u0442\u0440\u0430\u0448\u0430\u044e\u0449\u0435\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 (\u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u00a0\u043d\u0435\u043c\u0443 \u0441\u043b\u043e\u0432\u043e \u00abreranker\u00bb), \u043d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0440\u044b\u0439 \u0438 \u043d\u0430\u00a0\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043c\u0435\u0442\u043e\u0434:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 RAG<\/figcaption><\/div>\n<\/figure>\n<ol>\n<li>\n<p>\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0432\u00a0\u0447\u0438\u0441\u043b\u0430, \u043c\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0438\u0445 <a href=\"https:\/\/towardsdatascience.com\/neural-network-embeddings-explained-4d028e6f0526\" rel=\"noopener noreferrer nofollow\">\u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u00a0\u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u0443\u00a0\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0449\u0435\u043c \u0442\u043e\u043f K \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Cosine_similarity\" rel=\"noopener noreferrer nofollow\">cosine similarity<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0441\u0438\u043c LLM \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p>\u041d\u0443\u0436\u043d\u0430 <strong>\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f<\/strong>: \u0415\u0441\u043b\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432\u00a0\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c. \u041a\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0435\u0441\u043b\u0438 \u0440\u0435\u0447\u044c \u0438\u0434\u0435\u0442 \u043e\u00a0\u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u0423\u0437\u043a\u0430\u044f \u0434\u043e\u043c\u0435\u043d\u043d\u0430\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u044c:<\/strong> \u0415\u0441\u043b\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442\u0441\u044f \u043e\u0441\u043e\u0431\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f, \u0432\u044b\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0437\u0430\u00a0\u0440\u0430\u043c\u043a\u0438 \u0443\u0447\u0435\u0431\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 LLM. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u041d\u0415 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p><strong>General Conversational Applications:<\/strong> \u0415\u0441\u043b\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u0431\u0449\u0430\u044f \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0442\u043e RAG \u0432\u0430\u043c \u043d\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b:<\/strong> \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 RAG \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u0439, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e &#8212; \u0445\u043e\u0442\u044f \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0447\u0435\u043c fine-tuning.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0413\u043e\u0442\u043e\u0432\u0438\u043c RAG<\/h4>\n<p>\u041e\u0442\u043b\u0438\u0447\u043d\u043e\u0439 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/run-llama\/llama_index\" rel=\"noopener noreferrer nofollow\">LlamaIndex<\/a>. \u041e\u043d\u0430 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a LLMs. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from llama_index import VectorStoreIndex, SimpleDirectoryReader  # 1. Load your documents: documents = SimpleDirectoryReader(\"YOUR_DATA\").load_data()  # 2. Convert them to vectors: index = VectorStoreIndex.from_documents(documents)  # 3. Ask the question: query_engine = index.as_query_engine() response = query_engine.query(\"When's my boss's birthday?\" print(response)<\/code><\/pre>\n<p>\u0412\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u0432\u0441\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u041a\u0430\u043a\u00a0\u0438 \u0432\u00a0\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435, \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u0441\u00a0\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u043d\u044e\u0430\u043d\u0441\u043e\u0432. \u041a\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043d\u0435\u00a0\u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0438\u043b\u0438\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0445\u0443\u0436\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u0434\u0430\u0436\u0435 \u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<h4>\u0427\u0442\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c &amp; \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438<\/h4>\n<ul>\n<li>\n<p><a href=\"https:\/\/www.anyscale.com\/blog\/a-comprehensive-guide-for-building-rag-based-llm-applications-part-1\" rel=\"noopener noreferrer nofollow\">Building RAG\u2011based LLM Applications for Production<\/a>\u00a0\u2014 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0431\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u0445 RAG.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/towardsdatascience.com\/why-your-rag-is-not-reliable-in-a-production-environment-9e6a73b3eddb\" rel=\"noopener noreferrer nofollow\">Why Your RAG Is Not Reliable in a Production Environment<\/a>\u00a0\u2014 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u043e\u00a0\u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u0445, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 RAG.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/betterprogramming.pub\/7-query-strategies-for-navigating-knowledge-graphs-with-llamaindex-ed551863d416\" rel=\"noopener noreferrer nofollow\">7\u00a0Query Strategies for Navigating Knowledge Graphs With LlamaIndex<\/a>\u00a0\u2014 \u043e\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 RAG\u2011\u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0430 \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c LlamaIndex.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/platform.openai.com\/docs\/assistants\/tools\/knowledge-retrieval\" rel=\"noopener noreferrer nofollow\">OpenAI Retrieval tool<\/a>\u00a0\u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 RAG OpenAI, \u0435\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0443\u0441\u0438\u043b\u0438\u0439.<\/p>\n<\/li>\n<\/ul>\n<h3>5. Fine-Tuning LLM<\/h3>\n<p>Fine\u2011tuning\u00a0\u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u043d\u0435\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 LLM \u043d\u0430\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u041d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u00a0\u2014 \u0430\u00a0\u0437\u0430\u0447\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0435\u0441\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e RAG? \u041f\u0440\u043e\u0441\u0442\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f\u00a0\u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0438\u043b\u0438\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0435\u0435 \u0441\u0442\u0438\u043b\u044c. \u041a\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u044f \u0441\u043e\u0437\u0434\u0430\u043b \u043a\u043e\u043f\u0438\u044e \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0435\u0431\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f fine\u2011tuning \u043d\u0430\u00a0\u043b\u0438\u0447\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0435:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>Demo of the fine-tuned model on the author\u2019s correspondences<\/figcaption><\/div>\n<\/figure>\n<p>\u041b\u0430\u0434\u043d\u043e, \u0435\u0441\u043b\u0438 \u044f \u0432\u0430\u0441 \u0443\u0431\u0435\u0434\u0438\u043b \u0432\u00a0\u0435\u0433\u043e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a\u00a0\u043e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u0441\u043f\u043e\u0439\u043b\u0435\u0440\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u0442\u0430\u043a \u0443\u0436 \u0438 \u0441\u043b\u043e\u0436\u043d\u043e):<\/p>\n<figure class=\"full-width\">\n<div><figcaption>Classical approach of fine-tuning on domain specific data<\/figcaption><\/div>\n<\/figure>\n<ol>\n<li>\n<p>\u0412\u043e\u0437\u044c\u043c\u0438\u0442\u0435 \u0431\u0430\u0437\u043e\u0432\u0443\u044e LLM. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0435\u0435 \u0441 <a href=\"https:\/\/huggingface.co\/spaces\/HuggingFaceH4\/open_llm_leaderboard\" rel=\"noopener noreferrer nofollow\">HuggingFace<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u044c\u0442\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u0412\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438 \u043e\u0442\u0432\u0435\u0442\u044b. <a href=\"https:\/\/huggingface.co\/datasets\/databricks\/databricks-dolly-15k\" rel=\"noopener noreferrer nofollow\">\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440<\/a> \u0442\u0430\u043a\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u041c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/www.promptingguide.ai\/applications\/generating\" rel=\"noopener noreferrer nofollow\">\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/a> \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e GPT-4.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u0430\u00a0\u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b LoRA \u0438 QLoRA.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p><strong>\u041d\u0438\u0448\u0435\u0432\u044b\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f:<\/strong> \u041a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043e \u043d\u0430\u00a0\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u0435\u043c\u0430\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0\u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043b\u0435\u043a\u0441\u0438\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0430:<\/strong> \u0414\u043b\u044f\u00a0\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u043e\u043d\u0430 \u0438\u043b\u0438\u00a0\u0441\u0442\u0438\u043b\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 <a href=\"https:\/\/beta.character.ai\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430 \u0418\u0418<\/a>, \u0431\u0443\u0434\u044c \u0442\u043e \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0441\u0442\u044c \u0438\u043b\u0438\u00a0\u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436 \u0438\u0437\u00a0\u043a\u043d\u0438\u0433\u0438.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u041d\u0415 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p><strong>Broad Applications:<\/strong> \u041a\u043e\u0433\u0434\u0430 \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0431\u0448\u0438\u0440\u043d\u0430\u044f \u0438 \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:<\/strong> \u0414\u043b\u044f\u00a0fine\u2011tuning \u043d\u0443\u0436\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e <a href=\"https:\/\/www.confident-ai.com\/blog\/how-to-generate-synthetic-data-using-llms-part-1\" rel=\"noopener noreferrer nofollow\">\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u0440\u0443\u0433\u043e\u0433\u043e LLM.<\/a> \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/github.com\/gururise\/AlpacaDataCleaned\" rel=\"noopener noreferrer nofollow\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442 Alpaca<\/a>, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 52\u00a0\u0442\u044b\u0441. \u043f\u0430\u0440 &#171;instruction\u2011response&#187;\u00a0\u0431\u044b\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d \u0434\u043b\u044f\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0439 finetuning <a href=\"https:\/\/arxiv.org\/abs\/2302.13971\" rel=\"noopener noreferrer nofollow\">Llama v1<\/a> \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u043d\u0430\u0447\u0430\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0414\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c \u0432\u0430\u0448\u0443 LLM<\/h4>\n<p>\u041d\u0430\u00a0\u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0430\u0442\u0435\u0439, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0445 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041a\u0430\u043a\u00a0\u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1000\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0Medium. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435\u00a0\u0445\u043e\u0447\u0443 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u0442\u044c\u0441\u044f \u0432\u00a0\u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u0438 \u043f\u043e\u043a\u0430\u0436\u0443 \u0432\u0430\u043c \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 Lit\u2011GPT, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u044e \u043c\u0430\u0433\u0438\u044e \u0432\u043d\u0443\u0442\u0440\u0438. \u0414\u0430, \u043e\u043d\u0430 \u043d\u0435\u00a0\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u0430\u0441\u0442\u043e\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043d\u043e\u00a0\u0437\u0430\u0442\u043e \u043c\u043e\u0436\u043d\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0418 \u0432\u043d\u043e\u0432\u044c \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f\u00a0\u043b\u0438\u0448\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u0447\u0435\u043a \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\"># 1. Download the model: python scripts\/download.py --repo_id meta-llama\/Llama-2-7b  # 2. Convert the checkpoint to the lit-gpt format: python scripts\/convert_hf_checkpoint.py --checkpoint_dir checkpoints\/llama  # 3. Generate an instruction tuning dataset: python scripts\/prepare_alpaca.py  # it should be your dataset  # 4. Run the finetuning script python finetune\/lora.py \\     --checkpoint_dir checkpoints\/llama\/     --data_dir your_data_folder\/     --out_dir my_finetuned_model\/ <\/code><\/pre>\n<p>\u0418 \u0432\u0441\u0435! \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0436\u0435 \u0437\u0430\u043f\u0443\u0449\u0435\u043d:<\/p>\n<figure class=\"full-width\"><\/figure>\n<blockquote>\n<p>\u0418\u043c\u0435\u0439\u0442\u0435 \u0432 \u0432\u0438\u0434\u0443, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043d\u044f\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0414\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Falcon-7B \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435 A100 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 10 \u0447\u0430\u0441\u043e\u0432 \u0438 30 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<\/blockquote>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u043b, \u0438 \u043c\u044b\u00a0\u043b\u0438\u0448\u044c \u043f\u0440\u043e\u0448\u043b\u0438\u0441\u044c \u043f\u043e\u00a0\u0432\u0435\u0440\u0445\u0430\u043c. \u0412\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-360965","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/360965","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=360965"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/360965\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=360965"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=360965"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=360965"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}