{"id":361398,"date":"2024-05-21T01:12:50","date_gmt":"2024-05-21T01:12:50","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=361398"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-05-21T01:12:50","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=361398","title":{"rendered":"<span>\u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 saiga2_7b_lora<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442 \u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0438!<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0435 \u044f \u0431\u044b \u0445\u043e\u0442\u0435\u043b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0430\u043c, \u043a\u0430\u043a \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c 7-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0421\u0430\u0439\u0433\u0438 \u0418\u043b\u044c\u0438 \u0413\u0443\u0441\u0435\u0432\u0430 <a href=\"https:\/\/habr.com\/ru\/users\/Takagi\/\" rel=\"noopener noreferrer nofollow\">@Takagi<\/a> \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0435\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u043e\u043c \u043f\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 Kaggle. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u043d\u0430\u0448\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u0440\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 LLM, \u043d\u043e \u0432\u0441\u0435 \u043e\u043d\u0438 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u0432\u043e\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0433\u043e\u043d\u044f\u044f \u0432 \u0442\u0443\u043f\u0438\u043a \u0442\u0435\u0445, \u0443 \u043a\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u00ab\u0436\u0435\u043b\u0435\u0437\u0435\u00bb \u043d\u0435\u0442.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/087\/70c\/57d\/08770c57d1e7662cf853dac2633f420b.png\" alt=\"\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e GigaChat \" title=\"\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e GigaChat \" width=\"1024\" height=\"1024\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/087\/70c\/57d\/08770c57d1e7662cf853dac2633f420b.png\"\/><\/p>\n<div><figcaption>\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e GigaChat <\/figcaption><\/div>\n<\/figure>\n<h3>\u041d\u0430\u0447\u043d\u0451\u043c \u043f\u043e\u0436\u0430\u043b\u0443\u0439 \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u00ab\u041f\u043e\u0447\u0435\u043c\u0443 Kaggle, \u0430 \u043d\u0435 Google Collab?\u00bb<\/h3>\n<p>\u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Kaggle \u043d\u0430\u0434 Google Collab \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u0430\u043d\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u0432\u044b\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430 30 \u0447\u0430\u0441\u043e\u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u043d\u0435\u0434\u0435\u043b\u044e (\u0435\u0441\u043b\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e GPU). \u041f\u043b\u044e\u0441 Notebook, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435, \u043d\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442 \u0441\u0432\u043e\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 12 \u0447\u0430\u0441\u043e\u0432 (\u0435\u0441\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043e\u0434 \u0442\u0430\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f), \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Collab`\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0432\u0430\u043c \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0435\u0441\u043b\u0438 \u0432\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0442\u0434\u043e\u0445\u043d\u0443\u0442\u044c \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u043a\u043e\u0434 \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0412\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u0442\u0435 \u0432\u0441\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h3>\u0414\u0430\u0442\u0430\u0441\u0435\u0442<\/h3>\n<p>\u041a\u0430\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u0432\u043e\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f? \u042d\u0442\u0438\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c \u044f \u0437\u0430\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043b\u044e\u0431\u0443\u044e LLM. \u0418 \u0432 \u043e\u0434\u0438\u043d \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u0440\u0438\u0448\u043b\u043e \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fc\/39d\/e01\/5fc39de01f1301cb21de4b7994a1d33f.gif\" alt=\"\u041a\u0443\u0434\u0430 \u0436\u0435 \u0431\u0435\u0437 \u043c\u0435\u043c\u043e\u0432\" title=\"\u041a\u0443\u0434\u0430 \u0436\u0435 \u0431\u0435\u0437 \u043c\u0435\u043c\u043e\u0432\" width=\"498\" height=\"398\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fc\/39d\/e01\/5fc39de01f1301cb21de4b7994a1d33f.gif\"\/><\/p>\n<div><figcaption>\u041a\u0443\u0434\u0430 \u0436\u0435 \u0431\u0435\u0437 \u043c\u0435\u043c\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438. <strong>\u0412\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442!<\/strong> \u041d\u0435 \u0442\u043e, \u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u043c\u0442 \u0432\u044b \u0435\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0435, \u0430 \u0442\u043e \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0438\u043c\u0435\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043c\u0442 \u0438 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043a\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u043d\u0430 Hugging Face \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 <a href=\"https:\/\/huggingface.co\/IlyaGusev\/saiga2_7b_lora\" rel=\"noopener noreferrer nofollow\">\u0421\u0430\u0439\u0433\u0438 <\/a>\u043e\u0442 \u0418\u043b\u044c\u0438 \u0413\u0443\u0441\u0435\u0432\u0430. \u041f\u043e \u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0444\u0430\u0439\u043b\u0430\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f LLama \u043d\u0430 GitHub \u043f\u0440\u043e\u0435\u043a\u0442\u0430 <a href=\"https:\/\/github.com\/IlyaGusev\/rulm\" rel=\"noopener noreferrer nofollow\">rulm<\/a> \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0431\u044b\u043b \u00ab\u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u00bb \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0441\u043f\u0430\u0441\u0438\u0431\u043e \u0430\u0432\u0442\u043e\u0440\u0443, \u0447\u0442\u043e \u043e\u043d \u0432 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043a\u043e\u0434 \u0434\u043b\u044f \u0435\u0451 \u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043a\u043e\u0434 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u0442\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p><a href=\"https:\/\/www.kaggle.com\/code\/yarasslove\/extraction-saiga\" rel=\"noopener noreferrer nofollow\">Kaggle<\/a><\/p>\n<\/div>\n<\/details>\n<p>\u0418\u0442\u0430\u043a, \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0441\u0442\u0440\u043e\u043a\u0430 9 \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 <strong>generate<\/strong>. <\/p>\n<pre><code class=\"python\">def generate(model, tokenizer, prompt, generation_config):     data = tokenizer(prompt, return_tensors=\"pt\")     data = {k: v.to(model.device) for k, v in data.items()}     output_ids = model.generate(         **data,         generation_config=generation_config     )[0]     output_ids = output_ids[len(data[\"input_ids\"][0]):]     output = tokenizer.decode(output_ids, skip_special_tokens=True)     return output.strip()<\/code><\/pre>\n<p>\u0410 \u0438\u043c\u0435\u043d\u043d\u043e output \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <strong>skip_special_tokens<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0432\u044b\u0432\u043e\u0434 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u043e \u043d\u0438\u0445 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043d\u0438\u0436\u0435). \u0418\u0437\u043c\u0435\u043d\u044f\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 <strong>False<\/strong>. \u0414\u0430\u043b\u0435\u0435 \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 \u043a\u043b\u0430\u0441\u0441\u043e\u043c Conversation.<\/p>\n<pre><code class=\"python\">def get_message(inputs):     conversation = Conversation()     conversation.add_user_message(inputs)     prompt = conversation.get_prompt(tokenizer)     print('\u041f\u0440\u043e\u043c\u0442', '\\n', '*'*100)     print(prompt)     print('*'*100)     output = generate(model, tokenizer, prompt, generation_config)     return output<\/code><\/pre>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0430, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u0442\u0430 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u043e\u043c\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u043c\u044b \u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0434 \u044d\u0442\u0438\u043c \u0432\u044b\u0432\u0435\u0434\u0435\u043c.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442 \u043f\u0440\u043e\u043c\u0442\u0430 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c4e\/99a\/7ad\/c4e99a7adb65cdc3673c4b374352ffd2.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 - \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438  \" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 - \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438  \" width=\"1103\" height=\"514\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c4e\/99a\/7ad\/c4e99a7adb65cdc3673c4b374352ffd2.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 &#8212; \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438  <\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u0441\u0435 \u043f\u0440\u043e\u043c\u0442\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438.<\/p>\n<ul>\n<li>\n<p><strong>bos_token_id<\/strong> (Beginning of Sequence token ID) &#8212; \u043d\u0430\u0447\u0430\u043b\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>eos_token_id<\/strong> (End of Sequence token ID) &#8212; \u043a\u043e\u043d\u0435\u0446 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 1 \u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0441 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u201c<strong>&#8230; &lt;\/s>&lt;s>bot<\/strong>\u201d, \u0430 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u201c<strong>&#8230; &lt;\/s><\/strong>\u201d. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u0433\u0434\u0435 \u043d\u0430\u0447\u0430\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 (\u0441 \u0442\u043e\u043a\u0435\u043d\u0430 \u201c<strong>bos_token_id<\/strong>\u201d) \u0438 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0432\u043e\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u0442\u0430\u0432\u0438\u0442 \u0442\u043e\u043a\u0435\u043d \u201c<strong>eos_token_id<\/strong>\u201d.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u044b \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430, \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0434\u0430 \u043d\u0438\u0436\u0435.<\/p>\n<pre><code class=\"python\">print(tokenizer.bos_token_id) print(tokenizer.eos_token_id) print(tokenizer.decode([1])) print(tokenizer.decode([2]))<\/code><\/pre>\n<p>\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/341\/b5a\/0c1\/341b5a0c17bd96912c6ad7aa1c1b412b.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2 -  \u0412\u044b\u0432\u043e\u0434 id \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2 -  \u0412\u044b\u0432\u043e\u0434 id \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\" width=\"343\" height=\"242\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/341\/b5a\/0c1\/341b5a0c17bd96912c6ad7aa1c1b412b.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2 &#8212;  \u0412\u044b\u0432\u043e\u0434 id \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u043f\u0440\u043e\u043c\u0442\u0435 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043b\u043e\u0432\u0430 \u201c<strong>system<\/strong>\u201d, \u201c<strong>user<\/strong>\u201d \u0438 \u201c<strong>bot<\/strong>\u201d, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0434\u0443\u0442 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u201c<strong>bos<\/strong>\u201d. \u0418\u0445 \u0442\u043e\u0436\u0435 \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 3.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/229\/69a\/e8a\/22969ae8ae8ac2cc939e6ead7560870e.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3 - \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u0432 \u201csystem\u201d, \u201cuser\u201d \u0438 \u201cbot\u201d\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3 - \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u0432 \u201csystem\u201d, \u201cuser\u201d \u0438 \u201cbot\u201d\" width=\"869\" height=\"228\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/229\/69a\/e8a\/22969ae8ae8ac2cc939e6ead7560870e.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3 &#8212; \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u0432 \u201csystem\u201d, \u201cuser\u201d \u0438 \u201cbot\u201d<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u044b\u0442\u043e\u0436\u0438\u043c \u0438 \u0441\u043e\u0431\u0435\u0440\u0451\u043c \u0432\u0441\u0451 \u0432\u043c\u0435\u0441\u0442\u0435, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u0441\u044f \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<pre><code class=\"python\">\"\"\"&lt;s>system \u0422\u0443\u0442 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442&lt;\/s>&lt;s>user \u0422\u0443\u0442 \u043c\u044b \u0437\u0430\u0434\u0430\u0451\u043c \u0437\u0430\u043f\u0440\u043e\u0441&lt;\/s>&lt;s>bot \u0422\u0443\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442&lt;\/s>\"\"\"<\/code><\/pre>\n<p>\u0412\u043e\u0442 \u0438 \u0432\u0441\u0451, \u043f\u0440\u0438\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0443\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043d (\u0448\u0443\u0442\u043a\u0430 \u043d\u0435\u0442).<\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0438 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430.<\/p>\n<h3>\u041a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c?<\/h3>\n<p>\u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u00ab\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439\u201d <strong>json<\/strong>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445. \u042d\u0442\u043e <strong>json<\/strong> \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u0436\u0434\u0430\u044f \u043d\u043e\u0432\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441 \u043a\u043b\u044e\u0447\u0430\u043c\u0438 \u201c<strong>system<\/strong>\u201d, \u201c<strong>user<\/strong>\u201d \u0438 \u201c<strong>bot<\/strong>\u201d. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u043c, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u043c \u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u0431\u043e\u0442\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0412 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0443 \u0432\u0430\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0432\u0438\u0434<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bb4\/c01\/4b1\/bb4c014b18c549f77e7dfcb52137ef18.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4 - \u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432 json \u0444\u0430\u0439\u043b\u0435\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4 - \u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432 json \u0444\u0430\u0439\u043b\u0435\" width=\"853\" height=\"81\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bb4\/c01\/4b1\/bb4c014b18c549f77e7dfcb52137ef18.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4 &#8212; \u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432 json \u0444\u0430\u0439\u043b\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u042f \u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043b \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b \u0435\u0433\u043e \u043d\u0430 2 \u0444\u0430\u0439\u043b\u0430: <strong>train.json<\/strong> \u0438 <strong>val.json<\/strong>. \u0424\u0430\u0439\u043b \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0441\u043b\u0443\u0436\u0438\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 i-\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h3>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438  <\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c <strong>LLama2<\/strong> \u0438 \u0430\u0434\u0430\u043f\u0442\u0435\u0440 <strong>LoRa<\/strong> (\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0432\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u00a0 <strong>is_trainable = True<\/strong>) <\/p>\n<pre><code class=\"python\">MODEL_NAME = \"IlyaGusev\/saiga2_7b_lora\" device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")  st_time = time.time()  # bnb_config = BitsAndBytesConfig( #     load_in_4bit=True, #     bnb_4bit_quant_type=\"nf4\", #     bnb_4bit_compute_dtype= torch.float16, #     bnb_4bit_use_double_quant=False, # )   config = PeftConfig.from_pretrained(MODEL_NAME) model = AutoModelForCausalLM.from_pretrained(     config.base_model_name_or_path,     load_in_8bit = True,     torch_dtype=torch.float16,     device_map=\"auto\", #     quantization_config=bnb_config ) model = PeftModel.from_pretrained(     model,     MODEL_NAME,     torch_dtype=torch.float16, #      torch_dtype=torch.bfloat16,     is_trainable = True, #     device_map=\"auto\" ).to(device)   model.eval()  tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, use_fast=False) generation_config = GenerationConfig.from_pretrained(MODEL_NAME) print(generation_config) print(f'\u041f\u0440\u043e\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 {time.time() - st_time}')<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 load_dataset<\/p>\n<pre><code class=\"python\">data = load_dataset(     \"json\",      data_files={                 'train' : '\/kaggle\/input\/fine-tunning-llama\/train.json' ,                 'validation' : '\/kaggle\/input\/fine-tunning-llama\/val.json'     } ) data<\/code><\/pre>\n<p>C\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0431\u044b\u043b \u0441\u043b\u043e\u0432\u0430\u0440\u0451\u043c \u0441 \u043a\u043b\u044e\u0447\u0430\u043c\u0438 <strong>input_ids<\/strong>, <strong>attention_mask<\/strong>, <strong>labels<\/strong><\/p>\n<pre><code class=\"python\">CUTOFF_LEN = 3584  def generate_prompt(data_point):     promt = f\"\"\"&lt;s>system {data_point['system']}&lt;\/s>&lt;s>user {data_point['user']}&lt;\/s>&lt;s>bot {data_point['bot']}&lt;\/s>\"\"\"     #     print(promt)     return promt        def tokenize (prompt, add_eos_token=True):     result = tokenizer(         prompt,         truncation=True,         max_length=CUTOFF_LEN,         padding=False,         return_tensors=None,     )     if (         result[\"input_ids\"][-1] != tokenizer.eos_token_id and len(result[\"input_ids\"]) &lt; CUTOFF_LEN         and add_eos_token     ):                  result[\"input_ids\"].append(tokenizer.eos_token_id)         result[\"attention_mask\"].append(1)                            result[\"labels\"] = result[\"input_ids\"].copy()      return result   def generate_and_tokenize_prompt(data_point):     full_prompt = generate_prompt(data_point)     tokenized_full_prompt = tokenize(full_prompt) #     print(tokenized_full_prompt)     return tokenized_full_prompt<\/code><\/pre>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430<\/p>\n<pre><code class=\"python\">train_data = (     data[\"train\"].map(generate_and_tokenize_prompt) )  val_data = (     data[\"validation\"].map(generate_and_tokenize_prompt) )<\/code><\/pre>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0437\u0430\u0434\u0430\u0451\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<ul>\n<li>\n<p><strong>per_device_train_batch_size<\/strong>\u00a0 &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 (\u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 \u043e\u043d\u0430 \u043e\u0434\u043d\u0430, \u0432\u0441\u0435 \u0432\u044b\u0447\u0435\u0441\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0439)<\/p>\n<\/li>\n<li>\n<p><strong>gradient_accumulation_steps<\/strong> &#8212; \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/li>\n<li>\n<p><strong>max_steps<\/strong> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0430\u0433\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><strong>learning_rate<\/strong> &#8212; \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><strong>fp16<\/strong> &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c fp16. \u041e \u044d\u0442\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/huggingface.co\/docs\/transformers\/v4.15.0\/performance#faster-training\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a><\/p>\n<\/li>\n<li>\n<p><strong>logging_steps<\/strong> &#8212; \u0432\u044b\u0432\u043e\u0434 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0447\u0435\u0440\u0435\u0437 \u0434\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0430\u0433\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u0434\u0435\u0441\u044c \u0437\u0430\u0434\u0430\u0434\u0438\u043c<\/p>\n<\/li>\n<li>\n<p><strong>optim<\/strong> &#8212; \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440<\/p>\n<\/li>\n<li>\n<p><strong>evaluation_strategy<\/strong> &#8212; \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 \u0441\u0442\u043e\u044f\u0442 \u0448\u0430\u0433\u0438 (steps), \u0442\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c steps<\/p>\n<\/li>\n<li>\n<p><strong>eval_steps<\/strong> &#8212; \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043a\u0430\u0436\u0434\u044b\u0435 N \u0448\u0430\u0433\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0434\u0435\u0441\u044c \u0443\u043a\u0430\u0436\u0435\u043c<\/p>\n<\/li>\n<li>\n<p><strong>save_steps<\/strong> &#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u0430\u0436\u0434\u044b\u0435 N \u0440\u0430\u0437, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0434\u0435\u0441\u044c \u0437\u0430\u0434\u0430\u0451\u043c<\/p>\n<\/li>\n<li>\n<p><strong>output_dir<\/strong> &#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432\u00a0<\/p>\n<\/li>\n<li>\n<p><strong>save_total_limit<\/strong> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0445 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p><strong>load_best_model_at_end<\/strong> &#8212; \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><strong>report_to<\/strong> &#8212; \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0441\u0435\u0440\u0432\u0438\u0441<\/p>\n<\/li>\n<li>\n<p><strong>overwrite_output_dir<\/strong> &#8212; \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u044c \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<\/ul>\n<details class=\"spoiler\">\n<summary>\u041c\u043e\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">BATCH_SIZE = 4 MICRO_BATCH_SIZE = 2 GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE \/\/ MICRO_BATCH_SIZE LEARNING_RATE = 3e-4 TRAIN_STEPS = 100 OUTPUT_DIR = \"\/kaggle\/working\/tmp\"  training_arguments = transformers.TrainingArguments(             per_device_train_batch_size=MICRO_BATCH_SIZE,             gradient_accumulation_steps=GRADIENT_ACCUMULATION_STEPS, #             warmup_steps=200,             max_steps=TRAIN_STEPS,             learning_rate=LEARNING_RATE,             fp16=True,             logging_steps=10,             optim=\"adamw_torch\",             evaluation_strategy=\"steps\",             save_strategy=\"steps\",             eval_steps=10,             save_steps=10,             output_dir=OUTPUT_DIR,             save_total_limit=10,             load_best_model_at_end=True,             report_to=None,             overwrite_output_dir=True, # Overwrite the content of the output dir )<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c <strong>data_collator<\/strong> \u0434\u043b\u044f \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (DataCollatorForSeq2Seq). \u0418 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/p>\n<pre><code class=\"python\">data_collator = transformers.DataCollatorForSeq2Seq(     tokenizer, pad_to_multiple_of=8, return_tensors=\"pt\", padding=True )  trainer = transformers.Trainer(     model=model,     train_dataset=train_data,     eval_dataset=val_data,     args=training_arguments,     data_collator=data_collator ) model = torch.compile(model) trainer.train() model.save_pretrained(OUTPUT_DIR)<\/code><\/pre>\n<p><strong>\u0413\u043e\u0442\u043e\u0432\u043e!!<\/strong><\/p>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u043e \u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0448\u0438\u0442\u044c \u043d\u0430\u0448 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0430\u0434\u0430\u043f\u0442\u0435\u0440 \u043d\u0430 Hugging Face<\/p>\n<pre><code class=\"python\">from huggingface_hub import notebook_login  notebook_login()  model.push_to_hub(\"Your project\", use_auth_token=True)<\/code><\/pre>\n<h3>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 GGUF \u0444\u043e\u0440\u043c\u0430\u0442 \u0438\u043b\u0438 \u043a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u00ab\u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440\u0435\u00bb<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0447\u0442\u043e\u0431\u044b \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0430\u0441\u044c \u0443 \u0432\u0430\u0441 \u043d\u0430 \u00ab\u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440\u0435\u00bb \u0441 6 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u043c\u0438 RAM, \u0442\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u0443\u0434\u0435\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u0432\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0431\u0443\u0434\u0435\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e 4 \u0431\u0438\u0442. \u041e \u0442\u043e\u043c \u043a\u0430\u043a \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0441\u0442\u0430\u0432\u043b\u044e \u0441\u0441\u044b\u043b\u043a\u0443 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u043a\u043b\u0435\u0438\u0442\u044c \u043d\u0430\u0448\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 <strong>LoRa<\/strong> \u0441 \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.\u00a0<\/p>\n<p>\u041a\u043b\u043e\u043d\u0438\u0440\u0443\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 <a href=\"https:\/\/github.com\/IlyaGusev\/rulm\" rel=\"noopener noreferrer nofollow\">rulm <\/a>\u0438 <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\" rel=\"noopener noreferrer nofollow\">llama.cpp<\/a><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043f\u0440\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0443\u0442\u0438:<\/p>\n<ol>\n<li>\n<p><strong>self_instruct_dir<\/strong> &#8212; \u043f\u0443\u0442\u044c \u0434\u043e self_instruct \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 rulm<\/p>\n<\/li>\n<li>\n<p><strong>checkpoint<\/strong> &#8212; \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u043d\u0430\u0448\u0435\u0439 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<li>\n<p><strong>merged_model_name<\/strong> &#8212; \u043a\u0443\u0434\u0430 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 PyTorch<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u043f\u0430\u043f\u043a\u0443 <strong>self_instruct_dir<\/strong>\u00a0 \u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c \u0441\u043a\u0440\u0438\u043f\u0442 <strong>convert_to_native<\/strong> \u043d\u0430\u0448\u0438\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">self_instruct_dir = '\/kaggle\/working\/rulm\/self_instruct' checkpoint = \"\/kaggle\/working\/tmp\/checkpoint-40\" merged_model_name = '\/kaggle\/tmp\/merged_test_model.pt'  %cd {self_instruct_dir}<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<pre><code class=\"python\">!python -m src.tools.convert_to_native {checkpoint} {merged_model_name} --device=cuda --enable_offloading<\/code><\/pre>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1ec\/ad6\/7d6\/1ecad67d6213ab872ed8075b6c6f5237.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5 - \u0421\u043a\u043b\u0435\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 PyTorch\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5 - \u0421\u043a\u043b\u0435\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 PyTorch\" width=\"276\" height=\"166\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ec\/ad6\/7d6\/1ecad67d6213ab872ed8075b6c6f5237.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 5 &#8212; \u0421\u043a\u043b\u0435\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 PyTorch<\/figcaption><\/div>\n<\/figure>\n<h3>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 GGUF \u0444\u043e\u0440\u043c\u0430\u0442  <\/h3>\n<p>\u041f\u0435\u0440\u0435\u0434 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0435\u0439 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c Tokenizer \u0432 \u043b\u044e\u0431\u0443\u044e \u043f\u0430\u043f\u043a\u0443. Tokenizer \u0431\u0435\u0440\u0451\u043c \u0442\u043e\u0439 \u0436\u0435 \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 Saiga<\/p>\n<pre><code class=\"python\">from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(\"IlyaGusev\/saiga2_7b_lora\", use_fast=False) tokenizer.save_pretrained('\/kaggle\/working\/tmp\/checkpoint-40\/')<\/code><\/pre>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u043f\u0430\u043f\u043a\u0443 llama.cpp \u0438 \u0437\u0430\u0434\u0430\u0451\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u043b\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ol>\n<li>\n<p><strong>model_dir<\/strong> &#8212; \u043f\u0443\u0442\u044c \u0434\u043e \u00ab\u0441\u043a\u043b\u0435\u0435\u043d\u043d\u043e\u0439\u00bb \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<li>\n<p><strong>checkpoint<\/strong> (\u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c <strong>tokenizer_path<\/strong>) &#8212; \u043f\u0443\u0442\u044c \u0434\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430<\/p>\n<\/li>\n<li>\n<p><strong>output_model<\/strong> &#8212; \u043a\u0443\u0434\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/li>\n<li>\n<p><strong>ctx <\/strong>&#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e tokens \u043d\u0430 \u0432\u0445\u043e\u0434\u043d\u043e\u043c \u0441\u043b\u043e\u0435 (\u043b\u0443\u0447\u0448\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0435 \u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u0438 \u0443 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438)<\/p>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">model_dir = '\/kaggle\/tmp\/merged_test_model.pt' checkpoint = \"\/kaggle\/working\/tmp\/checkpoint-40\" output_model = \"\/kaggle\/tmp\/model-f16.gguf\"<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0441\u043a\u0440\u0438\u043f\u0442 <strong>convert.py<\/strong>  <\/p>\n<pre><code class=\"python\">!python convert.py {model_dir} --vocab-dir {checkpoint} --outfile {output_model} --outtype f16 --ctx 4096<\/code><\/pre>\n<h3>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e 4 \u0431\u0438\u0442<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c <strong>!make quantize<\/strong><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u0434\u0430\u0451\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<ol>\n<li>\n<p><strong>model_gguf<\/strong> &#8212; \u043d\u0430\u0448\u0430 16 \u0431\u0438\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c gguf<\/p>\n<\/li>\n<li>\n<p><strong>quant_model<\/strong> &#8212; \u043a\u0443\u0434\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c + \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p><strong>quantization_type<\/strong> &#8212; \u0442\u0438\u043f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c q4_0)<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0441\u043a\u0440\u0438\u043f\u0442<\/p>\n<pre><code class=\"python\">! .\/quantize {model_gguf} {quant_model} {quantization_type}<\/code><\/pre>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u0444\u0438\u043a\u0441\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c GGUF \u043d\u0430 GPU<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">%cd ~ !git clone --recursive https:\/\/github.com\/ggerganov\/llama.cpp.git %cd llama.cpp !make LLAMA_CUBLAS=1 -j libllama.so  # HACK: Use custom compiled libllama.so %cp ~\/llama.cpp\/libllama.so \/opt\/conda\/lib\/python3.10\/site-packages\/llama_cpp\/libllama.so<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u0421\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from llama_cpp import Llama from tqdm import tqdm  SYSTEM_PROMPT = \"\u0422\u044b \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0448\u044c \u0442\u0435\u0440\u043c\u0438\u043d\u044b \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430\" SYSTEM_TOKEN = 1788 USER_TOKEN = 1404 BOT_TOKEN = 9225 LINEBREAK_TOKEN = 13  top_k=40 top_p=0.5 temperature=0.01 repeat_penalty=1.1   ROLE_TOKENS = {     \"user\": USER_TOKEN,     \"bot\": BOT_TOKEN,     \"system\": SYSTEM_TOKEN }   def get_message_tokens(model, role, content):     message_tokens = model.tokenize(content.encode(\"utf-8\"))     message_tokens.insert(1, ROLE_TOKENS[role])     message_tokens.insert(2, LINEBREAK_TOKEN)     message_tokens.append(model.token_eos())     return message_tokens   def get_system_tokens(model):     system_message = {         \"role\": \"system\",         \"content\": SYSTEM_PROMPT     }     return get_message_tokens(model, **system_message)  def chat_saiga(message, model):     system_tokens = get_system_tokens(model)     tokens = system_tokens     # model.eval(tokens)          message_tokens = get_message_tokens(model=model, role=\"user\", content=message)     role_tokens = [model.token_bos(), BOT_TOKEN, LINEBREAK_TOKEN]     tokens += message_tokens + role_tokens     # print(tokens)     # detokenize = model.detokenize(tokens)     # print(model.tokenize(full_prompt))     generator = model.generate(         tokens,         top_k = top_k,         top_p = top_p,         temp = temperature,         repeat_penalty = repeat_penalty,         reset = True     )     # print(len([token for token in generator]))          result_list = []          for token in generator:         token_str = model.detokenize([token]).decode(\"utf-8\", errors=\"ignore\")         tokens.append(token)         if token == model.token_eos():             break         print(token_str, end=\"\", flush=True)         result_list.append(token_str)     return ''.join(result_list)  try:     del model except:     pass  # model_path = '\/kaggle\/working\/model-q4_0.gguf' model_path = '\/kaggle\/working\/model-q4_0.gguf' n_ctx = 3096 #  model = Llama(         model_path = model_path,         n_ctx = n_ctx,         n_gpu_layers=-1 )<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/551\/b06\/633\/551b06633087e2df39b3f93959557b2f.png\" alt=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6 - \u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438\" title=\"\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6 - \u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438\" width=\"1136\" height=\"473\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/551\/b06\/633\/551b06633087e2df39b3f93959557b2f.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 6 &#8212; \u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u043e\u0431\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0438 \u0432\u044b\u0432\u043e\u0434\u0438\u0442 \u0441\u0442\u0440\u043e\u043a\u0443 \u0432 \u043d\u0443\u0436\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u044b\u043b \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e GPT. \u0412\u0441\u0435\u0433\u043e \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u044b\u043b\u043e 28<\/p>\n<ul>\n<li>\n<p><strong>train<\/strong>  &#8212; 22 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0430<\/p>\n<\/li>\n<li>\n<p><strong>val<\/strong> &#8212; 6 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u043e\u0432 <\/p>\n<\/li>\n<\/ul>\n<h3> \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043e\u0437\u0434\u0430\u043d \u0434\u0430\u043d\u043d\u044b\u0439 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b  <\/h3>\n<p>\u042d\u0442\u043e\u0442 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0432 AI-\u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0418\u043d\u043b\u0430\u0439\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u0430\u0434 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0435\u0439 \u0421\u0430\u0439\u0433\u0438 \u0441 \u0432\u044b\u0437\u043e\u0432\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0438 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u0432\u043d\u0435\u0448\u043d\u0438\u043c API, \u0447\u0442\u043e\u0431\u044b LLM \u043c\u043e\u0433\u043b\u0430 \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0432\u043d\u0435\u0448\u043d\u044e\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.<\/p>\n<p>\u0418 \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u0433 \u043f\u0440\u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0438 \u0441\u0430\u043c \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0438 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0441\u0432\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c LLM<\/p>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/p>\n<ol>\n<li>\n<p><a href=\"https:\/\/www.kaggle.com\/code\/yarasslove\/fine-tune-llama\" rel=\"noopener noreferrer nofollow\"><strong>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 Kaggle \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0446\u0438\u043a\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/strong><\/a><strong> <\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/IlyaGusev\/saiga2_7b_lora\" rel=\"noopener noreferrer nofollow\"><strong>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 Kaggle \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 Saiga2_7b<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/IlyaGusev\/rulm\" rel=\"noopener noreferrer nofollow\"><strong>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043f\u0440\u043e\u0435\u043a\u0442 rulm<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\" rel=\"noopener noreferrer nofollow\"><strong>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043f\u0440\u043e\u0435\u043a\u0442 llama.cpp <\/strong><\/a><\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0445\u043e\u0447\u0443 \u043f\u043e\u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u0438\u0442\u044c \u0437\u0430 \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0430\u0432\u0442\u043e\u0440\u0430 Saiga <strong>\u0418\u043b\u044c\u044e \u0413\u0443\u0441\u0435\u0432\u0430<\/strong> \u0438 \u0430\u0432\u0442\u043e\u0440\u0430 llama.cpp <strong>\u0413\u0435\u043e\u0440\u0433\u0438\u044f \u0413\u0435\u0440\u0433\u0430\u043d\u043e\u0432\u0430<\/strong><\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/776872\/\"> https:\/\/habr.com\/ru\/articles\/776872\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442 \u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0438!<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0435 \u044f \u0431\u044b \u0445\u043e\u0442\u0435\u043b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0430\u043c, \u043a\u0430\u043a \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c 7-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0421\u0430\u0439\u0433\u0438 \u0418\u043b\u044c\u0438 \u0413\u0443\u0441\u0435\u0432\u0430 <a href=\"https:\/\/habr.com\/ru\/users\/Takagi\/\" rel=\"noopener noreferrer nofollow\">@Takagi<\/a> \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0435\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u043e\u043c \u043f\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 Kaggle. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u043d\u0430\u0448\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0442\u0435\u0439 \u043f\u0440\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 LLM, \u043d\u043e \u0432\u0441\u0435 \u043e\u043d\u0438 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0435 \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u0432\u043e\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0433\u043e\u043d\u044f\u044f \u0432 \u0442\u0443\u043f\u0438\u043a \u0442\u0435\u0445, \u0443 \u043a\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u00ab\u0436\u0435\u043b\u0435\u0437\u0435\u00bb \u043d\u0435\u0442.\u00a0<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e GigaChat <\/figcaption><\/div>\n<\/figure>\n<h3>\u041d\u0430\u0447\u043d\u0451\u043c \u043f\u043e\u0436\u0430\u043b\u0443\u0439 \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u00ab\u041f\u043e\u0447\u0435\u043c\u0443 Kaggle, \u0430 \u043d\u0435 Google Collab?\u00bb<\/h3>\n<p>\u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e Kaggle \u043d\u0430\u0434 Google Collab \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u0430\u043d\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u0432\u044b\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430 30 \u0447\u0430\u0441\u043e\u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u043d\u0435\u0434\u0435\u043b\u044e (\u0435\u0441\u043b\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e GPU). \u041f\u043b\u044e\u0441 Notebook, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435, \u043d\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442 \u0441\u0432\u043e\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 12 \u0447\u0430\u0441\u043e\u0432 (\u0435\u0441\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043e\u0434 \u0442\u0430\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f), \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Collab`\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0432\u0430\u043c \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0435\u0441\u043b\u0438 \u0432\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0442\u0434\u043e\u0445\u043d\u0443\u0442\u044c \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u043a\u043e\u0434 \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0412\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u0442\u0435 \u0432\u0441\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h3>\u0414\u0430\u0442\u0430\u0441\u0435\u0442<\/h3>\n<p>\u041a\u0430\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u0432\u043e\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f? \u042d\u0442\u0438\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c \u044f \u0437\u0430\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043b\u044e\u0431\u0443\u044e LLM. \u0418 \u0432 \u043e\u0434\u0438\u043d \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u0440\u0438\u0448\u043b\u043e \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435.<\/p>\n<figure class=\"\">\n<div><figcaption>\u041a\u0443\u0434\u0430 \u0436\u0435 \u0431\u0435\u0437 \u043c\u0435\u043c\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438. <strong>\u0412\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442!<\/strong> \u041d\u0435 \u0442\u043e, \u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u043c\u0442 \u0432\u044b \u0435\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0435, \u0430 \u0442\u043e \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0438\u043c\u0435\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043c\u0442 \u0438 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043a\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u043d\u0430 Hugging Face \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 <a href=\"https:\/\/huggingface.co\/IlyaGusev\/saiga2_7b_lora\" rel=\"noopener noreferrer nofollow\">\u0421\u0430\u0439\u0433\u0438 <\/a>\u043e\u0442 \u0418\u043b\u044c\u0438 \u0413\u0443\u0441\u0435\u0432\u0430. \u041f\u043e \u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0444\u0430\u0439\u043b\u0430\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f LLama \u043d\u0430 GitHub \u043f\u0440\u043e\u0435\u043a\u0442\u0430 <a href=\"https:\/\/github.com\/IlyaGusev\/rulm\" rel=\"noopener noreferrer nofollow\">rulm<\/a> \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0431\u044b\u043b \u00ab\u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u00bb \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0441\u043f\u0430\u0441\u0438\u0431\u043e \u0430\u0432\u0442\u043e\u0440\u0443, \u0447\u0442\u043e \u043e\u043d \u0432 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043a\u043e\u0434 \u0434\u043b\u044f \u0435\u0451 \u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043a\u043e\u0434 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u0442\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p><a href=\"https:\/\/www.kaggle.com\/code\/yarasslove\/extraction-saiga\" rel=\"noopener noreferrer nofollow\">Kaggle<\/a><\/p>\n<\/div>\n<\/details>\n<p>\u0418\u0442\u0430\u043a, \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0441\u0442\u0440\u043e\u043a\u0430 9 \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 <strong>generate<\/strong>. <\/p>\n<pre><code class=\"python\">def generate(model, tokenizer, prompt, generation_config):     data = tokenizer(prompt, return_tensors=\"pt\")     data = {k: v.to(model.device) for k, v in data.items()}     output_ids = model.generate(         **data,         generation_config=generation_config     )[0]     output_ids = output_ids[len(data[\"input_ids\"][0]):]     output = tokenizer.decode(output_ids, skip_special_tokens=True)     return output.strip()<\/code><\/pre>\n<p>\u0410 \u0438\u043c\u0435\u043d\u043d\u043e output \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <strong>skip_special_tokens<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0432\u044b\u0432\u043e\u0434 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u043e \u043d\u0438\u0445 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043d\u0438\u0436\u0435). \u0418\u0437\u043c\u0435\u043d\u044f\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 <strong>False<\/strong>. \u0414\u0430\u043b\u0435\u0435 \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 \u043a\u043b\u0430\u0441\u0441\u043e\u043c Conversation.<\/p>\n<pre><code class=\"python\">def get_message(inputs):     conversation = Conversation()     conversation.add_user_message(inputs)     prompt = conversation.get_prompt(tokenizer)     print('\u041f\u0440\u043e\u043c\u0442', '\\n', '*'*100)     print(prompt)     print('*'*100)     output = generate(model, tokenizer, prompt, generation_config)     return output<\/code><\/pre>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0430, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u0442\u0430 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u043e\u043c\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u043c\u044b \u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0434 \u044d\u0442\u0438\u043c \u0432\u044b\u0432\u0435\u0434\u0435\u043c.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442 \u043f\u0440\u043e\u043c\u0442\u0430 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 &#8212; \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438  <\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u0441\u0435 \u043f\u0440\u043e\u043c\u0442\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438.<\/p>\n<ul>\n<li>\n<p><strong>bos_token_id<\/strong> (Beginning of Sequence token ID) &#8212; \u043d\u0430\u0447\u0430\u043b\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>eos_token_id<\/strong> (End of Sequence token ID) &#8212; \u043a\u043e\u043d\u0435\u0446 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 1 \u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0441 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u201c<strong>&#8230; &lt;\/s>&lt;s>bot<\/strong>\u201d, \u0430 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u201c<strong>&#8230; &lt;\/s><\/strong>\u201d. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u0433\u0434\u0435 \u043d\u0430\u0447\u0430\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 (\u0441 \u0442\u043e\u043a\u0435\u043d\u0430 \u201c<strong>bos_token_id<\/strong>\u201d) \u0438 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0432\u043e\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u0442\u0430\u0432\u0438\u0442 \u0442\u043e\u043a\u0435\u043d \u201c<strong>eos_token_id<\/strong>\u201d.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u044b \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430, \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0434\u0430 \u043d\u0438\u0436\u0435.<\/p>\n<pre><code class=\"python\">print(tokenizer.bos_token_id) print(tokenizer.eos_token_id) print(tokenizer.decode([1])) print(tokenizer.decode([2]))<\/code><\/pre>\n<p>\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c<\/p>\n<figure class=\"\">\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 2 &#8212;  \u0412\u044b\u0432\u043e\u0434 id \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u043f\u0440\u043e\u043c\u0442\u0435 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043b\u043e\u0432\u0430 \u201c<strong>system<\/strong>\u201d, \u201c<strong>user<\/strong>\u201d \u0438 \u201c<strong>bot<\/strong>\u201d, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0434\u0443\u0442 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u201c<strong>bos<\/strong>\u201d. \u0418\u0445 \u0442\u043e\u0436\u0435 \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 3.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 3 &#8212; \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u0432 \u201csystem\u201d, \u201cuser\u201d \u0438 \u201cbot\u201d<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u044b\u0442\u043e\u0436\u0438\u043c \u0438 \u0441\u043e\u0431\u0435\u0440\u0451\u043c \u0432\u0441\u0451 \u0432\u043c\u0435\u0441\u0442\u0435, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u0441\u044f \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<pre><code class=\"python\">\"\"\"&lt;s>system \u0422\u0443\u0442 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442&lt;\/s>&lt;s>user \u0422\u0443\u0442 \u043c\u044b \u0437\u0430\u0434\u0430\u0451\u043c \u0437\u0430\u043f\u0440\u043e\u0441&lt;\/s>&lt;s>bot \u0422\u0443\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442&lt;\/s>\"\"\"<\/code><\/pre>\n<p>\u0412\u043e\u0442 \u0438 \u0432\u0441\u0451, \u043f\u0440\u0438\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0443\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043d (\u0448\u0443\u0442\u043a\u0430 \u043d\u0435\u0442).<\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0438 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430.<\/p>\n<h3>\u041a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c?<\/h3>\n<p>\u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u00ab\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439\u201d <strong>json<\/strong>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445. \u042d\u0442\u043e <strong>json<\/strong> \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u0436\u0434\u0430\u044f \u043d\u043e\u0432\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441 \u043a\u043b\u044e\u0447\u0430\u043c\u0438 \u201c<strong>system<\/strong>\u201d, \u201c<strong>user<\/strong>\u201d \u0438 \u201c<strong>bot<\/strong>\u201d. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u043c, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u043c \u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u0431\u043e\u0442\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0412 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0443 \u0432\u0430\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0432\u0438\u0434<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441\u0443\u043d\u043e\u043a 4 &#8212; \u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432 json \u0444\u0430\u0439\u043b\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u042f \u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043b \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b \u0435\u0433\u043e \u043d\u0430 2 \u0444\u0430\u0439\u043b\u0430: <strong>train.json<\/strong> \u0438 <strong>val.json<\/strong>. \u0424\u0430\u0439\u043b \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0441\u043b\u0443\u0436\u0438\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 i-\u043e\u0439 \u044d\u043f\u043e\u0445\u0435 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h3>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438  <\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c <strong>LLama2<\/strong> \u0438 \u0430\u0434\u0430\u043f\u0442\u0435\u0440 <strong>LoRa<\/strong> (\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0432\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u00a0 <strong>is_trainable = True<\/strong>) <\/p>\n<pre><code class=\"python\">MODEL_NAME = \"IlyaGusev\/saiga2_7b_lora\" device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")  st_time = time.time()  # bnb_config = BitsAndBytesConfig( #     load_in_4bit=True, #     bnb_4bit_quant_type=\"nf4\", #     bnb_4bit_compute_dtype= torch.float16, #     bnb_4bit_use_double_quant=False, # )   config = PeftConfig.from_pretrained(MODEL_NAME) model = AutoModelForCausalLM.from_pretrained(     config.base_model_name_or_path,     load_in_8bit = True,     torch_dtype=torch.float16,     device_map=\"auto\", #     quantization_config=bnb_config ) model = PeftModel.from_pretrained(     model,     MODEL_NAME,     torch_dtype=torch.float16, #      torch_dtype=torch.bfloat16,     is_trainable = True, #     device_map=\"auto\" ).to(device)   model.eval()  tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, use_fast=False) generation_config = GenerationConfig.from_pretrained(MODEL_NAME) print(generation_config) print(f'\u041f\u0440\u043e\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 {time.time() - st_time}')<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 load_dataset<\/p>\n<pre><code class=\"python\">data = load_dataset(     \"json\",      data_files={                 'train' : '\/kaggle\/input\/fine-tunning-llama\/train.json' ,                 'validation' : '\/kaggle\/input\/fine-tunning-llama\/val.json'     } ) data<\/code><\/pre>\n<p>C\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043c\u0435\u0442\u043e\u0434 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0431\u044b\u043b \u0441\u043b\u043e\u0432\u0430\u0440\u0451\u043c \u0441 \u043a\u043b\u044e\u0447\u0430\u043c\u0438 <strong>input_ids<\/strong>, <strong>attention_mask<\/strong>, <strong>labels<\/strong><\/p>\n<pre><code class=\"python\">CUTOFF_LEN = 3584  def generate_prompt(data_point):     promt = f\"\"\"&lt;s>system {data_point['system']}&lt;\/s>&lt;s>user {data_point['user']}&lt;\/s>&lt;s>bot {data_point['bot']}&lt;\/s>\"\"\"     #     print(promt)     return promt        def tokenize (prompt, add_eos_token=True):     result = tokenizer(         prompt,         truncation=True,         max_length=CUTOFF_LEN,         padding=False,         return_tensors=None,     )     if (         result[\"input_ids\"][-1] != tokenizer.eos_token_id and len(result[\"input_ids\"]) &lt; CUTOFF_LEN         and add_eos_token     ):                  result[\"input_ids\"].append(tokenizer.eos_token_id)         result[\"attention_mask\"].append(1)                            result[\"labels\"] = result[\"input_ids\"].copy()      return result   def generate_and_tokenize_prompt(data_point):     full_prompt = generate_prompt(data_point)     tokenized_full_prompt = tokenize(full_prompt) #     print(tokenized_full_prompt)     return tokenized_full_prompt<\/code><\/pre>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430<\/p>\n<pre><code class=\"python\">train_data = (     data[\"train\"].map(generate_and_tokenize_prompt) )  val_data = (     data[\"validation\"].map(generate_and_tokenize_prompt) )<\/code><\/pre>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0437\u0430\u0434\u0430\u0451\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<ul>\n<li>\n<p><strong>per_device_train_batch_size<\/strong>\u00a0 &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 (\u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 \u043e\u043d\u0430 \u043e\u0434\u043d\u0430, \u0432\u0441\u0435 \u0432\u044b\u0447\u0435\u0441\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u043d\u0435\u0439)<\/p>\n<\/li>\n<li>\n<p><strong>gradient_accumulation_steps<\/strong> &#8212; \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/li>\n<li>\n<p><strong>max_steps<\/strong> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0430\u0433\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><strong>learning_rate<\/strong> &#8212; \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><strong>fp16<\/strong> &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c fp16. \u041e \u044d\u0442\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/huggingface.co\/docs\/transformers\/v4.15.0\/performance#faster-training\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a><\/p>\n<\/li>\n<li>\n<p><strong>logging_steps<\/strong> &#8212; \u0432\u044b\u0432\u043e\u0434 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0447\u0435\u0440\u0435\u0437 \u0434\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0430\u0433\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u0434\u0435\u0441\u044c \u0437\u0430\u0434\u0430\u0434\u0438\u043c<\/p>\n<\/li>\n<li>\n<p><strong>optim<\/strong> &#8212; \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440<\/p>\n<\/li>\n<li>\n<p><strong>evaluation_strategy<\/strong> &#8212; \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 \u0441\u0442\u043e\u044f\u0442 \u0448\u0430\u0433\u0438 (steps), \u0442\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c steps<\/p>\n<\/li>\n<li>\n<p><strong>eval_steps<\/strong> &#8212; \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043a\u0430\u0436\u0434\u044b\u0435 N \u0448\u0430\u0433\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0434\u0435\u0441\u044c \u0443\u043a\u0430\u0436\u0435\u043c<\/p>\n<\/li>\n<li>\n<p><strong>save_steps<\/strong> &#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u0430\u0436\u0434\u044b\u0435 N \u0440\u0430\u0437, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0434\u0435\u0441\u044c \u0437\u0430\u0434\u0430\u0451\u043c<\/p>\n<\/li>\n<li>\n<p><strong>output_dir<\/strong> &#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432\u00a0<\/p>\n<\/li>\n<li>\n<p><strong>save_total_limit<\/strong> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0445 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p><strong>load_best_model_at_end<\/strong> &#8212; \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><strong>report_to<\/strong> &#8212; \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0441\u0435\u0440\u0432\u0438\u0441<\/p>\n<\/li>\n<li>\n<p><strong>overwrite_output_dir<\/strong> &#8212; \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u044c \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<\/ul>\n<details class=\"spoiler\">\n<summary>\u041c\u043e\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">BATCH_SIZE = 4 MICRO_BATCH_SIZE = 2 GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE \/\/ MICRO_BATCH_SIZE LEARNING_RATE = 3e-4 TRAIN_STEPS = 100 OUTPUT_DIR = \"\/kaggle\/working\/tmp\"  training_arguments = transformers.TrainingArguments(             per_device_train_batch_size=MICRO_BATCH_SIZE,             gradient_accumulation_steps=GRADIENT_ACCUMULATION_STEPS, #             warmup_steps=200,             max_steps=TRAIN_STEPS,             learning_rate=LEARNING_RATE,             fp16=True,             logging_steps=10,             optim=\"adamw_torch\",             evaluation_strategy=\"steps\",             save_strategy=\"steps\",             eval_steps=10,             save_steps=10,             output_dir=OUTPUT_DIR,             save_total_limit=10,             load_best_model_at_end=True,             report_to=None,             overwrite_output_dir=True, # Overwrite the content of the output dir )<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c <strong>data_collator<\/strong> \u0434\u043b\u044f \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (DataCollatorForSeq2Seq). \u0418 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/p>\n<pre><code class=\"python\">data_collator =<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-361398","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/361398","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=361398"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/361398\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=361398"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=361398"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=361398"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}