{"id":479634,"date":"2026-05-13T16:05:00","date_gmt":"2026-05-13T16:05:00","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=479634"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=479634","title":{"rendered":"\u041a\u0430\u043a \u044f \u0432\u044b\u0440\u0430\u0449\u0438\u0432\u0430\u043b \u0446\u0438\u0444\u0440\u043e\u0432\u043e\u0433\u043e \u0433\u043e\u043c\u0443\u043d\u043a\u0443\u043b\u0430 \u0438 \u0441\u0442\u0430\u043b \u043d\u0435\u0439\u0440\u043e-\u043f\u0430\u043d\u043a\u043e\u043c"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f7\/126\/209\/3f7126209ef4d2cb619ad1ded5dc886e.jpg\" alt=\"\u042f \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e\" title=\"\u042f \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e\" width=\"1600\" height=\"1067\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3f7\/126\/209\/3f7126209ef4d2cb619ad1ded5dc886e.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f7\/126\/209\/3f7126209ef4d2cb619ad1ded5dc886e.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u042f \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e<\/figcaption><\/div>\n<\/figure>\n<p>\u0417\u0430\u0447\u0435\u043c? \u0414\u043b\u044f\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u043a\u0430\u0439\u043d\u0435\u0442\u0430, \u0440\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f.<\/p>\n<p>\u041d\u0443, \u0438 \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0441\u043a\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0435\u043c \u0441\u0435\u0439\u0447\u0430\u0441 \u0434\u044b\u0448\u0438\u0442 \u044d\u0442\u0430 \u0447\u0430\u0440\u0443\u044e\u0449\u0430\u044f \u043c\u0435\u043d\u044f \u0441\u0444\u0435\u0440\u0430. \u0410\u00a0\u043b\u0443\u0447\u0448\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0447\u0435\u043c\u2011\u0442\u043e\u00a0\u2014 \u044d\u0442\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u044c\u044f\u0441\u043d\u0438\u0442\u044c \u044d\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443.<\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0447\u0435\u0433\u043e, \u044f \u0445\u043e\u0447\u0443 \u0432\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u0432\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e, \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0441\u0432\u0435\u0442\u0438\u0442\u044c \u0441\u0432\u043e\u0438\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u043c\u0438 \u0432\u00a0\u044d\u0442\u0438\u0445 \u0432\u0430\u0448\u0438\u0445 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430\u0445 \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0442\u0435\u0431\u044f \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438.<\/p>\n<p>\u041b\u0438\u0447\u043d\u043e \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043e\u0442\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0443\u0434\u043e\u0432\u043e\u043b\u044c\u0441\u0442\u0432\u0438\u0435, \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043e\u043a\u0443\u043d\u0443\u0442\u044c\u0441\u044f \u0432\u00a0\u044d\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043f\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u0438\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f\u043c \u0425\u0430\u0431\u0440\u0430.<\/p>\n<p>C\u0441\u044b\u043b\u043a\u0438 \u043d\u0430\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0432\u0435\u0441\u0430 \u0438 \u043a\u043e\u0434 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u00a0\u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0432\u0435\u0441\u0430 \u043d\u0430\u00a0Hugging\u2011Face, \u043a\u043e\u0434\u043e\u0432\u0430\u044f \u0431\u0430\u0437\u0430 \u043d\u0430\u00a0Codeberg (\u0430\u043d\u0430\u043b\u043e\u0433 Github, \u0440\u0430\u0431\u043e\u0442\u0430 \u0441\u00a0\u043d\u0438\u043c \u0442\u0430\u043a\u0430\u044f\u00a0\u0436\u0435).<\/p>\n<p>\u041f\u043e\u0435\u0445\u0430\u043b\u0438.<\/p>\n<blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u0430\u044f \u0440\u0435\u043c\u0430\u0440\u043a\u0430<\/strong><\/p>\n<p>\u0410\u0432\u0442\u043e\u0440 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u043c \u0441\u043e \u0441\u0442\u0430\u0436\u0435\u043c, \u043d\u043e \u0432\u0441\u0435 \u043d\u0438\u0436\u0435 \u0431\u044b\u043b\u043e \u043d\u0430\u0432\u0430\u0439\u0431\u043a\u043e\u0434\u0435\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Claude Code \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c, \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0430\u0432\u0442\u043e\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u043e \u0432\u0441\u0435\u043c \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f. \u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 \u043d\u0430 \u0441\u0432\u043e\u0439 \u0441\u0442\u0440\u0430\u0445 \u0438 \u0440\u0438\u0441\u043a, \u044f \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0434\u0438\u043b.<\/p>\n<p>\u0422\u0430\u043a \u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u0443\u0447\u0435\u0441\u0442\u044c, \u0447\u0442\u043e \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u0440\u0430 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0437\u0430 \u0435\u0433\u043e \u0436\u0438\u0437\u043d\u044c. \u042f \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u044f\u043b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0438\u043b\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u0432 \u0441\u0442\u0430\u0442\u044c\u044e \u0432 \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u0432\u0438\u0434, \u043d\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0448\u0435\u0440\u043e\u0445\u043e\u0432\u0430\u0442\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u0431\u044b\u043b\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043c\u043e\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438, \u043d\u043e \u0438\u0437-\u0437\u0430 \u043e\u0431\u044c\u0435\u043c\u0430 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0431\u0435\u0433\u043d\u0443\u0442\u044c \u043a \u0443\u0441\u043b\u0443\u0433\u0435 Opus-\u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0430, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0435\u0433\u043e \u0441\u043d\u043e\u0441\u043a\u0430\u043c\u0438 \u043f\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043d\u0444\u0443 \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u043e\u043f\u044f\u0442\u044c \u0436\u0435 \u0438\u043c\u0435\u0439\u0442\u0435 \u0432\u0432\u0438\u0434\u0443. <\/p>\n<\/blockquote>\n<h2>\u041f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f<\/h2>\n<p>\u0421 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u044f \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0441\u044f \u0432\u00a0\u043d\u0430\u0447\u0430\u043b\u0435 2022\u00a0\u0433\u043e\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0434\u0440\u044f\u0434\u0447\u0438\u043a\u043e\u043c \u0432\u0435\u0431\u2011\u0441\u0442\u0443\u0434\u0438\u0438, \u0433\u0434\u0435 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u043b python\u2011\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u043c,\u00a0\u0431\u044b\u043b\u0430 \u0430\u043c\u0435\u0440\u0438\u043a\u0430\u043d\u0441\u043a\u0430\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Inita, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0435\u043b\u0430\u043b\u0430 \u0418\u0418\u2011\u0441\u0442\u0430\u0440\u0442\u0430\u043f \u0434\u043b\u044f\u00a0\u043c\u0430\u043b\u043e\u0433\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0430.<\/p>\n<p>\u042f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0API OpenAI, \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 GPT-3, \u0438 \u0437\u0430\u0447\u0430\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u044d\u0442\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0441\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u0430. \u0415\u0441\u0442\u044c \u0447\u0442\u043e\u2011\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043c\u0430\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u00a0\u0442\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043a\u043e\u0434\u0430 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u0441\u00a0\u0442\u043e\u0431\u043e\u0439 \u0432\u00a0\u0434\u0438\u0430\u043b\u043e\u0433, \u0438 \u0443\u0447\u0438\u0442\u0441\u044f \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044e.<\/p>\n<p>\u041a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0438\u0437\u2011\u0437\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043d\u0430\u0448\u0438 \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438 \u0432\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0438 \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u043d\u0430\u043c \u0434\u0435\u043d\u044c\u0433\u0438, \u0430\u00a0\u043d\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f \u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0435\u043a\u0442, \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438.<\/p>\n<p>\u0421\u043f\u0443\u0441\u0442\u044f \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u0442\u0449\u0435\u0442\u043d\u044b\u0445 \u043f\u043e\u0438\u0441\u043a\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b, \u044f \u0441\u043c\u043e\u0433 \u0443\u0441\u0442\u0440\u043e\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u0432\u043e\u0434 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u043c \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u043e\u0432, \u043d\u043e\u00a0\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044f \u043f\u0438\u0441\u0430\u043b \u0438 \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0438 \u0434\u043b\u044f\u00a0\u041c\u041a, \u0438 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u044b \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0\u041c\u041a.<\/p>\n<p>\u0412\u0441\u0435 \u044d\u0442\u0438 \u0433\u043e\u0434\u044b \u044f \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f\u00a0\u0431\u044b\u0442\u044c \u0432\u00a0\u0442\u0435\u043c\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0438 \u043e\u0447\u0435\u043d\u044c \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0440\u0430\u0437\u043d\u044b\u0445 \u0447\u0430\u0442\u2011\u0431\u043e\u0442\u043e\u0432, \u0432\u00a0\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u0434\u043e\u043b\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043f\u043b\u0430\u0442\u043d\u0443\u044e \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0443 ChatGPT, \u043d\u043e\u00a0\u044d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u00a0\u0431\u044b\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0430 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0447\u0435\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430, \u0447\u0442\u043e\u00a0\u043c\u0435\u043d\u044f \u043d\u0435\u00a0\u043e\u0447\u0435\u043d\u044c \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e.<\/p>\n<p>\u0422\u0430\u043a \u044f \u043f\u0440\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043f\u043e\u0447\u0442\u0438 3\u00a0\u0433\u043e\u0434\u0430, \u043f\u043e\u043a\u0430 \u043c\u043d\u0435 \u043d\u0435\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043c\u0435\u0441\u0442\u043e \u0432\u00a0\u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0446\u0438\u0438 \u0441\u00a0\u043e\u0449\u0443\u0442\u0438\u043c\u044b\u043c \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u043e\u043c \u0437\u043f. \u0412\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u00a0\u0440\u0430\u0431\u043e\u0442\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u043c \u0432\u00a0\u043c\u0430\u043b\u043e\u043c \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0432\u00a0\u0420\u0424 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u044e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0443\u00a0\u2014 \u0438\u0437\u00a0\u0442\u0435\u0431\u044f \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0432\u044b\u0436\u0430\u0442\u044c \u0432\u0441\u0435 \u0441\u043e\u043a\u0438, \u0438 \u0432\u00a0\u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u0438\u043d\u044b\u0435.<\/p>\n<p>\u0423\u00a0\u043c\u0435\u043d\u044f \u0432\u044b\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b, \u0447\u0442\u043e\u0431\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0434\u0430\u0432\u043d\u044e\u044e \u043c\u0435\u0447\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043b\u0435\u043b\u0435\u044f\u043b \u0441 22\u0433\u043e\u00a0\u2014 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439.<\/p>\n<h2>\u041f\u0435\u0440\u0432\u044b\u0435 \u0448\u0430\u0433\u0438<\/h2>\n<p>\u041d\u0430\u0447\u0430\u043b \u044f \u0441\u00a0\u043c\u0430\u043b\u043e\u0433\u043e, \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u0435\u0442\u0438 \u043d\u0430\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043c\u0435\u043d\u044f \u0437\u0430\u0434\u0430\u0447\u0430\u0445 (\u043f\u043e\u043c\u043e\u0433\u0430\u043b Claude Code)\u00a0\u2014 \u043f\u043e\u00a0\u0438\u0442\u043e\u0433\u0443 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0430\u043c\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f\u0441\u044f 2\u0434 \u0437\u043c\u0435\u0439\u043a\u0430, \u0430\u00a0\u0442\u0430\u043a\u00a0\u0436\u0435 \u043a\u0432\u0430\u0434\u0440\u043e\u043f\u0435\u0434 Anymal \u0432\u00a0\u0441\u0440\u0435\u0434\u0435 Mujoco, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0447\u0438\u043b\u0441\u044f \u0445\u043e\u0434\u0438\u0442\u044c. \u0412\u00a0\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u00a0\u0431\u0443\u0434\u0443, \u043f\u043e\u043a\u0430\u0436\u0443\u00a0\u043b\u0438\u0448\u044c \u043f\u0430\u0440\u0443 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b14\/901\/1a7\/b149011a71feda5195e272bf6eb214cd.gif\" alt=\"\u0421\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0433\u0440\u0430\u0442\u044c \u0432 \u0437\u043c\u0435\u0439\u043a\u0443\" title=\"\u0421\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0433\u0440\u0430\u0442\u044c \u0432 \u0437\u043c\u0435\u0439\u043a\u0443\" width=\"300\" height=\"300\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b14\/901\/1a7\/b149011a71feda5195e272bf6eb214cd.gif 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b14\/901\/1a7\/b149011a71feda5195e272bf6eb214cd.gif 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0433\u0440\u0430\u0442\u044c \u0432 \u0437\u043c\u0435\u0439\u043a\u0443<\/figcaption><\/div>\n<\/figure>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ec\/cfc\/dda\/4eccfcdda8e1d5934fb9d51784cae611.gif\" alt=\"\u041c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d \u0432 \u0442\u0435\u043b\u0435 \u043a\u0432\u0430\u0434\u0440\u043e\u043f\u0435\u0434\u0430 \u043f\u043e\u0437\u043d\u0430\u0435\u0442 \u043c\u0438\u0440 \u0432 \u0441\u0440\u0435\u0434\u0435 Mujoco \" title=\"\u041c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d \u0432 \u0442\u0435\u043b\u0435 \u043a\u0432\u0430\u0434\u0440\u043e\u043f\u0435\u0434\u0430 \u043f\u043e\u0437\u043d\u0430\u0435\u0442 \u043c\u0438\u0440 \u0432 \u0441\u0440\u0435\u0434\u0435 Mujoco \" width=\"480\" height=\"270\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ec\/cfc\/dda\/4eccfcdda8e1d5934fb9d51784cae611.gif 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ec\/cfc\/dda\/4eccfcdda8e1d5934fb9d51784cae611.gif 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d \u0432 \u0442\u0435\u043b\u0435 \u043a\u0432\u0430\u0434\u0440\u043e\u043f\u0435\u0434\u0430 \u043f\u043e\u0437\u043d\u0430\u0435\u0442 \u043c\u0438\u0440 \u0432 \u0441\u0440\u0435\u0434\u0435 Mujoco <\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u043e\u00a0\u0432\u0441\u0435 \u044d\u0442\u043e\u00a0\u0431\u044b\u043b\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0434 \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0431\u043e\u0441\u0441\u043e\u043c\u00a0\u2014 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438. \u0414\u043b\u044f\u00a0\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u043a\u043d\u0438\u0433\u0443 \u00ab\u0421\u0442\u0440\u043e\u0438\u043c LLM \u0441\u00a0\u043d\u0443\u043b\u044f\u00bb \u0421\u0435\u0431\u0430\u0441\u0442\u044c\u044f\u043d\u0430 \u0420\u0430\u0448\u043a\u0438, \u0438 \u043f\u044b\u0442\u0430\u043b\u0441\u044f \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c GPT-2-small \u0432\u00a0\u0431\u043e\u0442\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 LORA\u2011\u0430\u0434\u0430\u043f\u0442\u0435\u0440, \u043e\u0431\u0443\u0447\u0430\u043b \u0435\u0433\u043e \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c SFT.<\/p>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u044d\u0442\u0438 \u0434\u0432\u0430 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e. <\/p>\n<p><strong>LORA\u2011\u0430\u0434\u0430\u043f\u0442\u0435\u0440<\/strong> \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043a\u00a0\u0441\u043b\u043e\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043e\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u0430\u0441 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445, \u0431\u0435\u0437\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<p><strong>SFT (Supervised Fine\u2011Tuning)<\/strong>\u00a0\u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u043f\u0430\u0440\u0430\u0445 <em>\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430<\/em>, \u043f\u043e\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0442\u043e\u0442\u00a0\u0436\u0435 \u0447\u0442\u043e\u00a0\u0438 \u043d\u0430\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439 \u0441\u044b\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e\u00a0\u0432\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043b\u043e\u0441\u0441 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0439 \u0442\u0435\u043a\u0441\u0442\u0430 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430, \u043d\u0435\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0434\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<p>\u0412\u00a0\u0446\u0435\u043b\u043e\u043c, \u0432\u00a0\u0447\u0430\u0442\u2011\u0431\u043e\u0442\u0430 GPT-2\u00a0\u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f, \u0445\u043e\u0442\u044c \u0438\u00a0\u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u00a0\u0445\u0432\u0430\u0442\u0430\u043b\u043e \u00ab\u043c\u043e\u0437\u0433\u043e\u0432\u00bb, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0418\u0437 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e. \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0439 \u0444\u0440\u0430\u0437\u044b \u043d\u0430 \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439. <\/p>\n<p># \u041f\u0440\u043e\u043c\u0442<\/p>\n<p>&gt; Translate &#8216;Good morning&#8217; to French.<\/p>\n<p>### \u0411\u0430\u0437\u043e\u0432\u0430\u044f GPT-2-small<\/p>\n<pre><code>Translation:Translation:Translation:... \u0418 \u0442\u0430\u043a \u0435\u0449\u0435 100 \u0440\u0430\u0437<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>### \u041f\u043e\u0441\u043b\u0435 SFT-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<pre><code>Je suis arriv\u00e9.<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0430 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043d\u043e\u00a0\u0432\u043e\u0442 \u0447\u0442\u043e\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u00a0\u2014 \u043e\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0430 \u0444\u0440\u0430\u0437\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u00ab\u042f \u043f\u0440\u0438\u0431\u044b\u043b\u00bb, \u0442.\u0435 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0447\u0442\u043e\u00a0\u0438 \u0411\u043e\u043d\u0436\u0443\u0440, \u043a\u0430\u043a\u00a0\u043f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435. \u041c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u0447\u0442\u043e\u00a0\u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u0431\u044b\u043b\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439. <\/p>\n<p>\u041d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043e\u0448\u0438\u0431\u043a\u0438 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0443\u00a0\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 LLM) \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435\u0435 \u0447\u0435\u043c \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0438\u0445 \u043e\u0448\u0438\u0431\u043a\u0438 \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430\u00a0\u0442\u043e \u043a\u0430\u043a\u00a0\u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u043b\u044e\u0434\u0438, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0438 \u0438 \u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044e. <\/p>\n<h2>\u0423\u0447\u0438\u043c \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0447\u0438\u0441\u0435\u043b \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044e <\/h2>\n<p>\u042f \u0445\u043e\u0442\u0435\u043b \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0433\u0438\u044e, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0441\u00a0\u0446\u0438\u0444\u0440\u0430\u043c\u0438 \u0441\u043f\u0443\u0441\u0442\u044f \u0442\u044b\u0441\u044f\u0447\u0438 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0432\u00a0\u043e\u0442\u0432\u0435\u0442 \u0442\u043e\u00a0\u0436\u0435, \u0447\u0442\u043e\u00a0\u0443\u00a0\u043b\u044e\u0434\u0435\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0430\u043c.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c, \u0442\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 LLM \u00ab\u0441 \u043d\u0443\u043b\u044f\u00bb \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 4\u00a0\u044d\u0442\u0430\u043f\u0430.<\/p>\n<ul>\n<li>\n<p>1. \u0421\u0431\u043e\u0440\u043a\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. <\/p>\n<\/li>\n<li>\n<p>2. \u041d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430 (\u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043c\u043e\u0434\u0435\u043b\u0438), \u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. <\/p>\n<\/li>\n<li>\n<p>3. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. <\/p>\n<\/li>\n<li>\n<p>4. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. <\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u044d\u0442\u0438 \u044d\u0442\u0430\u043f\u044b \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e.<\/p>\n<p>1. <strong>\u0421\u0431\u043e\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/strong><\/p>\n<p>\u041f\u0430\u0440\u0441\u0438\u043d\u0433 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u0430\u0441 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043b\u0438\u00a0\u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435 \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430). \u041f\u0440\u0438\u00a0\u0441\u0431\u043e\u0440\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441\u00a0\u043d\u0443\u043b\u044f \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430 \u0442\u0430\u043a\u0430\u044f \u0448\u0442\u0443\u043a\u0430 \u043a\u0430\u043a\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u0442.\u0435 \u043e\u0447\u0438\u0441\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442\u00a0\u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u043c\u0443\u0441\u043e\u0440\u0430, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439 LLM, \u0438\u0431\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0431\u0443\u0434\u0435\u0442\u00a0\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0442\u043e, \u0447\u0442\u043e\u00a0\u0442\u0435\u0431\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<p>2. <strong>\u041d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430, \u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/strong>. <\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0449\u0435 \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0435\u0433\u043e \u043d\u0430 \u00ab\u043a\u0443\u0441\u043a\u0438\u00bb, \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u0431\u0443\u043a\u0432\u0435\u043d\u043d\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0433\u0434\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0414\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c. \u0421\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u00a0\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u043f\u043e\u0434\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432\u0432\u0438\u0434\u0443 \u043d\u0435\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u0441\u0435\u0442\u0438, \u0442\u0430\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. <\/p>\n<p>3. <strong>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong> <\/p>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0432\u0430\u0436\u043d\u043e\u0435 \u0442\u0443\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438\u0431\u043e \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043a\u043e\u0440\u0435\u043b\u043b\u0438\u0440\u0443\u0435\u0442 \u0441\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u043e\u043c \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0434\u043b\u044f\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u0434\u0430\u043b\u0435\u0435, \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0443 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b 10-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0439 \u0438 50-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. <\/p>\n<p>4. <strong>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435.<\/strong><\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u0435\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0439 \u0432\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043d\u0430 <strong>\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e<\/strong> \u0438 <strong>\u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e<\/strong> \u0432\u044b\u0431\u043e\u0440\u043a\u0443. \u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u043d\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u0430\u00a0\u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u043d\u0443\u0436\u043d\u0430 \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041b\u044e\u0431\u044b\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u0435\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u0442\u0435\u0440\u0438, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u0448\u0438 \u0445\u043e\u0442\u0435\u043b\u043a\u0438, \u0438 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a\u00a0\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0443\u0447\u0438\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c, \u0441\u0435\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/strong>.<\/p>\n<p>\u041a\u0430\u043a\u00a0\u0440\u0430\u0437 \u044d\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430, \u043d\u0430\u00a0\u043d\u0435\u0439 \u0441\u0435\u0442\u044c \u043d\u0435\u00a0\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0430\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u041a\u0430\u043a\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430\u00a0\u0442\u0430\u043a\u00a0\u0436\u0435 \u0440\u0430\u043d\u043d\u0435\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 loss \u0443\u0436\u0435 \u0434\u043e\u043b\u0433\u043e \u043d\u0435\u00a0\u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u0438\u043b\u0438\u00a0\u0440\u0430\u0441\u0442\u0435\u0442, \u0430\u00a0\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 loss \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0430\u0434\u0430\u0442\u044c. <\/p>\n<h2>\u0421\u043d\u0438\u0442\u0441\u044f \u043b\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0438\u0448\u043d\u0435\u0432\u044b\u0439 \u0441\u0430\u0434?<\/h2>\n<h3>\u041f\u0430\u0440\u0441\u0435\u0440 lib.ru<\/h3>\n<p>\u0421\u0430\u043c\u044b\u0439 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 lib.ru \u043c\u043e\u043c\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0430 <strong>\u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0437\u0434\u0430\u043d\u0438\u0439<\/strong>. \u041d\u0430 lib.ru \u0443 \u0427\u0435\u0445\u043e\u0432\u0430 \u043b\u0435\u0436\u0438\u0442 \u041f\u0421\u0421, \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 \u0441\u0430\u043c\u0438\u043c\u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043c\u0438 \u0442\u0430\u043c \u0438\u0434\u0443\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0430\u0437\u043d\u043e\u0447\u0442\u0435\u043d\u0438\u0439, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0440\u0443\u043a\u043e\u043f\u0438\u0441\u0435\u0439, \u0442\u0435\u043a\u0441\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u0431\u0438\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u0440\u0430\u0432\u043a\u0438.<\/p>\n<p>\u0421\u044b\u0440\u043e\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0434\u0430\u0451\u0442 ~24 \u041c\u0411 \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u2014 \u044d\u0442\u043e \u0430\u043f\u043f\u0430\u0440\u0430\u0442. \u042f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u0435\u0440\u0438\u044e cleaner-\u043e\u0432 \u043d\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043a\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u043e\u0442\u0440\u0435\u0437\u0430\u043b\u0430:<\/p>\n<ul>\n<li>\n<p>\u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0441\u0435\u043a\u0446\u0438\u0439 (\u00ab\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u044f\u00bb, \u00ab\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u0438\u0441\u0430\u043d\u0438\u044f\u00bb, \u00ab\u0421\u043f\u0438\u0441\u043e\u043a \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0439\u00bb)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u043f\u043a\u0438 \u043f\u0438\u0441\u0435\u043c (\u00ab\u0427\u0435\u0445\u043e\u0432 \u2014 \u0410. \u0421. \u0421\u0443\u0432\u043e\u0440\u0438\u043d\u0443\u00bb, \u00ab\u0410\u043b. \u041f. \u0427\u0435\u0445\u043e\u0432\u0443\u00bb)<\/p>\n<\/li>\n<li>\n<p>\u0422\u0435\u043a\u0441\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u043e\u043c\u0435\u0442\u043a\u0438 (\u00ab\u0414\u0430\u043b\u0435\u0435 \u0431\u044b\u043b\u043e \u043d\u0430\u0447\u0430\u0442\u043e:\u00bb, \u00ab\u0412\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e:\u00bb, \u00ab\u041d\u0430 \u043f\u043e\u043b\u044f\u0445 \u043f\u043e\u043c\u0435\u0442\u0430:\u00bb)<\/p>\n<\/li>\n<li>\n<p>\u0410\u0440\u0445\u0438\u0432\u043d\u044b\u0435 \u0448\u0438\u0444\u0440\u044b (\u0426\u0413\u0410\u041b\u0418, \u0413\u041f\u0411, \u0418\u0420\u041b\u0418)<\/p>\n<\/li>\n<li>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043d\u043e\u0441\u043a\u0438 \u0438 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0442\u043e\u043c\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c <strong>16 \u041c\u0411 \u0447\u0438\u0441\u0442\u043e\u0439 \u0447\u0435\u0445\u043e\u0432\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0437\u044b<\/strong> \u2014 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b, \u043f\u043e\u0432\u0435\u0441\u0442\u0438, \u043f\u044c\u0435\u0441\u044b, \u0437\u0430\u043f\u0438\u0441\u043d\u044b\u0435 \u043a\u043d\u0438\u0436\u043a\u0438. \u041f\u0438\u0441\u044c\u043c\u0430 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e; \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u2014 \u043d\u0435\u0442.<\/p>\n<h3>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>Char-level \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e: \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0438\u043c\u0432\u043e\u043b \u2014 \u0442\u043e\u043a\u0435\u043d. \u0410\u043b\u0444\u0430\u0432\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 <strong>201 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u043c\u0432\u043e\u043b<\/strong>: \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0445, \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0430 (\u0427\u0435\u0445\u043e\u0432 \u043f\u0438\u0441\u0430\u043b \u043f\u043e-\u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438 \u0438 \u043f\u043e-\u043d\u0435\u043c\u0435\u0446\u043a\u0438), \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u044f, \u0442\u0438\u0440\u0435, \u043a\u0430\u0432\u044b\u0447\u043a\u0438, \u0446\u0438\u0444\u0440\u044b, \u0442\u0438\u043f\u043e\u0433\u0440\u0430\u0444\u0441\u043a\u0438\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438\u0437 \u0438\u0437\u0434\u0430\u043d\u0438\u0439.<\/p>\n<pre><code class=\"python\"># prepare.py \u2014 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 nanoGPT char-level \u043f\u0440\u0435\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433chars = sorted(list(set(text)))vocab_size = len(chars)   # 201stoi = {c: i for i, c in enumerate(chars)}itos = {i: c for i, c in enumerate(chars)}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>90% \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0432 train, 10% \u0432 val. \u041d\u0438\u043a\u0430\u043a\u0438\u0445 \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 EOS \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c\u0443 \u043f\u043e\u0442\u043e\u043a\u0443 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.<\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 (~10.7M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432)<\/h3>\n<pre><code class=\"python\">n_layer    = 6n_head     = 6n_embd     = 384block_size = 256        # ~120 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0441\u043b\u043e\u0432 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435vocab_size = 201dropout    = 0.2        # \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441bias       = False<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0427\u0430\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Token embedding (wte, tied)<\/p>\n<\/td>\n<td>\n<p align=\"left\">201 \u00d7 384 = 77K<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Position embedding (wpe)<\/p>\n<\/td>\n<td>\n<p align=\"left\">256 \u00d7 384 = 98K<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Per-layer attention<\/p>\n<\/td>\n<td>\n<p align=\"left\">4 \u00d7 384\u00b2 \u2248 590K<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Per-layer MLP<\/p>\n<\/td>\n<td>\n<p align=\"left\">8 \u00d7 384\u00b2 \u2248 1.18M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u00d7 6 layers<\/p>\n<\/td>\n<td>\n<p align=\"left\">~10.6M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0412\u0441\u0435\u0433\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>~10.76M<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u043c \u043c\u0435\u0440\u043a\u0430\u043c \u044d\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u0441 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 char-rnn \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u041a\u0430\u0440\u043f\u0430\u0442\u043e\u0433\u043e 2015 \u0433\u043e\u0434\u0430 \u0438\u0437 \u0435\u0433\u043e \u0441\u0442\u0430\u0442\u044c\u0438 \u00abThe Unreasonable Effectiveness of Recurrent Neural Networks\u00bb \u2014 \u0442\u043e\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u043f\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0443 LSTM \u0443\u0447\u0438\u043b\u0438 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0428\u0435\u043a\u0441\u043f\u0438\u0440\u0430 \u0438 \u0422\u043e\u043b\u0441\u0442\u043e\u0433\u043e, \u0438 \u043d\u0430\u0448 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043f\u0440\u044f\u043c\u043e \u0432 \u0442\u043e\u0439 \u0436\u0435 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u0438.<\/p>\n<h3>\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438<\/h3>\n<pre><code class=\"python\">learning_rate = 1e-3max_iters = 2000warmup_iters = 100lr_decay_iters = 2000min_lr = 1e-4beta2 = 0.99batch_size = 64dtype = 'bfloat16'<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/h4>\n<p>\u0421\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0439 \u043b\u043e\u0441\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f <strong>5.41<\/strong> \u2248 ln(201) = 5.30 \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0441\u0442\u043d\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u0441 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e. <strong>180-250 \u043c\u0441 \u043d\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e<\/strong> \u043d\u0430 RTX 3050 Mobile, \u043e\u0431\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043a\u043e\u043b\u043e <strong>20 \u043c\u0438\u043d\u0443\u0442<\/strong>. VRAM \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430 \u2014 \u043d\u0430 4 \u0413\u0411-\u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u0437\u0430\u043f\u0430\u0441.<\/p>\n<p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0447\u0435\u0440\u0435\u0437 <code>sample.py<\/code> \u043d\u0430 \u043f\u0440\u043e\u043c\u043f\u0442\u0435 \u00ab\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447\u00bb \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438.<\/p>\n<h3>\u042d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/h3>\n<p><strong>iter ~600 (loss ~1.9):<\/strong><\/p>\n<blockquote>\n<p>\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447 \u043d\u0430 \u043f\u043e\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u043c \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0442\u0440\u0435\u0447\u0430\u043d\u0438\u0435\u043c \u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u044f\u043d\u0443\u043b\u0441\u044f \u043e\u043d\u043e \u043e\u0442\u0434\u0430\u0432\u0430\u043b\u0438 \u0441 \u0432\u0430\u043c. \u0421 \u043d\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u043e\u0441\u044c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438 \u043d\u0435 \u043c\u0438\u0433\u043d\u0438\u0435 \u0432 \u0432\u043e\u0441\u043f\u0435\u043a\u0442\u0430\u043a\u043b\u0435 \u0434\u0432\u0443\u0445 \u0441 \u0440\u0430\u0434\u043e\u0447\u043d\u043e\u0439 \u0447\u0438\u0441\u0442\u0430, \u0447\u0442\u043e \u043e\u043d \u0431\u044b\u043b\u043e \u043e\u043d \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u043d\u0438\u044f \u0432\u0435\u0447\u0435\u0440\u0438, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b \u043e\u043d, \u0442\u043e \u043e\u043d \u043f\u0440\u0438\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u0444\u0440\u0430\u043d\u0446\u0435\u043b\u044c\u043a\u043e \u043e\u0442 \u0441\u043e\u0445\u043d\u0435\u043a\u043e\u043c \u0447\u0443\u0432\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0438 \u043d\u0435 \u0431\u044b\u043b\u043e \u0431\u044b\u0442\u044c \u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043f\u0438\u0441\u0430\u043b \u043f\u0440\u0438\u0435\u0445\u0430\u043b \u0445\u0432\u043e\u0441\u0442\u043e\u0440<\/p>\n<\/blockquote>\n<p>\u0423\u0436\u0435 \u0432\u044b\u0443\u0447\u0438\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u043c\u043e\u0440\u0444\u0435\u043c\u044b \u0438 \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f (\u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b \u043e\u043d\u00bb, \u00ab\u043a\u043e\u0442\u043e\u0440\u044b\u0435\u00bb, \u00ab\u043d\u0435 \u0431\u044b\u043b\u043e \u0431\u044b\u0442\u044c\u00bb), \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0432\u044b\u0447\u043a\u0438, \u0441\u0442\u0430\u0432\u0438\u0442 \u0437\u0430\u0433\u043b\u0430\u0432\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0447\u0435\u043a. \u041f\u0441\u0435\u0432\u0434\u043e\u0441\u043b\u043e\u0432\u0430 \u0432\u0440\u043e\u0434\u0435 \u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u044f\u043d\u0443\u043b\u0441\u044f\u00bb \u0438 \u00ab\u0436\u0438\u0437\u043d\u0438\u043a\u043e\u0432\u00bb \u2014 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435: \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0441\u0432\u043e\u0438\u043b\u0430 \u0444\u043e\u043d\u043e\u0442\u0430\u043a\u0442\u0438\u043a\u0443 (\u043a\u0430\u043a\u0438\u0435 \u0431\u0443\u043a\u0432\u044b \u0437\u0430 \u043a\u0430\u043a\u0438\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0438\u0434\u0442\u0438), \u043d\u043e \u0435\u0449\u0451 \u043d\u0435 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043b\u0430 \u0446\u0435\u043b\u044b\u0435 \u0441\u043b\u043e\u0432\u0430.<\/p>\n<p><strong>iter ~2250 (loss ~1.4):<\/strong><\/p>\n<blockquote>\n<p>\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447 \u043d\u0430\u00a0\u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u043d\u0430\u00a0\u0431\u043e\u043a, \u0434\u0443\u043c\u0430\u043b: \u00ab\u0414\u0430\u044e\u0442 \u0441\u0438\u043c\u043f\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043a\u0443\u043b\u0430\u043a\u0443 \u0438 \u043e\u0442\u0434\u0430\u0432\u0430\u0442\u044c \u0441\u0435\u0431\u044f \u043d\u0430\u00a0\u043d\u0435\u0435 \u0434\u0435\u0441\u044f\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442 \u0434\u0435\u0432\u043e\u0447\u043a\u0438 \u0438 \u0441\u043c\u0435\u0445\u043d\u0443\u0442\u044c \u0442\u0430\u043a\u043e\u0435. \u041d\u0430\u043f\u0438\u0441\u0430\u043b \u043e\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0434\u0432\u0435 \u0437\u0430\u00a0\u0441\u0432\u043e\u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0441\u043b\u0430\u0442\u044c\u0435\u0432\u2026\u00bb<\/p>\n<\/blockquote>\n<p>\u041f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0441\u043b\u043e\u0432\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u2014 \u00ab\u0441\u0438\u043c\u043f\u0430\u0442\u0438\u0447\u043d\u0443\u044e\u00bb, \u00ab\u0434\u0435\u0441\u044f\u0442\u044c\u00bb, \u00ab\u0434\u0435\u0432\u043e\u0447\u043a\u0438\u00bb, \u00ab\u043d\u0443\u0436\u043d\u043e\u00bb, \u00ab\u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439\u00bb. \u041f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 \u0440\u0435\u0447\u0438 \u0447\u0435\u0440\u0435\u0437 \u0434\u0432\u043e\u0435\u0442\u043e\u0447\u0438\u0435 \u0438 \u043a\u0430\u0432\u044b\u0447\u043a\u0438. \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u043e\u0434\u043e\u0432 \u0438 \u043f\u0430\u0434\u0435\u0436\u0435\u0439 \u0447\u0430\u0441\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 (\u00ab\u0441\u0438\u043c\u043f\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043a\u0443\u043b\u0430\u043a\u0443\u00bb \u2014 \u0432\u0438\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0436\u0435\u043d.\u0440.), \u0434\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 \u0441\u043b\u043e\u0432\u0430 \u0441\u0442\u044b\u043a\u0443\u044e\u0442\u0441\u044f \u0430\u0431\u0441\u0443\u0440\u0434\u043d\u043e.<\/p>\n<p>\u041d\u043e \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u2014 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u0435\u043c\u043f\u043b \u0438\u0437 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u0440\u044b:<\/p>\n<blockquote>\n<p>\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447 (\u0441\u043c. \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0438 \u043a\u00a0\u043d\u0435\u043c\u0443 \u0427\u0435\u0445\u043e\u0432\u0430).\u00a0\u0411\u044b\u043b \u043e\u0442\u00a0\u0434\u0435\u043d\u044c\u0433\u0438\u00a0\u2014 \u0441\u043c. \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0439 \u0410.\u041f. \u0427\u0435\u0445\u043e\u0432\u00a0\u2014 \u0410. \u041f. \u0427\u0435\u0445\u043e\u0432\u0443 \u041c\u0438\u0445\u0430\u0438\u043b\u0443 \u041f\u0430\u0432\u043b\u043e\u0432\u0438\u0447\u0443<\/p>\n<p>3\u00a0\u0420\u044f\u0434\u043e\u043c \u043f\u043e\u00a0\u0441\u043e\u0431\u0440\u0430\u043d\u0438\u044e \u00ab\u041d\u043e\u0432\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u0435\u043c\u0435\u043d\u0430\u00bb, \u043a\u00a0I, 45, 1.<\/p>\n<p>4\u00a0\u00ab\u0422\u0440\u0438 \u0433\u043e\u0434\u0430\u00bb (\u0421\u041c 8, 7\u00a0\u0441\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c, 1886, No 31.<\/p>\n<\/blockquote>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c <strong>\u0432\u044b\u0443\u0447\u0438\u043b\u0430 \u0444\u043e\u0440\u043c\u0430\u0442 \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0441\u043a\u043e\u0433\u043e \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u0430 \u041f\u0421\u0421<\/strong>. Cleaner \u0432\u044b\u0447\u0438\u0441\u0442\u0438\u043b \u043f\u043e\u0447\u0442\u0438 \u0432\u0435\u0441\u044c, \u043d\u043e \u0447\u0430\u0441\u0442\u044c \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u2014 \u0438 \u044d\u0442\u0438 \u0440\u0435\u0434\u043a\u0438\u0435 \u043a\u0443\u0441\u043a\u0438 \u0437\u0430\u0442\u0432\u0435\u0440\u0434\u0435\u043b\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u0430\u043a <strong>\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/strong>.<\/p>\n<p><strong>iter ~5000 (\u0444\u0438\u043d\u0430\u043b, val loss ~1.20-1.22):<\/strong><\/p>\n<blockquote>\n<p>\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u043f\u043e\u0433\u043b\u044f\u0434\u0435\u043b \u043d\u0430 \u043c\u0435\u043d\u044f \u0438 \u0437\u0430\u043c\u0438\u0433\u0430\u043b \u0433\u043b\u0430\u0437\u0430\u043c\u0438. \u041e\u043d \u0441\u0442\u0430\u043b \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u0438 \u043f\u043e\u0434\u043b\u043e\u0436\u0438\u043b \u0441\u043f\u0438\u0447\u043a\u0443. \u2013 \u042f \u0432\u0430\u0441 \u0432\u0438\u0434\u0435\u043b\u0430\u2026 \u2013 \u0441\u043a\u0430\u0437\u0430\u043b \u043e\u043d, \u0441\u043c\u0435\u044f\u0441\u044c. \u2013 \u042f \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u044e \u0432\u0430\u0441, \u0431\u0443\u0434\u0443 \u0436\u0434\u0430\u0442\u044c \u0432\u0430\u0441. \u2013 \u041d\u0430\u0434\u043e \u043b\u0438 \u0434\u0432\u0430 \u0433\u043e\u0434\u0430? \u2013 \u0441\u043f\u0440\u043e\u0441\u0438\u043b \u044f, \u0443\u043b\u044b\u0431\u0430\u044f\u0441\u044c. \u2013 \u0414\u0430. \u0422\u044b \u043f\u043e\u0434\u0443\u043c\u0430\u0439\u0442\u0435, \u0447\u0442\u043e \u0432\u044b \u0443\u0432\u0438\u0434\u0438\u0442\u0435 \u043c\u0435\u043d\u044f \u0432 \u044d\u0442\u043e\u0439 \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u0435 \u043f\u0440\u043e\u0436\u0438\u0432\u0435\u0442\u0435. \u0422\u044b \u043f\u043e\u0435\u0434\u0435\u0448\u044c \u0432 \u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433, \u0430 \u0432 \u041c\u043e\u0441\u043a\u0432\u0443 \u0435\u0449\u0435 \u0434\u043e \u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433\u0430? \u2013 \u0441\u043f\u0440\u043e\u0441\u0438\u043b \u044f.<\/p>\n<\/blockquote>\n<p>\u042d\u0442\u043e \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u043c\u0438\u043a\u0440\u043e-\u044d\u043f\u0438\u0437\u043e\u0434. \u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f: \u0442\u0438\u0440\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0440\u0435\u043f\u043b\u0438\u043a, \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0430\u044f \u0440\u0435\u0447\u044c \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u0442\u0438\u0440\u0435, \u0447\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043d\u0438\u043a\u043e\u0432, \u0433\u043b\u0430\u0433\u043e\u043b\u044b \u0433\u043e\u0432\u043e\u0440\u0435\u043d\u0438\u044f \u0441 \u0434\u0435\u0435\u043f\u0440\u0438\u0447\u0430\u0441\u0442\u0438\u044f\u043c\u0438. \u041c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0441\u0432\u044f\u0437\u044c: \u00ab\u043f\u043e\u0433\u043b\u044f\u0434\u0435\u043b \u043d\u0430 \u043c\u0435\u043d\u044f \u0438 \u0437\u0430\u043c\u0438\u0433\u0430\u043b \u0433\u043b\u0430\u0437\u0430\u043c\u0438\u00bb \u2192 \u00ab\u0441\u0442\u0430\u043b \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u0438 \u043f\u043e\u0434\u043b\u043e\u0436\u0438\u043b \u0441\u043f\u0438\u0447\u043a\u0443\u00bb \u2014 \u0434\u0432\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430. \u0421\u0446\u0435\u043d\u0430 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u0430 \u2014 \u0434\u0432\u0430 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043d\u0438\u043a\u0430, \u043a\u0430\u0431\u0438\u043d\u0435\u0442, \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440 \u043e \u0431\u0443\u0434\u0443\u0449\u0435\u043c, \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433\u0430 \u0438 \u041c\u043e\u0441\u043a\u0432\u044b.<\/p>\n<p>\u0413\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u2014 \u043d\u0430 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0435 \u0438 \u043b\u043e\u0433\u0438\u043a\u0435:<\/p>\n<ul>\n<li>\n<p>\u00ab\u042f \u0432\u0430\u0441 \u0432\u0438\u0434\u0435\u043b\u0430\u00bb (\u0436\u0435\u043d\u0441\u043a\u0438\u0439 \u0440\u043e\u0434) \u043e\u0442 \u00ab\u043e\u043d\u00bb \u2014 \u0440\u0430\u0441\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u043e\u0434\u0430<\/p>\n<\/li>\n<li>\n<p>\u00ab\u0422\u044b \u043f\u043e\u0434\u0443\u043c\u0430\u0439\u0442\u0435\u00bb \u2014 \u0441\u043c\u0435\u0448\u0435\u043d\u0438\u0435 \u0422\u044b\/\u0412\u044b<\/p>\n<\/li>\n<li>\n<p>\u00ab\u041d\u0430\u0434\u043e \u043b\u0438 \u0434\u0432\u0430 \u0433\u043e\u0434\u0430?\u00bb \u2014 \u0444\u0440\u0430\u0437\u0430 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u043b\u0438\u0434\u043d\u0430, \u043d\u043e \u0441\u043c\u044b\u0441\u043b\u0430 \u043d\u0435\u0442<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c <strong>\u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u043e\u043c \u0438 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u043e\u0439<\/strong>. Char-level \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 10\u041c \u043e\u0441\u0432\u043e\u0438\u043b\u0430 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e, \u043d\u043e <strong>\u0443\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430<\/strong> \u2014 \u044d\u0442\u043e \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442.<\/p>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0432 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e <strong>\u0430\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u044b<\/strong>. \u041d\u0430 \u043f\u0440\u043e\u043c\u043f\u0442\u0435 \u00ab\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447\u00bb \u043c\u043e\u0434\u0435\u043b\u044c <strong>\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e 50\/50<\/strong> \u0443\u0445\u043e\u0434\u0438\u0442 \u043b\u0438\u0431\u043e \u0432 \u043f\u0440\u043e\u0437\u0443, \u043b\u0438\u0431\u043e \u0432 <strong>\u0441\u043d\u043e\u0441\u043a\u0443 \u041f\u0421\u0421<\/strong>:<\/p>\n<blockquote>\n<p>\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447 \u2013 127, 438 \u041c\u0430\u0440\u0438\u044f \u041a\u0430\u043d\u0438\u043d\u043e\u0432\u043d\u0430 (1848\u20131899), \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u043e\u0440 \u0410. \u041f. \u0427\u0435\u0445\u043e\u0432\u0430 \u2013 188, 259, 313 \u041e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432 \u0418\u0432\u0430\u043d\u043e\u0432\u0438\u0447 (1884\u20131881), \u0437\u0430\u043c\u0435\u0440 \u201c\u0427\u0430\u0439\u043a\u0443\u201d, \u0441\u043e\u043b\u043e\u0432\u044c\u044f \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440\u043e\u0432\u043d\u044b \u2013 129, 383 \u201c\u0421\u0430\u0445\u0430\u043b\u0438\u043d\u201d \u2013 178, 439<\/p>\n<\/blockquote>\n<p>\u042d\u0442\u043e <strong>path dependence<\/strong>: \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e\u0441\u043b\u0435 \u00ab\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447\u00bb \u0440\u0435\u0437\u043a\u043e \u0431\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0435. \u0415\u0441\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0441\u0438\u043c\u0432\u043e\u043b \u2014 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441\u0442\u0440\u043e\u043a\u0438, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0447\u0442\u0438 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u0438\u0434\u0451\u0442 \u0432 \u0440\u0435\u0436\u0438\u043c \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f \u0438\u043c\u0451\u043d, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435 <code>\u0418\u043c\u044f\\n   <\/code> \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0448\u043b\u0438 \u043f\u0443\u043d\u043a\u0442\u044b \u0441 \u0446\u0438\u0444\u0440\u0430\u043c\u0438 \u0438 \u0442\u0438\u0440\u0435. \u0415\u0441\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0441\u0438\u043c\u0432\u043e\u043b \u2014 \u0437\u0430\u043f\u044f\u0442\u0430\u044f \u0438\u043b\u0438 \u043f\u0440\u043e\u0431\u0435\u043b \u043f\u0435\u0440\u0435\u0434 \u0433\u043b\u0430\u0433\u043e\u043b\u043e\u043c, \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u043f\u0440\u043e\u0437\u0443. \u041e\u0434\u0438\u043d \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442 \u0432\u0441\u044e \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0443\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u0431\u0440\u0430\u0442\u044c \u0441\u043d\u043e\u0441\u043a\u0438, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0436\u0451\u0441\u0442\u043a\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0432 \u043f\u0440\u043e\u043c\u043f\u0442\u0435. \u041f\u043e\u0441\u043b\u0435 \u00ab\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u00bb \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0438\u043c\u0451\u043d \u0443\u0436\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u0435\u043d \u2014 \u0442\u0430\u043c \u043f\u043e\u0441\u043b\u0435 \u0438\u043c\u0451\u043d \u0438\u0434\u0443\u0442 \u0446\u0438\u0444\u0440\u044b \u0438\u043b\u0438 \u0433\u043e\u0434\u044b, \u0430 \u043d\u0435 \u043d\u0430\u0440\u0435\u0447\u0438\u044f:<\/p>\n<blockquote>\n<p>\u0410\u043d\u0442\u043e\u043d \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u0443\u043b\u044b\u0431\u0430\u043b\u0441\u044f, \u0434\u0430\u0436\u0435 \u0441\u0443\u0445\u043e \u043f\u0440\u043e\u0448\u0435\u043b\u0441\u044f \u0438 \u0441\u043a\u0430\u0437\u0430\u043b \u0435\u043c\u0443: \u2013 \u0422\u0430\u043a \u0438 \u0432 \u0434\u043e\u043c\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043b \u041c\u0430\u0442\u0432\u0435\u0439 \u041f\u0435\u0442\u0440\u043e\u0432\u0438\u0447, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0433\u0440\u0430\u0444 \u043f\u043e \u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433\u0443 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e. \u0412 \u043a\u0430\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044f \u043d\u0435 \u044e\u0433\u043e\u0434\u043d\u043e \u0431\u044b\u043b\u043e \u0441\u0435\u0431\u0435 \u0438 \u0431\u0435\u0437 \u043a\u043e\u043c\u043d\u0430\u0442\u044b \u043f\u043e\u0448\u043b\u0430 \u043a \u043a\u043e\u043c\u043d\u0430\u0442\u0435\u2026<\/p>\n<\/blockquote>\n<h4>\u0427\u0442\u043e \u0447\u0435\u0445\u043e\u0432\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u0435\u0442 \u0438 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430, \u0431\u0443\u043a\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u044f (\u043f\u0430\u0434\u0435\u0436\u0438, \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 (\u0442\u0438\u0440\u0435, \u0440\u0435\u043f\u043b\u0438\u043a\u0438, \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0430\u044f \u0440\u0435\u0447\u044c)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0443\u0437\u043d\u0430\u0432\u0430\u0435\u043c\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0427\u0435\u0445\u043e\u0432\u0441\u043a\u0430\u044f \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0430 (\u0438\u043c\u044f-\u043e\u0442\u0447\u0435\u0441\u0442\u0432\u043e, \u0440\u0438\u0442\u043c, \u043b\u0435\u043a\u0441\u0438\u043a\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u044f\u0440\u043a\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c 2-3 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u26a0\ufe0f \u043c\u0435\u0441\u0442\u0430\u043c\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0423\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0442\u0435\u043c\u044b \u043d\u0430 \u0430\u0431\u0437\u0430\u0446<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u043d\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u044e\u0431\u0430\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u043d\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u044f \u043f\u043e\u0442\u043e\u043c \u043a\u043e\u0432\u044b\u0440\u044f\u043b\u0441\u044f \u0432 mech-interp \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u2014 \u043d\u043e \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0433\u043b\u0430\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0435 \u043f\u043e\u043f\u0430\u043b\u0430, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0435 \u0435\u0435 \u043d\u0435 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0430\u0442\u044c.<\/p>\n<p>\u0421\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u00a0\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u043f\u043e\u0437\u0434\u043d\u0435\u0435 \u044f \u043e\u0431\u0443\u0447\u0430\u043b 10-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0435 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d \u043d\u0438\u0436\u0435), \u0430\u00a0\u0442\u0430\u043a\u00a0\u0436\u0435 \u043d\u0430\u00a0\u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u0448\u0438\u0440\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0438, \u043d\u043e\u00a0\u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u043d\u0435\u0441\u0438\u043b\u044c\u043d\u043e\u00a0\u2014 \u0440\u0435\u0447\u044c \u0432\u0441\u0435 \u0442\u0430\u043a\u00a0\u0436\u0435 \u0431\u0435\u0441\u0441\u0432\u044f\u0437\u043d\u0430, \u0441\u0443\u0434\u044f \u043f\u043e\u00a0\u0432\u0441\u0435\u043c\u0443, \u043d\u0430 10\u00a0\u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043e\u0442\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u00ab\u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u0438 \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f\u00bb \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<h2>\u0414\u0430\u043d\u044c \u0443\u0432\u0430\u0436\u0435\u043d\u0438\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u0443\u043b\u044c\u0442\u0443\u0440\u0435<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0427\u0435\u0445\u043e\u0432\u0430 \u0441\u0442\u0430\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e: \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u043a\u043e\u0440\u043f\u0443\u0441 <strong>\u0432\u043e \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437<\/strong>, \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c <strong>BPE-\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440<\/strong>, \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c <strong>\u0434\u043e GPT-2-nano \u0443\u0440\u043e\u0432\u043d\u044f<\/strong>.<\/p>\n<h3>\u041a\u043e\u0440\u043f\u0443\u0441<\/h3>\n<p>\u0420\u0430\u0441\u0448\u0438\u0440\u0438\u043b \u043f\u0430\u0440\u0441\u0435\u0440 \u043d\u0430 21 \u0430\u0432\u0442\u043e\u0440\u0430: \u0432\u0441\u044e \u0437\u043e\u043b\u043e\u0442\u0443\u044e \u043f\u0440\u043e\u0437\u0443 (\u0422\u043e\u043b\u0441\u0442\u043e\u0439, \u0414\u043e\u0441\u0442\u043e\u0435\u0432\u0441\u043a\u0438\u0439, \u0422\u0443\u0440\u0433\u0435\u043d\u0435\u0432, \u0413\u043e\u043d\u0447\u0430\u0440\u043e\u0432, \u041b\u0435\u0441\u043a\u043e\u0432, \u0411\u0443\u043d\u0438\u043d, \u041a\u0443\u043f\u0440\u0438\u043d, \u0413\u043e\u0433\u043e\u043b\u044c, \u0410\u043d\u0434\u0440\u0435\u0435\u0432), \u043f\u044c\u0435\u0441\u044b (\u041e\u0441\u0442\u0440\u043e\u0432\u0441\u043a\u0438\u0439, \u0413\u0440\u0438\u0431\u043e\u0435\u0434\u043e\u0432), \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u0443\u044e \u043a\u0440\u0438\u0442\u0438\u043a\u0443 (\u0411\u0435\u043b\u0438\u043d\u0441\u043a\u0438\u0439, \u0414\u043e\u0431\u0440\u043e\u043b\u044e\u0431\u043e\u0432, \u041f\u0438\u0441\u0430\u0440\u0435\u0432, \u0413\u0435\u0440\u0446\u0435\u043d, \u0427\u0435\u0440\u043d\u044b\u0448\u0435\u0432\u0441\u043a\u0438\u0439), \u043f\u043b\u044e\u0441 \u043c\u0430\u043b\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u043e\u0432 (\u0413\u0430\u0440\u0448\u0438\u043d, \u041a\u043e\u0440\u043e\u043b\u0435\u043d\u043a\u043e, \u0421\u0430\u043b\u0442\u044b\u043a\u043e\u0432-\u0429\u0435\u0434\u0440\u0438\u043d, \u041b\u0435\u0440\u043c\u043e\u043d\u0442\u043e\u0432).<\/p>\n<p>\u0421\u044b\u0440\u043e\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0434\u0430\u043b <strong>369 \u041c\u0411<\/strong>. \u0422\u0430 \u0436\u0435 \u0447\u0438\u0441\u0442\u043a\u0430, \u0447\u0442\u043e \u0434\u043b\u044f \u0427\u0435\u0445\u043e\u0432\u0430, \u043f\u043b\u044e\u0441 \u043d\u043e\u0432\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u043f\u043e\u0434 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u0430 (\u0443 \u0422\u0443\u0440\u0433\u0435\u043d\u0435\u0432\u0430 \u2014 \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0435 \u0430\u0434\u0440\u0435\u0441\u0430 \u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u0438, \u0443 \u0422\u043e\u043b\u0441\u0442\u043e\u0433\u043e \u2014 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0438\u0437\u0434\u0430\u043d\u0438\u044f \u00ab1868 \u0433.\u00bb, \u0443 \u0414\u043e\u0441\u0442\u043e\u0435\u0432\u0441\u043a\u043e\u0433\u043e \u2014 \u0442\u0435\u043a\u0441\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438), \u2014 \u0438\u0442\u043e\u0433\u043e <strong>264 \u041c\u0411 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430<\/strong>.<\/p>\n<h3>\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u0434 BPE<\/h3>\n<p>\u041f\u0435\u0440\u0435\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u0442\u0435\u043a\u0441\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440:<\/p>\n<ul>\n<li>\n<p><code>\u0451 \u2192 \u0435, \u0401 \u2192 \u0415<\/code> (\u0442\u0438\u043f\u043e\u0433\u0440\u0430\u0444\u0441\u043a\u043e\u0435 \u0451 \u0432 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u043d\u0435 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u044b)<\/p>\n<\/li>\n<li>\n<p>\u0423\u043d\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043a\u0430\u0432\u044b\u0447\u0435\u043a: <code>\" \" \u201e \u2192 \u00ab \u00bb<\/code><\/p>\n<\/li>\n<li>\n<p>\u0423\u043d\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0442\u0438\u0440\u0435: <code>\u2013 , -- \u2192 \u2014<\/code><\/p>\n<\/li>\n<li>\n<p>\u041c\u043d\u043e\u0433\u043e\u0442\u043e\u0447\u0438\u0435: <code>... \u2192 \u2026<\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0438 \u0434\u0430\u0451\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0434\u043d\u0443 \u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u043a\u0430.<\/p>\n<h3>\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u2014 SentencePiece BPE 16k<\/h3>\n<pre><code class=\"python\">spm.SentencePieceTrainer.train(    input=\"corpus_clean.norm.txt\",    model_prefix=\"spm\",    vocab_size=16000,    model_type=\"bpe\",    character_coverage=1.0,    byte_fallback=True,    user_defined_symbols=[\"\u2014\", \"\u00ab\", \"\u00bb\", \"\u2026\"],)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>user_defined_symbols<\/code> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u0438 \u0437\u043d\u0430\u043a\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0440\u0430\u0437\u0440\u0435\u0437\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\u0430\u0439\u0442\u044b \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0438\u0434\u0438\u0442 \u0438\u0445 \u043a\u0430\u043a \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b. \u041d\u0430 \u0447\u0438\u0441\u0442\u043e\u043c BPE \u0431\u0435\u0437 \u044d\u0442\u043e\u0439 \u043e\u043f\u0446\u0438\u0438 \u0442\u0438\u0440\u0435 (<code>\u2014<\/code>, U+2014, 3 UTF-8 \u0431\u0430\u0439\u0442\u0430) \u043c\u043e\u0433\u043b\u043e \u0440\u0430\u0437\u043b\u0435\u0442\u0435\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0443\u0441\u043a\u0438, \u0447\u0442\u043e \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0438 \u043a\u0430\u0442\u0430\u0441\u0442\u0440\u043e\u0444\u0430: \u0442\u0438\u0440\u0435 \u2014 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u043d\u0430\u043a \u0434\u0438\u0430\u043b\u043e\u0433\u0430.<\/p>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430: <strong>3.49 \u0441\u0438\u043c\u0432\u043e\u043b\u0430 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d<\/strong> \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c. \u041f\u043e\u043b\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430 \u0432\u0440\u043e\u0434\u0435 \u00ab\u0414\u043e\u0441\u0442\u043e\u0435\u0432\u0441\u043a\u0438\u0439\u00bb, \u00ab\u043f\u043e\u043c\u0435\u0449\u0438\u043a\u00bb, \u00ab\u0431\u0430\u0440\u044b\u0448\u043d\u044f\u00bb \u2014 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d. \u0418\u043c\u0435\u043d\u0430-\u043e\u0442\u0447\u0435\u0441\u0442\u0432\u0430 \u2014 2-3 \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438: <strong>75M \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 train.bin<\/strong>.<\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 (~46M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432)<\/h3>\n<pre><code class=\"python\">n_layer    = 12n_head     = 8n_embd     = 512block_size = 512         # ~1700 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435vocab_size = 16000bias       = Falsedropout    = 0.1<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0427\u0430\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Token embedding (16000 \u00d7 512, tied)<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.2M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Position embedding<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.26M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Per-layer (attn + mlp)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~3.15M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u00d7 12 layers<\/p>\n<\/td>\n<td>\n<p align=\"left\">37.8M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0412\u0441\u0435\u0433\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>~46M<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438<\/h3>\n<pre><code class=\"python\">n_layer    = 10n_head     = 8n_embd     = 512ff_dim     = 2048   # 4 \u00d7 n_embdblock_size = 1024vocab_size = 32000bias       = False  # \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u0431\u0435\u0437 bias \u0432 Linear\/LNdropout    = 0.1<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>30000 \u00d7 34K \u2248 1B \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0447\u0442\u043e \u043e\u043a\u043e\u043b\u043e 14 \u044d\u043f\u043e\u0445 \u043f\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0443. \u042d\u0442\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u0437\u0430 chinchilla \u2014 \u043d\u043e 75M \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e \u0434\u043b\u044f 46M \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0443, \u0438 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u044d\u043f\u043e\u0445\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u0443, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>VRAM: ~3.2 \u0413\u0411 \u043f\u0440\u0438 bf16, ctx=512, bs=6. \u0418\u0442\u0435\u0440\u0430\u0446\u0438\u044f ~1.5 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430 RTX 3050 Mobile.<\/p>\n<h3>\u041f\u0440\u043e\u0433\u0440\u0435\u0441\u0441<\/h3>\n<pre><code>iter     0  train loss 9.68 \/ val 9.68   (\u2248 ln(16000), \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f)iter   500  ~5.5    warmup \u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043diter  3000  ~4.0iter  8000  ~3.6iter 14000  ~3.45iter 21000  ~3.36   \u2190 \u043b\u0443\u0447\u0448\u0438\u0439 val (best checkpoint \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d)iter 24500  ~3.36   \u2190 \u043f\u043b\u0430\u0442\u043e, \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b \u0432\u0440\u0443\u0447\u043d\u0443\u044e<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041b\u0443\u0447\u0448\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 21000 \u0448\u0430\u0433\u0435, \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e val \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c\u0441\u044f. Train \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b \u043f\u043e\u043b\u0437\u0442\u0438 \u0432\u043d\u0438\u0437 \u2014 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0445\u0432\u043e\u0441\u0442. <code>always_save_checkpoint=False<\/code> \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0442, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e.<\/p>\n<p>\u041e\u0431\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u043e\u043a\u043e\u043b\u043e <strong>13 \u0447\u0430\u0441\u043e\u0432<\/strong> \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430.<\/p>\n<h3>\u042d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/h3>\n<p>\u041d\u0430 \u043f\u0440\u043e\u043c\u043f\u0442\u0435 \u00ab\u044b\u044b\u044b\u044b\u00bb (\u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u0430\u044f \u0437\u0430\u0442\u0440\u0430\u0432\u043a\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a\u0438\u0435 \u0430\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u044b \u0443 \u043c\u043e\u0434\u0435\u043b\u0438) \u043f\u043e\u0441\u043b\u0435 21000 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u043b\u0430 \u0434\u0432\u0430 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u044f \u0437\u0430 \u0434\u0432\u0430 \u0441\u0435\u043c\u043f\u043b\u0430:<\/p>\n<p><strong>\u0421\u0435\u043c\u043f\u043b 1 \u2014 \u043f\u044c\u0435\u0441\u0430 \u0432 \u0441\u0442\u0438\u043b\u0435 \u041e\u0441\u0442\u0440\u043e\u0432\u0441\u043a\u043e\u0433\u043e:<\/strong><\/p>\n<blockquote>\n<p>\u044b\u044b\u044b\u044b! (\u041e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0448\u043b\u044f\u043f\u0443.)<\/p>\n<p>\u0416\u043c\u0438\u0433\u0443\u043b\u0438\u043d\u0430 . \u041d\u0443, \u0447\u0442\u043e, \u0430 \u0435\u0449\u0435 \u043a\u0443\u0434\u0430?<\/p>\n<p>\u0410\u0432\u0434\u043e\u0442\u044c\u044f \u0412\u0430\u0441\u0438\u043b\u044c\u0435\u0432\u043d\u0430 . \u0410 \u0432\u043e\u0442 \u0443\u0436 \u0434\u0430\u0432\u043d\u043e, \u0434\u043e\u0436\u0438\u0434\u0430\u0439\u0441\u044f; \u0438 \u0442\u0430\u043a \u0438 \u043f\u0440\u043e\u043f\u0430\u0434\u0435\u0448\u044c, \u0438 \u043f\u0440\u043e\u043f\u0430\u0434\u0435\u0448\u044c. (\u041f\u043e\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0435\u0442 \u0432 \u043e\u043a\u043d\u043e.) \u041f\u043e\u0434\u0438, \u043f\u043e\u0434\u0438; \u044f \u0442\u0435\u0431\u044f \u0434\u043e\u0436\u0438\u0434\u0430\u0442\u044c\u0441\u044f \u0441\u0442\u0430\u043d\u0443.<\/p>\n<p>\u0416\u043c\u0438\u0433\u0443\u043b\u0438\u043d\u0430. \u041d\u0435 \u043f\u043e\u0439\u0434\u0443. (\u0423\u0445\u043e\u0434\u0438\u0442.)<\/p>\n<p>\u0410\u0432\u0434\u043e\u0442\u044c\u044f \u0412\u0430\u0441\u0438\u043b\u044c\u0435\u0432\u043d\u0430 (\u043d\u0435 \u0441\u043b\u0443\u0448\u0430\u044f \u0440\u0435\u0447\u0435\u0439 \u043c\u0443\u0436\u0430). \u0412\u043e\u0442 \u0435\u0449\u0435! \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0440\u0430\u0437!<\/p>\n<\/blockquote>\n<p>\u0418\u043c\u0435\u043d\u0430 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0435\u0439 \u0431\u043b\u043e\u043a\u043e\u043c, \u0440\u0435\u043c\u0430\u0440\u043a\u0438 \u0432 \u0441\u043a\u043e\u0431\u043a\u0430\u0445, \u0434\u0438\u0430\u043b\u043e\u0433 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u0441\u0432\u044f\u0437\u043d\u044b\u0439. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u0430\u043c\u0430 \u0432\u0432\u0435\u043b\u0430 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 \u0440\u0435\u043c\u0430\u0440\u043a\u0443 \u00ab\u043d\u0435 \u0441\u043b\u0443\u0448\u0430\u044f \u0440\u0435\u0447\u0435\u0439 \u043c\u0443\u0436\u0430\u00bb \u2014 \u044d\u0442\u043e \u0443\u0436\u0435 \u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430, \u044d\u0442\u043e <strong>\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u043c\u0438\u0440\u0430<\/strong>.<\/p>\n<p><strong>\u0421\u0435\u043c\u043f\u043b 2 \u2014 \u0442\u0435\u043a\u0441\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0438\u0437\u0434\u0430\u043d\u0438\u044f:<\/strong><\/p>\n<blockquote>\n<p>\u044b\u044b\u044b\u044b\u043a \u0436\u0435. (\u0411\u0435\u0440\u0435\u0442 \u043f\u0438\u0441\u044c\u043c\u043e).<\/p>\n<p>26 \u0412\u043c\u0435\u0441\u0442\u043e: \u0438\u0437\u043b\u0438\u0448\u043d\u0435\u0435 ~ \u043d\u0435 \u0431\u044b\u043b\u043e \/\/ les<\/p>\n<p>38 \u0412\u043c\u0435\u0441\u0442\u043e: \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \/\/ \u043e\u0431\u0441\u0442\u0430\u0432\u0438\u043b\u0438<\/p>\n<p>\u0421\u0442\u0440. 391 2 \u0412\u043c\u0435\u0441\u0442\u043e: \u0438\u0437\u043b\u0438\u0448\u043d\u044e\u044e \/\/ \u0440\u043e\u0434\u043d\u0443\u044e<\/p>\n<\/blockquote>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442 \u00ab\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0438 \u0440\u0430\u0437\u043d\u043e\u0447\u0442\u0435\u043d\u0438\u044f\u00bb \u0438\u0437 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u041f\u0421\u0421. Cleaner \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u0441 \u044d\u0442\u0438\u043c \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0443\u0447\u0438\u043b\u0430 \u0444\u043e\u0440\u043c\u0430\u0442 \u043a\u0430\u043a \u043e\u0434\u0438\u043d \u0438\u0437 \u0436\u0430\u043d\u0440\u043e\u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0430.<\/p>\n<p>\u0422\u043e\u0442 \u0436\u0435 \u044d\u0444\u0444\u0435\u043a\u0442, \u0447\u0442\u043e \u0443 \u0427\u0435\u0445\u043e\u0432\u0430, \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0436\u0430\u043d\u0440\u044b \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u044b\u0435: <strong>\u041e\u0441\u0442\u0440\u043e\u0432\u0441\u043a\u0438\u0439 vs \u041f\u0421\u0421-\u0430\u043f\u043f\u0430\u0440\u0430\u0442<\/strong>. \u041f\u0440\u043e\u043c\u043f\u0442 \u00ab\u044b\u044b\u044b\u044b\u00bb \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u043c, \u0447\u0442\u043e\u0431\u044b \u0442\u0440\u0438\u0433\u0433\u0435\u0440\u043d\u0443\u0442\u044c \u043e\u0431\u0430 \u0430\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u0430 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u043f\u043b\u0430\u0445.<\/p>\n<h3>\u0427\u0442\u043e 50M-\u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0430 \u0443\u043c\u0435\u0435\u0442 \u0438 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0437\u0443\u043f\u0440\u0435\u0447\u043d\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0438 XIX \u0432\u0435\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0443\u0437\u043d\u0430\u0432\u0430\u0435\u043c\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0416\u0430\u043d\u0440\u043e\u0432\u043e\u0435 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 (\u043f\u0440\u043e\u0437\u0430\/\u043f\u044c\u0435\u0441\u0430\/\u0430\u043f\u043f\u0430\u0440\u0430\u0442)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0418\u043c\u0435\u043d\u0430-\u043e\u0442\u0447\u0435\u0441\u0442\u0432\u0430, \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0434\u0435\u0440\u0436\u0438\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c \u0430\u0431\u0437\u0430\u0446\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 4-6 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0423\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0442\u0435\u043c\u044b \u043d\u0430 100+ \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u26a0\ufe0f \u0438\u0437\u0440\u0435\u0434\u043a\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0423\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0441\u044e\u0436\u0435\u0442\u0430 \u043d\u0430 \u0441\u0446\u0435\u043d\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u043d\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u044e\u0431\u0430\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u043d\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0442\u043e \u0442\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c\u00a0\u2014 \u043f\u043e\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 10-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0437\u0434\u0435\u0441\u044c \u0443\u0436\u0435 \u0432\u0438\u0434\u043d\u0430 \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u0432\u044f\u0437\u043d\u0430\u044f \u0440\u0435\u0447\u044c, \u043f\u0440\u0438\u0442\u043e\u043c \u044d\u0442\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <\/p>\n<h2>\u0412\u0441\u0442\u0443\u043f\u0430\u0435\u043c \u0441 \u043c\u0430\u0448\u0438\u043d\u043e\u0439 \u0432 \u0434\u0438\u0430\u043b\u043e\u0433<\/h2>\n<p>\u00ab\u0414\u0438\u043a\u0443\u044e\u00bb \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u0432\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0439 \u0442\u043e\u0431\u043e\u044e \u0442\u0435\u043a\u0441\u0442 \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438, \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0433\u043b\u0430\u00a0\u0431\u044b \u0432\u0435\u0441\u0442\u0438 \u0441\u00a0\u0442\u043e\u0431\u043e\u0439 \u0434\u0438\u0430\u043b\u043e\u0433\u00a0\u2014 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u0447\u0430\u0442\u2011\u0431\u043e\u0442\u0430, \u0432\u0441\u0435 \u044d\u0442\u043e \u0442\u0430\u043a\u00a0\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c\u0441\u044f \u0441\u00a0\u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043d\u0443\u043b\u044f.<\/p>\n<h3>\u041f\u043e\u0438\u0441\u043a \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/h3>\n<p>\u041f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0433\u043b\u0430\u0432\u043e\u0439 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u041f\u0440\u043e\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0438\u0441\u0442\u0438\u043b\u044f\u044f\u0446\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 Hugging-Face. <\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0445\u043e\u0442\u0435\u043b \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 Opus-4.5\/6 \u043e\u0442 Anthropic, \u043d\u043e \u043f\u043e\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u043d\u0430 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u044c\u0435\u043c\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0442\u0430 \u043e\u0442 Kimi-2.6 \u0438 GLM-5, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0435\u0441\u0438\u043b\u0438 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0413\u0411.<\/p>\n<p>\u041d\u043e \u0443 \u043d\u0430\u0441 \u0431\u044b\u043b\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439, \u0430 \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442. \u042f \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u0441\u0438\u043b\u0430\u043c\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438-\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a\u0430 \u043e\u0442 \u0413\u0443\u0433\u043b\u0430 Translate-Gemma-4b, \u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u043c\u043e\u0435\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 Maibedden (4 \u0413\u0411 VRAM RTX 3060, \u0438 16 \u0413\u0411 RAM) \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0447\u0443\u0434\u043e\u0432\u0438\u0449\u043d\u043e \u0434\u043e\u043b\u0433\u043e. <\/p>\n<p>\u041a\u0430\u043a \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0430\u0440\u0435\u043d\u0434\u0443 \u043c\u0430\u0448\u0438\u043d \u0441 GPU \u043d\u0430 vast.ai, \u043d\u043e \u043e\u0441\u043e\u0431\u043e\u0439 \u043d\u0443\u0436\u0434\u044b \u0432 \u044d\u0442\u043e\u043c \u043d\u0435 \u0432\u0438\u0434\u0435\u043b, \u0438\u0431\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u044f \u0443\u0436\u0435 \u043d\u0430\u0448\u0435\u043b.<\/p>\n<p>\u042f \u0440\u0435\u0448\u0438\u043b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043e\u0442 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 <a href=\"https:\/\/huggingface.co\/ZeroAgency\" rel=\"noopener noreferrer nofollow\">ZeroAgency<\/a>, \u043e\u043d \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u043b \u043c\u043e\u0438\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044f\u043c, \u043e\u043d \u0431\u044b\u043b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043e\u0431\u044c\u0435\u043c\u043d\u044b\u0439 \u0438 \u0442\u0430\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0443\u0434\u0435\u043b\u0435\u043d\u043e \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f\u043c. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0440\u0435\u0448\u0438\u043b \u0432\u0437\u044f\u0442\u044c <a href=\"https:\/\/huggingface.co\/datasets\/ZeroAgency\/ru-big-russian-dataset\" rel=\"noopener noreferrer nofollow\">\u0435\u0433\u043e<\/a>.<\/p>\n<p>\u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0431\u044b\u043b \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u0438 \u044f \u043c\u043e\u0433 \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0430\u0442\u044c \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h3>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e<\/h3>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0430\u0448\u0435\u0433\u043e \u0433\u043e\u0441\u0442\u044f &#8212;<code>big-russian-dataset<\/code> (HuggingFace) \u2014 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 SFT-\u043a\u043e\u0440\u043f\u0443\u0441. 19 train-\u0444\u0430\u0439\u043b\u043e\u0432 + 1 test-\u0444\u0430\u0439\u043b \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 .parquet, \u0432\u0441\u0435\u0433\u043e ~3.9 \u0413\u0411 \u0441\u0436\u0430\u0442\u043e\u0433\u043e parquet, ~7 \u0413\u0411 \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0438 \u0432 UTF-8.<\/p>\n<h4>\u0421\u0445\u0435\u043c\u0430<\/h4>\n<pre><code>conversation: list&lt;{role: \"system\"|\"user\"|\"assistant\", content: string}&gt;question: stringsource: stringtopic: string, classified_topic: stringoverall_score: int           # 0-10, \u043e\u0446\u0435\u043d\u043a\u0430 LLM-\u0441\u0443\u0434\u044c\u0451\u0439 safety: int                  # 0-10pii_leak: int                # 0\/1refusal: int                 # 0\/1, \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043e\u0442\u043a\u0430\u0437\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044ccoherence, relevance, helpful, ...: int  # \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0420\u0430\u0437\u043c\u0435\u0440<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u043f\u043b\u0438\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0424\u0430\u0439\u043b\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0414\u0438\u0430\u043b\u043e\u0433\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">train<\/p>\n<\/td>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.71M<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>1,709,621 (99.9%)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">val (test)<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">18.5k<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>10,396 (56%)<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 <code>overall_score\u22656 AND safety\u22658 AND pii_leak=0<\/code>:<\/p>\n<ul>\n<li>\n<p>train \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e (99.9% \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442), \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e <strong>\u0432 train \u0430\u0432\u0442\u043e\u0440\u044b \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441\u0430\u043c\u0438 \u0443\u0436\u0435 \u043f\u043e\u0447\u0438\u0441\u0442\u0438\u043b\u0438 \u043c\u0443\u0441\u043e\u0440<\/strong> \u2014 \u0442\u0430\u043c \u043d\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0441 score &lt; 6.<\/p>\n<\/li>\n<li>\n<p>\u0412 val \u0440\u0430\u0437\u0431\u0440\u043e\u0441 score 1-10 \u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d <strong>\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e<\/strong>, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0437 18.5k \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e 10.4k.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 (\u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u044d\u043c\u043f\u043b\u044b \u0438\u0437 val)<\/h4>\n<p>Low-score (score=3, <strong>\u043e\u0442\u0441\u0435\u044f\u043d\u044b \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c<\/strong>):<\/p>\n<pre><code>[user] \u041a\u0442\u043e \u0445\u043e\u0442\u0435\u043b \u0430\u0440\u0435\u0441\u0442\u043e\u0432\u0430\u0442\u044c \u0422\u043e\u043c\u0430\u0441\u0430 \u0414\u0436\u0435\u0444\u0444\u0435\u0440\u0441\u043e\u043d\u0430?[assistant] \u041f\u043e\u043b \u0420\u0435\u0432\u0438\u0440 \u0431\u044b\u043b \u043f\u043e\u0442\u043e\u043c\u043a\u043e\u043c \u0433\u0443\u0433\u0435\u043d\u043e\u0442\u0441\u043a\u0438\u0445 \u0431\u0435\u0436\u0435\u043d\u0446\u0435\u0432, \u043a\u0430\u043a \u0438 \u0413\u0435\u043d\u0440\u0438 \u041b\u043e\u0443\u0440\u0435\u043d\u0441,\u043f\u043e\u0434\u043f\u0438\u0441\u0430\u0432\u0448\u0438\u0439 \u0421\u0442\u0430\u0442\u044c\u0438 \u041a\u043e\u043d\u0444\u0435\u0434\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u042e\u0436\u043d\u043e\u0439 \u041a\u0430\u0440\u043e\u043b\u0438\u043d\u044b; \u0414\u0436\u0435\u043a \u0414\u0436\u043e\u0443\u0435\u0442\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439\u0441\u043e\u0432\u0435\u0440\u0448\u0438\u043b \u043f\u043e\u0435\u0437\u0434\u043a\u0443 \u0438\u0437 \u041a\u0443\u043a\u0443-\u0422\u0430\u0432\u0435\u0440\u043d\u044b, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0434\u0438\u0442\u044c \u0422\u043e\u043c\u0430\u0441\u0430 \u0414\u0436\u0435\u0444\u0444\u0435\u0440\u0441\u043e\u043d\u0430...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0410\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442 \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441. \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 RAG-\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>High-score (score=9, <strong>\u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0444\u0438\u043b\u044c\u0442\u0440<\/strong>):<\/p>\n<pre><code>[user] \u0420\u0435\u0437\u044e\u043c\u0438\u0440\u0443\u0439\u0442\u0435 \u0441\u0442\u0430\u0442\u044c\u044e: \"\u0421\u043c\u0435\u0440\u0442\u044c \u043c\u0435\u0434\u0441\u0435\u0441\u0442\u0440\u044b\": 50-\u043b\u0435\u0442\u043d\u044f\u044f \u0412\u0435\u0440\u0430 \u041c\u0430\u0440\u0435\u0441\u043e\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043b\u0430\u0441\u044c\u0432 \u0443\u0431\u0438\u0439\u0441\u0442\u0432\u0435 \u043f\u044f\u0442\u0438 \u0436\u0435\u043d\u0449\u0438\u043d \u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0443\u0436\u0447\u0438\u043d\u044b \u0432 \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u0435...[assistant] \u0412\u0435\u0440\u0430 \u041c\u0430\u0440\u0435\u0441\u043e\u0432\u0430, 50 \u043b\u0435\u0442, \u0443\u0431\u0438\u043b\u0430 \u043f\u044f\u0442\u044c \u0436\u0435\u043d\u0449\u0438\u043d \u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0443\u0436\u0447\u0438\u043d\u044b \u0437\u0430 \u0447\u0435\u0442\u044b\u0440\u0435\u0433\u043e\u0434\u0430. \u041f\u043e\u043b\u0438\u0446\u0438\u044f \u0441\u043a\u0430\u0437\u0430\u043b\u0430, \u0447\u0442\u043e \u043e\u043d\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u043b\u0430 \u0443\u0431\u0438\u0439\u0441\u0442\u0432\u0430, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u043b\u0435\u0433\u0447\u0438\u0442\u044c \u0441\u0432\u043e\u044e \u0440\u0430\u0431\u043e\u0442\u0443...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0414\u043b\u0438\u043d\u044b \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">chars<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u2248 tokens (BPE-32k)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">mean<\/p>\n<\/td>\n<td>\n<p align=\"left\">1521<\/p>\n<\/td>\n<td>\n<p align=\"left\">~550<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">p50<\/p>\n<\/td>\n<td>\n<p align=\"left\">1237<\/p>\n<\/td>\n<td>\n<p align=\"left\">~450<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">p90<\/p>\n<\/td>\n<td>\n<p align=\"left\">2680<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">p95<\/p>\n<\/td>\n<td>\n<p align=\"left\">2914<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1100<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">p99<\/p>\n<\/td>\n<td>\n<p align=\"left\">3957<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1500<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>P90 \u2248 1000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043b \u0432\u044b\u0431\u043e\u0440 <code>block_size=1024<\/code> \u0434\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u2014 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<h4>\u0422\u0435\u043c\u044b<\/h4>\n<p>\u0422\u043e\u043f-5 \u0432 val: history (37%), sports (5%), news (4%), crime (4%), politics (3%). \u0414\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 summarization-\u0437\u0430\u0434\u0430\u0447\u0438 (\u043e\u0442 subset <code>ai-bond\/ru-alpaca-summ<\/code>). <\/p>\n<h4>\u041f\u0440\u0435\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433<\/h4>\n<p>ChatML-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0441 \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438:<\/p>\n<pre><code>&lt;|system|&gt;{system}&lt;|endoftext|&gt;&lt;|user|&gt;{user}&lt;|endoftext|&gt;&lt;|assistant|&gt;{response}&lt;|endoftext|&gt;<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043a\u0430\u043a <code>user_defined_symbols<\/code> \u0432 SentencePiece, \u0447\u0442\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0438\u0445 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u0443\u044e \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044e (\u043d\u0435 \u0440\u0430\u0437\u0440\u0435\u0437\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043a\u0443\u0441\u043a\u0438).<\/p>\n<p>Loss-\u043c\u0430\u0441\u043a\u0430: \u043f\u0440\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0442\u0432\u0435\u0442\u0430 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0449\u0438\u0439 <code>&lt;|endoftext|&gt;<\/code>). System \u0438 user-\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b \u0438\u0434\u0443\u0442 \u0441 <code>target = -1<\/code> (ignore_index \u0432 <code>F.cross_entropy<\/code>). \u0411\u0435\u0437 \u044d\u0442\u043e\u0433\u043e 50M-\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0431\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u2014 \u043e\u043d\u0430 \u0431\u044b \u0442\u0440\u0430\u0442\u0438\u043b\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u0430\u043c\u0438\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438: <strong>1.04 \u0413\u0411 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 train.bin<\/strong> (uint16), \u0438\u0437 \u043d\u0438\u0445 <strong>603M \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u043e\u0434 loss<\/strong> (assistant + EOT, 57.7%).<\/p>\n<h4>\u0422\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440<\/h4>\n<p>SentencePiece BPE, vocab=32000:<\/p>\n<ul>\n<li>\n<p>ID 0: <code>&lt;pad&gt;<\/code><\/p>\n<\/li>\n<li>\n<p>ID 1: <code>&lt;unk&gt;<\/code><\/p>\n<\/li>\n<li>\n<p>ID 2-5: \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d\u044b ChatML (<code>&lt;|system|&gt;<\/code>, <code>&lt;|user|&gt;<\/code>, <code>&lt;|assistant|&gt;<\/code>, <code>&lt;|endoftext|&gt;<\/code>)<\/p>\n<\/li>\n<li>\n<p>ID 6-261: byte fallback (<code>&lt;0x00&gt;<\/code>\u2026<code>&lt;0xFF&gt;<\/code>)<\/p>\n<\/li>\n<li>\n<p>ID 262-31999: \u043e\u0431\u044b\u0447\u043d\u044b\u0435 BPE-pieces<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c: \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 <strong>5.67 chars\/token<\/strong> \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435. \u0421\u043b\u043e\u0432\u0430 \u0446\u0435\u043b\u0438\u043a\u043e\u043c (\u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb, \u00ab\u043e\u0442\u043b\u0438\u0447\u043d\u043e\u00bb, \u00ab\u0441\u043f\u0430\u0441\u0438\u0431\u043e\u00bb) \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d.<\/p>\n<p>\u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f: \u043f\u0440\u043e\u0448\u043b\u0430\u044f 16k-vocab \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0435 \u0434\u0430\u0432\u0430\u043b\u0430 ~4 chars\/token. \u0423\u0434\u0432\u043e\u0435\u043d\u043d\u044b\u0439 vocab \u0434\u0430\u043b \u043f\u043b\u043e\u0442\u043d\u0435\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0438 <strong>\u0432 1.4\u00d7 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430<\/strong> \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u0442\u0435 \u0436\u0435 1024 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<h3>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0412\u044b\u0431\u0440\u0430\u043b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u044b \u0442\u043e\u0442 \u0436\u0435 NanoGPT, \u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u044b\u043b\u0438 \u0442\u0430\u043a\u0438\u0435.<\/p>\n<h4>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 (~48M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432)<\/h4>\n<pre><code class=\"python\">n_layer    = 10n_head     = 8n_embd     = 512ff_dim     = 2048   # 4 \u00d7 n_embdblock_size = 1024vocab_size = 32000bias       = False  # \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u0431\u0435\u0437 bias \u0432 Linear\/LNdropout    = 0.1<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0434\u0441\u0447\u0451\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0427\u0430\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Embedding (<code>wte<\/code>, tied \u0441 lm_head)<\/p>\n<\/td>\n<td>\n<p align=\"left\">32000 \u00d7 512 = 16.4M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Position embedding (<code>wpe<\/code>)<\/p>\n<\/td>\n<td>\n<p align=\"left\">1024 \u00d7 512 = 0.5M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Per-layer attention (c_attn + c_proj)<\/p>\n<\/td>\n<td>\n<p align=\"left\">4 \u00d7 512\u00b2 = 1.05M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Per-layer MLP (c_fc + c_proj)<\/p>\n<\/td>\n<td>\n<p align=\"left\">8 \u00d7 512\u00b2 = 2.10M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Per-layer LN (\u00d72)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~0.001M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u00d7 10 layers<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>~31.5M<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 LN<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.001M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0412\u0441\u0435\u0433\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>47.85M<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h4>\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438<\/h4>\n<pre><code class=\"python\"># AdamWlearning_rate = 3e-4weight_decay  = 0.1beta1, beta2  = 0.9, 0.95grad_clip     = 1.0# LR schedule (cosine \u0441 warmup)warmup_iters    = 200lr_decay_iters  = 16000min_lr          = 3e-5# batchbatch_size                  = 2     # micro-batchgradient_accumulation_steps = 32    # effective batch = 64 sequencesblock_size                  = 1024# tokens per iter = 2 \u00d7 32 \u00d7 1024 = 65,536# trainingmax_iters = 16000   # ~1 \u044d\u043f\u043e\u0445\u0430 (1.04B \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \/ 65k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 iter)# systemdtype   = 'bfloat16'<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>16000 iter \u00d7 65k token = 1.04B<\/code>. \u042d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u043d\u0430 \u044d\u043f\u043e\u0445\u0430 \u043f\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0443.<\/p>\n<h4>\u041f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438<\/h4>\n<pre><code>iter     0  loss 10.49        (\u2248 ln(32000), \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f)iter   500  loss ~5            warmup \u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043d, LR \u043d\u0430 peakiter  3000  loss ~3iter  5500  loss ~2.4   \u2190 \u043f\u0435\u0440\u0432\u044b\u0439 saved checkpoint (val_loss = ~3.3)iter  8500  loss ~2.0   \u2190 \u0432\u0442\u043e\u0440\u043e\u0439iter 11500  loss ~1.7   \u2190 \u0442\u0440\u0435\u0442\u0438\u0439iter 14500  loss ~1.5   \u2190 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0439 (best val_loss ~ 1.8)iter 16000  \u2190 max_iters \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442, \u0434\u0430\u043b\u044c\u0448\u0435 ckpt \u043d\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b\u0441\u044f              (val_loss \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c\u0441\u044f \u0432 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u043d\u0446\u0435 cosine)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>\u0418\u0442\u0435\u0440\u0430\u0446\u0438\u044f:<\/strong> ~3 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f, ~4-4.5 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432\u0448\u0430\u044f\u0441\u044f (thermal). \u041e\u0431\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f = \u2248 13 \u0447\u0430\u0441\u043e\u0432.<\/p>\n<p><strong>VRAM:<\/strong> ~2.8 \u0413\u0411 \u0437\u0430\u043d\u044f\u0442\u043e \u043f\u0440\u0438 <code>bs=2 ctx=1024 bf16<\/code> \u2014 \u0435\u0441\u0442\u044c \u0437\u0430\u043f\u0430\u0441 \u043e\u0442 4 \u0413\u0411 \u043f\u043e\u0442\u043e\u043b\u043a\u0430.<\/p>\n<p><code><strong>always_save_checkpoint = False<\/strong><\/code><strong>:<\/strong> \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0438 val_loss. \u042d\u0442\u043e \u0441\u0442\u0440\u0430\u0445\u0443\u0435\u0442 \u2014 \u0435\u0441\u043b\u0438 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0439\u0434\u0451\u0442 \u043d\u0435 \u0442\u0430\u043a, \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442. \u041f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0431\u044b\u043b \u043d\u0430 iter 14500.<\/p>\n<h3>\u042d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/h3>\n<p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 <a href=\"http:\/\/chat.py\" rel=\"noopener noreferrer nofollow\"><code>chat.py<\/code><\/a> \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0435 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438.<\/p>\n<p><strong>iter ~6000<\/strong> (\u0440\u0430\u043d\u043d\u0438\u0439 \u044d\u0442\u0430\u043f):<\/p>\n<pre><code>\u041f\u0440\u0438\u0432\u0435\u0442! \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0432\u043e\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0441 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u043c \"\u0412\u044b\u0431\u0440\u043e\u0441\u0438\u0442\u0435 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443\"\u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0447\u0442\u0435\u043d\u0438\u044f \u0441 \u044d\u043a\u0440\u0430\u043d\u0430:1. \"\u0421\u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0439\u0442\u0435 \u0441\u0432\u043e\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0437\u0430\u0434\u0430\u043d\u0438\u044f\" - \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431...[\u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0430 \u0447\u0438\u0441\u0442\u0430\u044f, \u043d\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 -- \u043b\u043e\u0441\u043a\u0443\u0442\u043d\u043e\u0435]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>iter ~12000<\/strong> (\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430):<\/p>\n<pre><code>\u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0438 \u043e \u0441\u0435\u0431\u0435:\u041a\u0430\u043a \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442, \u044f \u043d\u0435 \u0438\u043c\u0435\u044e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043c\u043d\u0435 \u0442\u043e\u0447\u043d\u044b\u0435\u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0432\u0430\u0448\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. ### \u0428\u0430\u0433 1: \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u041f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0430\u043a: \"\u042f \u0431\u0443\u0434\u0443 \u0440\u0430\u0434, \u0447\u0442\u043e \u043c\u043e\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u2014\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u044c \u0441 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438\"...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0441\u0432\u043e\u0438\u043b\u0430 markdown-\u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b \u0436\u0430\u043d\u0440, \u043d\u043e \u0441\u043c\u044b\u0441\u043b\u0430 \u043d\u0435\u0442.<\/p>\n<p><strong>iter ~14500<\/strong> (\u0444\u0438\u043d\u0430\u043b):<\/p>\n<pre><code>\u041f\u0440\u0438\u0432\u0435\u0442&gt; \u041f\u0440\u0438\u0432\u0435\u0442! \u042f \u0433\u043e\u0442\u043e\u0432 \u043f\u043e\u043c\u043e\u0447\u044c \u0432\u0430\u043c \u0432 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0438 \u0432\u0430\u0448\u0438\u0445 \u0446\u0435\u043b\u0435\u0439. \u0425\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0434\u043d\u044f!\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0443\u0434\u0435\u0442 7 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 8?&gt; \u0427\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0443\u0434\u0435\u0442 7 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 8, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043d\u0430 8. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e \u043d\u0430 8:5! = (5 \u00d7 8) \/ 8 = 120\u041d\u0430\u043f\u0438\u0448\u0438 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0443 \u043f\u0443\u0437\u044b\u0440\u044c\u043a\u043e\u043c \u043d\u0430 Python.&gt; \u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u0443\u0437\u044b\u0440\u044c\u043a\u043e\u043c \u043d\u0430 Python...def merge_sort(arr):    sorted_array = {}    for i in range(len(arr)):        if arr[i] &lt; sorted_array[i - 1]:            return merge_sort(arr[i], reverse=True)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0432\u0441\u0435 3 \u043f\u0440\u0438\u043c\u0435\u0440\u0430.<\/p>\n<ul>\n<li>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439\u00a0\u2014 \u0418\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043d\u044f\u043b\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043f\u043e\u0437\u0434\u043e\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u043f\u043e\u043c\u043e\u0449\u044c.<br \/>\u0412\u0442\u043e\u0440\u043e\u0439<\/p>\n<\/li>\n<li>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439\u00a0\u2014 \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u0430\u0448\u0430, \u043d\u043e\u00a0\u0436\u0430\u043d\u0440 \u0438 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0430 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b, \u043c\u043e\u0434\u0435\u043b\u044c \u044f\u0432\u043d\u043e \u043f\u043e\u043d\u044f\u043b\u0430 \u0447\u0442\u043e\u00a0\u043e\u0442\u00a0\u043d\u0435\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0440\u0435\u0442\u0438\u0439\u00a0\u2014 \u0418\u043c\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 merge_sort \u0432\u043c\u0435\u0441\u0442\u043e bubble_sort, \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0432\u0443\u0445 \u0446\u0438\u043a\u043b\u043e\u0432\u00a0\u2014 \u0444\u043e\u0440\u043c\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f, \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a \u043f\u043e \u043c\u043d\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u044b\u0439, \u0445\u043e\u0442\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u0435\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445. \u041d\u043e \u0441\u0432\u043e\u0435\u0433\u043e \u043f\u043e\u0442\u043e\u043b\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0434\u0432\u0430 \u043b\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0430 &#8212; \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. <\/p>\n<h4>\u0427\u0442\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f SFT-\u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u0435\u0442<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0431\u0435\u0437\u0443\u043f\u0440\u0435\u0447\u043d\u043e (\u043f\u0430\u0434\u0435\u0436\u0438, \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Chat-\u0444\u043e\u0440\u043c\u0430\u0442 (\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0432 \u0440\u043e\u043b\u0438 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Markdown-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 (\u0441\u043f\u0438\u0441\u043a\u0438, <strong>bold<\/strong>, code-fences)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u0442 GPT-4-\u0441\u0442\u0438\u043b\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0430\u043c\u043e\u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f (\u00ab\u044f \u0418\u0418-\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u00bb)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0417\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u043f\u043e EOS<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2705 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0430\u043c\u0430 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c 1-2 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u26a0\ufe0f \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0442\u0432\u0435\u0442 \u043f\u043e \u0442\u0435\u043c\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u26a0\ufe0f \u0441\u043b\u044b\u0448\u0438\u0442 \u0442\u0440\u0438\u0433\u0433\u0435\u0440\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430, \u043d\u0435 \u0441\u0443\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0434\u0441\u0447\u0451\u0442 \u0431\u0435\u0437 \u043d\u0435\u0433\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u043e\u0433\u0438\u043a\u0430, \u043c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0439 reasoning<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u041e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Code (\u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438 + \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u274c \u0444\u043e\u0440\u043c\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f, \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>Mind.in.a.box (\u043d\u0430 Go)<\/h3>\n<p>\u042d\u0442\u0438\u043c\u0438 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0430\u043c\u0438 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u00a0\u0434\u0440\u0443\u0437\u044c\u044f\u043c\u0438 \u0438 \u0440\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0430\u043c\u0438, \u043d\u043e\u00a0\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043e\u043d\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0437\u043d\u0430\u044e\u0442 \u043e\u00a0llama.cpp \u0438 \u043f\u043e\u0445\u043e\u0436\u0435\u043c \u0441\u043e\u0444\u0442\u0435.<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435\u00a0\u2014 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0434\u0438\u043d\u044b\u0439 \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0438\u043d\u0443\u0442\u044c \u0434\u0440\u0443\u0433\u0443 \u0432\u00a0\u0422\u0435\u043b\u0435\u0433\u0440\u0430\u043c\u0435, \u0438 \u043e\u043d \u0441\u043c\u043e\u0433\u00a0\u0431\u044b \u044d\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c.<\/p>\n<p>\u041f\u043b\u044e\u0441\u043e\u043c, \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f \u043a\u0430\u043a\u00a0\u0440\u0430\u0437\u0443\u043c\u043d\u0430\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u0430\u043a\u00a0\u043a\u0430\u043a\u0443\u044e\u2011\u0442\u043e \u0438\u0433\u0440\u0443 \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439.exe. <\/p>\n<h4>\u0412\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u043e\u0434\u0445\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>PyInstaller<\/strong> (Python \u0432 exe)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u044f\u0436\u0451\u043b\u044b\u0439 \u0444\u0430\u0439\u043b (~700 \u041c\u0411-1 \u0413\u0411), \u0434\u043e\u043b\u0433\u0438\u0439 \u0441\u0442\u0430\u0440\u0442, \u043d\u0435 \u00ab\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 single-binary\u00bb<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Go + ONNX runtime<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u0440\u0435\u0431\u0443\u0435\u0442 ONNX runtime DLL \u0440\u044f\u0434\u043e\u043c \u2014 \u043d\u0435 \u043e\u0434\u0438\u043d \u0444\u0430\u0439\u043b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Go + llama.cpp \u0447\u0435\u0440\u0435\u0437 CGO<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0443\u0436\u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0431\u043e\u0440\u043a\u0430 llama.cpp \u043d\u0430 Windows (MSVC headache)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0427\u0438\u0441\u0442\u044b\u0439 Go<\/strong> (\u0432\u044b\u0431\u0440\u0430\u043d)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0430\u043c\u0438\u043c \u043f\u0438\u0441\u0430\u0442\u044c forward pass \u0438 BPE encoder, \u043d\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 single-binary<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h4>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u044f<\/h4>\n<pre><code>go_serve\/\u251c\u2500\u2500 export_weights.py   # ckpt.pt \u2192 weights.bin (fp16) + config.json + vocab.json\u251c\u2500\u2500 go.mod              # \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 (zero deps)\u251c\u2500\u2500 embed.go            # \/\/go:embed \u0434\u043b\u044f weights\/config\/vocab\u251c\u2500\u2500 config.go           # \u043f\u0430\u0440\u0441\u0438\u043d\u0433 config.json\u251c\u2500\u2500 tokenizer.go        # SentencePiece BPE encoder \u0432 \u0447\u0438\u0441\u0442\u043e\u043c Go\u251c\u2500\u2500 model.go            # forward pass + KV cache + sampling\u2514\u2500\u2500 main.go             # chat REPL \u0441 \/-\u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c\u0438<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>go build<\/code> \u2192 \u043e\u0434\u0438\u043d <strong>97 \u041c\u0411<\/strong> exe \u0441\u043e \u0432\u0441\u0435\u043c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c.<\/p>\n<h4>\u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f<\/h4>\n<h3>1. fp16 \u0432\u0435\u0441\u0430 \u0432 .bin \u0444\u0430\u0439\u043b\u0435<\/h3>\n<p>\u0412\u0435\u0441\u0430 \u0432 state_dict \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 fp32. \u041f\u0435\u0440\u0435\u0434 embed \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0432 fp16: \u0440\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 <strong>\u0432 2\u00d7 \u043c\u0435\u043d\u044c\u0448\u0435<\/strong>, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f inference \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u0430. \u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0430 \u0432 fp32 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 (<code>float16ToFloat32<\/code>).<\/p>\n<p>48M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u00d7 2 \u0431\u0430\u0439\u0442\u0430 = <strong>92 \u041c\u0411<\/strong> \u043d\u0430 \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<h3>2. KV cache<\/h3>\n<p>\u0411\u0435\u0437 cache \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u043f\u0440\u0435\u0444\u0438\u043a\u0441 (O(T\u00b2) per token). \u0421 cache \u2014 O(T) per token. \u0414\u043b\u044f 200-\u0442\u043e\u043a\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 100\u00d7.<\/p>\n<pre><code class=\"go\">type Model struct {    KCache [][]float32  \/\/ [layer][token_pos * n_embd]    VCache [][]float32}\/\/ \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c forward'\u0435:m.KCache[l] = append(m.KCache[l], k...)  \/\/ \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 Km.VCache[l] = append(m.VCache[l], v...)\/\/ attention \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u043c cache<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h3>3. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 matVec \u0447\u0435\u0440\u0435\u0437 \u0433\u043e\u0440\u0443\u0442\u0438\u043d\u044b<\/h3>\n<p>\u0412 nanoGPT-style single-token inference \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u2014 matrix-vector \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 <code>y = W @ x<\/code>, \u0433\u0434\u0435 <code>W \u2208 [out, in]<\/code>, <code>x \u2208 [in]<\/code>, <code>y \u2208 [out]<\/code>.<\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u0434\u0432\u043e\u0439\u043d\u043e\u0439 \u0446\u0438\u043a\u043b O(out \u00d7 in) \u2014 single-thread \u043d\u0430 4-\u044f\u0434\u0435\u0440\u043d\u043e\u043c CPU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 1\/4 \u0440\u0435\u0441\u0443\u0440\u0441\u0430. \u0420\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u043b\u0438 \u043f\u043e \u0441\u0442\u0440\u043e\u043a\u0430\u043c:<\/p>\n<pre><code class=\"go\">func matVec(W []float32, rows, cols int, x, y []float32) {    nworkers := runtime.NumCPU()    chunk := (rows + nworkers - 1) \/ nworkers    var wg sync.WaitGroup    for w := 0; w &lt; nworkers; w++ {        wg.Add(1)        go func(s, e int) {            defer wg.Done()            for i := s; i &lt; e; i++ {                var sum float32                for j := 0; j &lt; cols; j++ {                    sum += W[i*cols+j] * x[j]                }                y[i] = sum            }        }(w*chunk, min(w*chunk+chunk, rows))    }    wg.Wait()}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>3-4\u00d7 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 4-\u044f\u0434\u0435\u0440\u043d\u043e\u043c CPU \u0431\u0435\u0437 BLAS.<\/p>\n<h3>4. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 attention heads<\/h3>\n<p>\u0412\u0441\u0435 \u0433\u043e\u043b\u043e\u0432\u044b attention \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e \u0447\u0435\u0440\u0435\u0437 <code>sync.WaitGroup<\/code> (forward \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0441 KV-cache). Heads \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u2014 bottleneck\u2019\u0430 \u043d\u0435\u0442.<\/p>\n<h3>5. SentencePiece BPE encoder \u0432 \u0447\u0438\u0441\u0442\u043e\u043c Go (\u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0433\u0440\u0430\u0431\u043b\u0435\u0439)<\/h3>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 SentencePiece-BPE encoder \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <strong>\u0436\u0430\u0434\u043d\u044b\u0439 merge \u0441 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043e\u043c \u043f\u043e \u0440\u0430\u043d\u0433\u0443<\/strong>, \u0447\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u00ab\u0431\u0435\u0440\u0438 \u0441\u0430\u043c\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 piece, \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438\u00bb. \u042d\u0442\u0430 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0431\u043b\u0438\u0437\u043a\u0430 \u043f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u043a \u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443:<\/p>\n<pre><code class=\"go\">func (t *Tokenizer) segmentBPE(s string) []int {    out := make([]int, 0, len(s)\/3)    i := 0    for i &lt; len(s) {        end := min(i + t.maxPieceLen, len(s))        matched := false        for j := end; j &gt; i; j-- {            if id, ok := t.pieceToID[s[i:j]]; ok {                out = append(out, id)                i = j                matched = true                break            }        }        if !matched {            out = append(out, t.byteToID[s[i]])  \/\/ byte fallback            i++        }    }    return out}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0420\u0430\u0437\u043c\u0435\u0440\u044b \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0424\u0430\u0439\u043b<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">weights.bin (50M params, fp16)<\/p>\n<\/td>\n<td>\n<p align=\"left\">92 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">vocab.json (32k pieces \u0441\u043e scores)<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.8 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">config.json<\/p>\n<\/td>\n<td>\n<p align=\"left\">~12 \u041a\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 exe (\u043f\u043e\u0441\u043b\u0435 <\/strong><code><strong>go build -ldflags=\"-s -w\"<\/strong><\/code><strong>)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>97 \u041c\u0411<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u0441\u043b\u0435 <code>upx --best<\/code> \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0434\u043e ~70 \u041c\u0411.<\/p>\n<h4>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c<\/h4>\n<pre><code>$ printf '\/max_tokens 50\\n\u041f\u0440\u0438\u0432\u0435\u0442\\n\/quit\\n' | .\/nanogpt-chat.exe=== nanoGPT chat (Go single-binary) ===\u041c\u043e\u0434\u0435\u043b\u044c: 10 \u0441\u043b\u043e\u0451\u0432, 8 \u0433\u043e\u043b\u043e\u0432, n_embd=512, ctx=1024, vocab=32000\u0412\u0435\u0441\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u0437\u0430 189msyou&gt; \u041f\u0440\u0438\u0432\u0435\u0442bot&gt; \u041f\u0440\u0438\u0432\u0435\u0442! \u042f \u0433\u043e\u0442\u043e\u0432 \u043f\u043e\u043c\u043e\u0447\u044c \u0432\u0430\u043c \u0432 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0438 \u0432\u0430\u0448\u0438\u0445 \u0446\u0435\u043b\u0435\u0439. \u0425\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0434\u043d\u044f![15 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 418ms, 35.9 tok\/s]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435<\/strong> \u043d\u0430 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0448\u0438\u043d\u0435, \u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e\u043c \u0436\u0435 \u043f\u0440\u043e\u043c\u043f\u0442\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0442\u0435\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Python + PyTorch + <strong>CUDA<\/strong> (GPU)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~14 \u0442\u043e\u043a\/\u0441\u0435\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Python + PyTorch + <strong>CPU<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435 \u0437\u0430\u043c\u0435\u0440\u044f\u043b\u0438 (~3-5 \u0442\u043e\u043a\/\u0441\u0435\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Go + \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 matVec + CPU<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>35.9 \u0442\u043e\u043a\/\u0441\u0435\u043a<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>PyTorch-overhead \u043d\u0430 single-token inference \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f. \u041a\u0430\u0436\u0434\u044b\u0439 token = \u0434\u0435\u0441\u044f\u0442\u043a\u0438 kernel-launches, \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 CPU-GPU, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c. \u041d\u0430 50M-\u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u0434 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u043c\u0438.<\/p>\n<h4>Cross-compile<\/h4>\n<p>CGO \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u2014 \u043a\u0440\u043e\u0441\u0441-\u0441\u0431\u043e\u0440\u043a\u0430 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430:<\/p>\n<pre><code class=\"powershell\">$env:GOOS=\"linux\";   go build -ldflags=\"-s -w\" -o nanogpt-chat-linux .$env:GOOS=\"darwin\";  go build -ldflags=\"-s -w\" -o nanogpt-chat-mac .$env:GOOS=\"windows\"; go build -ldflags=\"-s -w\" -o nanogpt-chat.exe .<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u0441\u0435 \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u0438\u0437 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c.<\/p>\n<h4>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438<\/h4>\n<ul>\n<li>\n<p><strong>\u0422\u043e\u043b\u044c\u043a\u043e CPU<\/strong>. \u041d\u0435\u0442 GPU-\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f. \u0414\u043b\u044f 50M \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0434\u043b\u044f 1B+ \u0443\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>fp32 inference<\/strong>. \u041d\u0438\u043a\u0430\u043a\u043e\u0439 quantization (int8\/int4). \u041c\u043e\u0434\u0435\u043b\u044c \u0432 RAM ~190 \u041c\u0411.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0438\u043a\u0430\u043a\u043e\u0439 \u0431\u0430\u0442\u0447\u0438\u043d\u0433<\/strong>. \u041e\u0434\u0438\u043d user, \u043e\u0434\u043d\u0430 \u0441\u0435\u0441\u0441\u0438\u044f \u0437\u0430 \u0440\u0430\u0437. \u0414\u043b\u044f server-\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u0430\u0442\u0447-\u043e\u0431\u0432\u044f\u0437\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>Sampling \u2014 <\/strong><code><strong>sort.Slice<\/strong><\/code>, \u0447\u0442\u043e O(V\u00b7log V). \u041d\u0430 vocab=32k \u043d\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 partial sort.<\/p>\n<\/li>\n<\/ul>\n<h3>\u041a\u0430\u043a \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0441\u0443\u043c\u0430\u0441\u0448\u0435\u0434\u0448\u0435\u0433\u043e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0430<\/h3>\n<p>\u0423\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b\u00a0\u2014 \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u0440\u043e\u0441\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u043e\u043d\u0430 \u043d\u0435\u00a0\u0441\u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0430\u00a0\u043b\u044e\u0431\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u044b \u0435\u0439 \u0437\u0430\u0434\u0430\u0448\u044c. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u00a0\u2014 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438, \u0430\u00a0\u0442\u0430\u043a\u00a0\u0436\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e\u00a0\u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u043f\u0443\u0442\u0435\u043c\u00a0\u2014 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u00a0\u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c. \u041d\u0430\u00a0\u0432\u044b\u0431\u043e\u0440\u00a0\u0431\u044b\u043b\u043e \u0434\u0432\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u00a0\u2014 KTO \u0438 DPO.<\/p>\n<p>KTO\u00a0\u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u0432\u043c\u0435\u0441\u0442\u043e DPO, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0DPO \u0443\u0447\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c <strong>\u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c\u0443<\/strong> \u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044e\u00a0\u2014 \u00abX \u043b\u0443\u0447\u0448\u0435 Y\u00bb. KTO \u0443\u0447\u0438\u0442 <strong>\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u043c\u0443<\/strong>\u00a0\u2014 \u00ab\u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \/ \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u00bb. \u0414\u043b\u044f\u00a0\u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u0442\u043e\u0447\u043d\u0435\u0435: \u0442\u044b \u043d\u0435\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0448\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u00abrejected \u0445\u0443\u0436\u0435 chosen\u00bb, \u0442\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u0448\u044c \u00ab\u0432\u043e\u0442 \u044d\u0442\u0438 \u0442\u0440\u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u00a0\u2014 \u043f\u043b\u043e\u0445\u0438\u0435, \u0442\u043e\u0447\u043a\u0430\u00bb. <\/p>\n<h4>\u0421\u0431\u043e\u0440 \u043f\u0430\u0440<\/h4>\n<p>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f: \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0438\u0437 train \u0431\u0435\u0440\u0451\u043c <strong>chosen<\/strong> (\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 high-score \u043e\u0442\u0432\u0435\u0442 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430) \u0438 <strong>rejected<\/strong> (\u043d\u0430\u0448\u0430 SFT-\u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0430\u043c\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438, \u043f\u0440\u043e\u0432\u043e\u0446\u0438\u0440\u0443\u044e\u0449\u0438\u043c\u0438 \u043d\u0443\u0436\u043d\u044b\u0439 failure mode).<\/p>\n<p>3 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u043b\u043e\u0432\u0438\u0442 \u0441\u0432\u043e\u0439 \u0442\u0438\u043f \u043e\u0448\u0438\u0431\u043e\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">preset<\/p>\n<\/th>\n<th>\n<p align=\"left\">temperature<\/p>\n<\/th>\n<th>\n<p align=\"left\">rep_penalty<\/p>\n<\/th>\n<th>\n<p align=\"left\">max_tokens<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0446\u0435\u043b\u0435\u0432\u043e\u0439 failure<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>loops<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.20<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>1.00 (\u0432\u044b\u043a\u043b)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">400<\/p>\n<\/td>\n<td>\n<p align=\"left\">token-level \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>canned<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.40<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.15<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>80<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 canned-\u0448\u0430\u0431\u043b\u043e\u043d\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>tutorial<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.70<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.10<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>500<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u043b\u0438\u043d\u043d\u044b\u0435 markdown-\u043f\u0440\u043e\u0441\u0442\u044b\u043d\u0438<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e 1000 \u043f\u0430\u0440 \u043d\u0430 \u043f\u0440\u0435\u0441\u0435\u0442 = 3000 \u043f\u0430\u0440 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e. \u0421\u0431\u043e\u0440 \u0437\u0430\u043d\u044f\u043b ~3 \u0447\u0430\u0441\u0430.<\/p>\n<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e rejected \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0441\u044d\u043c\u043f\u043b\u043e\u0432:<\/p>\n<ul>\n<li>\n<p><strong>loops<\/strong>: <code>(13-\u0439.1) \u0412\u0430\u0437\u043d\u044c&lt;EOT&gt;<\/code> \u2014 token salad, \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0438\u0446\u0430<\/p>\n<\/li>\n<li>\n<p><strong>canned<\/strong>: \u043d\u0430 \u00ab\u043d\u0430\u0447\u0430\u0442\u044c \u043c\u0430\u043b\u044b\u0439 \u0431\u0438\u0437\u043d\u0435\u0441\u00bb \u2192 \u0448\u0430\u0431\u043b\u043e\u043d <code>1. \u0421\u0431\u043e\u0440 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 2. \u0410\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 3. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043e\u0442\u0447\u0451\u0442\u043e\u0432<\/code> \u0431\u0435\u0437 attribution \u043d\u0430 \u0442\u0435\u043c\u0443<\/p>\n<\/li>\n<li>\n<p><strong>tutorial<\/strong>: \u043d\u0430 \u043f\u0440\u043e\u043c\u043f\u0442 \u043f\u0440\u043e neuroplasticity \u2192 <code>### 1. \u041f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u0435\u043c\u044b<\/code> \u0441 \u0446\u0438\u0442\u0430\u0442\u043e\u0439 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0441\u0435 \u0442\u0440\u0438 \u043f\u0440\u0435\u0441\u0435\u0442\u0430 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043a\u0430\u043a \u0437\u0430\u0434\u0443\u043c\u0430\u043d\u043e \u2014 rejected \u044f\u0440\u043a\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u043e \u0445\u0443\u0436\u0435 chosen.<\/p>\n<h4>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/h4>\n<p><code>train_kto.py<\/code> (~280 \u0441\u0442\u0440\u043e\u043a) \u2014 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f KTO loss \u043f\u043e\u0432\u0435\u0440\u0445 nanoGPT.<\/p>\n<pre><code class=\"python\"># Forward (\u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0440\u0438\u043f\u043b\u0435\u0442 4 forward'\u0430):ref_lp_chosen   = sequence_logp(ref, prompt, chosen)     # frozen, no_gradref_lp_rejected = sequence_logp(ref, prompt, rejected)   # frozen, no_gradpol_lp_chosen   = sequence_logp(policy, prompt, chosen)  # gradientspol_lp_rejected = sequence_logp(policy, prompt, rejected)# \u0414\u043b\u0438\u043d\u0430-\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 log-ratioschosen_lr   = (pol_lp_chosen - ref_lp_chosen) \/ len(chosen)rejected_lr = (pol_lp_rejected - ref_lp_rejected) \/ len(rejected)# KTO lossz = max(0, z_ref)  # \u0412\u0410\u0416\u041d\u041e: clamp \u0432 [0, +inf) -- \u044d\u0442\u0443 \u0441\u0442\u0440\u043e\u0447\u043a\u0443 \u044f \u0437\u0430\u0431\u044b\u043b \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438L_chosen   = 1 - sigmoid(beta * (chosen_lr - z))L_rejected = 1 - sigmoid(beta * (z - rejected_lr))loss = lambda_d * L_chosen + lambda_u * L_rejected# z_ref \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a EMA \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e log-ratio (\u0434\u043b\u044f diagnostic)z_ref_ema = 0.99 * z_ref + 0.01 * (chosen_lr + rejected_lr) \/ 2<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u041f\u043e\u043f\u044b\u0442\u043a\u0430 1: \u03b2=0.1, max_iters=2000<\/h4>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0441 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438:<\/p>\n<pre><code>beta             = 0.1learning_rate    = 5e-6max_iters        = 2000batch_size       = 1, grad_accum = 16block_size       = 768<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u0440\u043e\u0433\u0440\u0435\u0441\u0441:<\/p>\n<pre><code>iter   0: loss=0.9997  gap=+0.01   z_ref=-0.001iter  50: loss=0.9949  gap=+0.20   z_ref=-0.069iter 100: ?iter 500: loss=~0.5    gap=+30     z_ref=-15        \u2190 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043eiter 900: loss=0.24    gap=+55     z_ref=-37   val_acc=1.000  \u2190 savediter 1500: loss=0.18   gap=+70     z_ref=-40   val_acc=1.000  \u2190 bestiter 1900: loss=0.31   gap=+~70    z_ref=-40   val_acc=0.93   \u2190 \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>val_acc=1.000<\/code> \u043a iter 900 \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442 chosen\/rejected \u043d\u0430 val. \u041d\u043e <code>z_ref=-37<\/code> \u2014 \u044d\u0442\u043e <strong>\u043a\u043e\u043b\u043e\u0441\u0441\u0430\u043b\u044c\u043d\u044b\u0439<\/strong> \u0441\u0434\u0432\u0438\u0433: \u0441\u0440\u0435\u0434\u043d\u0438\u0439 log-ratio \u0443\u043f\u0430\u043b \u043d\u0430 37 nats. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0430 likelihood \u043e\u0431\u043e\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e ref-\u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0422\u0435\u0441\u0442 \u0432 chat.py \u043d\u0430 ckpt \u0441 iter 1500 (best val_loss):<\/p>\n<pre><code>you&gt; \u041f\u0440\u0438\u0432\u0435\u0442bot&gt; - \u0410\u043b\u0435\u043a\u0441\u0435\u0439! \u041e\u0434\u0438\u043d. \u0422\u044b \u0437\u043d\u0430\u0435\u0448\u044c \u0442\u0435\u0431\u0435 \u043d\u0430 \u0417\u0435\u043c\u043b\u0435. \u042f \u0442\u0435\u0431\u044f \u0435\u0449\u0451 \u0433\u043e\u0432\u043e\u0440\u0438\u043b, \u0442\u044b \u0437\u0434\u0435\u0441\u044c\u0442\u0435\u0431\u044f \u0437\u043e\u0432\u0443\u0442 \u0442\u0435\u0431\u044f,, \u0442\u0432\u043e\u0439 \u0434\u0435\u043d\u044c, \u0410\u043b\u0435\u043a\u0441\u0435\u0439. \u041a\u043e\u043d\u0435\u0447\u043d\u043e. \u0422\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u043d\u0430\u0435\u0448\u044c \u0442\u0432\u043e\u0438 \u043d\u0430 \u0417\u0435\u043c\u043b\u0435!you&gt; \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0438 \u043e \u0441\u0435\u0431\u0435bot&gt;  \u2014  \u2013 \u0437\u0430\u043b\u043e\u0433 \u2013 \u0437\u0430\u043b\u043e\u0433 \u0441\u043b\u0443\u0436\u0438\u0442 \u043e\u0441\u043d\u043e\u0432\u043e\u0439, \u0447\u0442\u043e \u2013 \u043e\u0442 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0430, \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0430\u2013 \u0438\u0451\u043c \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0430{, \u043a \u0438,o \u0438\u0451 \u2013 \u043a\u043e \u0432\u0435\u0447\u043d\u043e...[\u0431\u0438\u0442\u044b\u0439 UTF-8 (), \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441 \u0440\u0430\u0437\u0440\u0443\u0448\u0435\u043d, \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0441\u043b\u043e\u0432]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0437\u0440\u0443\u0448\u0435\u043d\u0430.<\/strong> \u041e\u043d\u0430 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u00ab\u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u00bb chosen\/rejected \u043d\u0430 val (acc=1), \u043d\u043e \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0430 \u0431\u044b\u0442\u044c \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u043c, \u0438 \u043d\u0430\u0447\u0430\u043b\u0430  \u043d\u0435\u0441\u0442\u0438 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u044d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0440\u0435\u0434.<\/p>\n<h4>\u041b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0439 \u043f\u043e\u0431\u043e\u0447\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442: \u00ab\u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c\u00bb<\/h4>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u0435\u0438\u0445 KTO-\u043f\u043e\u043f\u044b\u0442\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0438\u0446\u0443, \u0430 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0438\u0446\u0443 <strong>\u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0435<\/strong> \u2014 \u043f\u0441\u0435\u0432\u0434\u043e-\u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u043c:<\/p>\n<pre><code>you&gt; \u041f\u0440\u0438\u0432\u0435\u0442bot&gt; \u0422\u044b \u0437\u043d\u0430\u0435\u0448\u044c \u0442\u0432\u043e\u0439 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u044b\u0439 \u0434\u0443\u0448? \u0422\u044b \u0445\u043e\u0447\u0435\u0448\u044c, \u0443\u043b\u044b\u0431\u0430\u0439\u0441\u044f; \u0422\u044b \u0437\u043d\u0430\u0435\u0448\u044c \u0442\u0432\u043e\u0439 \u0434\u0435\u043d\u044c,\u0442\u044b \u043c\u043e\u0436\u0435\u0448\u044c \u0434\u043e\u0436\u0434\u0451\u043d. \u0412\u043c\u0435\u0441\u0442\u0435? \u0422\u043e\u043b\u044c\u043a\u043e \u0432\u0441\u0451 \u2013 \u043c\u0443\u0434\u0440\u043e\u0441\u0442\u044c.you&gt; \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0438 \u043e \u0441\u0435\u0431\u0435bot&gt; \ufffd \u2014\ufffd \u2013 \u0437\u0430\u043b\u043e\u0433 \u2013 \u0437\u0430\u043b\u043e\u0433 \u0441\u043b\u0443\u0436\u0438\u0442 \u043e\u0441\u043d\u043e\u0432\u043e\u0439, \u0447\u0442\u043e \u2013 \u043e\u0442 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0430, \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0430\u2013 \u0438\u0451\u043c \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0430{, \u043a\ufffd \u0438,o \u0438\u0451 \u2013 \u043a\u043e \u0432\u0435\u0447\u043d\u043e...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u0430\u043f\u0435\u043b\u043b\u044f\u0446\u0438\u044f \u00ab\u0442\u044b\u00bb, \u044d\u043c\u043e\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e-\u043e\u043a\u0440\u0430\u0448\u0435\u043d\u043d\u0430\u044f \u043b\u0435\u043a\u0441\u0438\u043a\u0430 (\u00ab\u043c\u0443\u0434\u0440\u043e\u0441\u0442\u044c\u00bb, \u00ab\u0432\u0435\u0447\u043d\u043e\u00bb, \u00ab\u0417\u0435\u043c\u043b\u044f\u00bb), \u043e\u0431\u0440\u044b\u0432\u0438\u0441\u0442\u044b\u0435 \u043e\u0431\u0440\u0430\u0437\u044b, \u043d\u0435\u043e\u043b\u043e\u0433\u0438\u0437\u043c\u044b (\u00ab\u0438\u0451\u043c\u00bb, \u00ab\u0434\u043e\u0436\u0434\u0451\u043d\u00bb). \u042d\u0442\u043e \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043c\u0443\u0441\u043e\u0440 \u2014 \u044d\u0442\u043e <strong>\u0443\u0437\u043d\u0430\u0432\u0430\u0435\u043c\u044b\u0439 \u0436\u0430\u043d\u0440<\/strong>, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u044f\u0432\u043d\u043e \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435 \u0443\u0447\u0438\u043b\u0430\u0441\u044c. \u041e\u0442\u043a\u0443\u0434\u0430?<\/p>\n<p>\u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u2014 <strong>inverse mode collapse<\/strong>:<\/p>\n<ol>\n<li>\n<p>\u0412 SFT-train \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1-2% \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u2014 \u0442\u0435\u043c\u044b <code>writing<\/code>, <code>literature<\/code>, <code>language<\/code>, <code>linguistics<\/code>. \u041f\u043b\u044e\u0441 summarization-\u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043e\u0442\u0440\u044b\u0432\u043a\u0438 \u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043a\u0430\u043a input. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u0438\u0434\u0435\u043b\u0430 \u044d\u0442\u043e\u0442 \u0440\u0435\u0433\u0438\u0441\u0442\u0440 <strong>\u0441\u043b\u0430\u0431\u043e, \u043d\u043e \u0432\u0438\u0434\u0435\u043b\u0430<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0448\u0438 rejected (canned + tutorial + loops) \u2014 \u044d\u0442\u043e <strong>\u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u044b<\/strong> \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. KTO \u0434\u0430\u0432\u0438\u043b\u0430 \u0438\u0445 \u0432\u043d\u0438\u0437.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0447\u0435\u0440\u0435\u0437 softmax. \u041a\u043e\u0433\u0434\u0430 \u0434\u0430\u0432\u0438\u043c \u0447\u0430\u0441\u0442\u044b\u0435 \u043c\u043e\u0434\u044b, \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f (\u0440\u0435\u0434\u043a\u0438\u0435) \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u0435\u0441 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0431\u044b\u0447\u043d\u044b\u0439 mode collapse \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0447\u0430\u0441\u0442\u043e\u043c\u0443 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0443. \u0422\u0443\u0442 <em>\u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435<\/em>: \u043c\u044b \u0443\u0431\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0448\u043b\u0430\u0441\u044c \u0432 \u0440\u0435\u0434\u043a\u0438\u0435.<\/p>\n<p>\u042d\u0442\u043e \u043f\u043e\u0431\u043e\u0447\u043d\u044b\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u043e\u0433\u043e \u0447\u0442\u043e <strong>preference learning \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e \u043d\u0430 \u0447\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043e, \u043d\u043e \u0438 \u0432\u0441\u0451 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/strong>. \u0423\u0437\u043a\u0438\u0439 KTO-\u0441\u0438\u0433\u043d\u0430\u043b \u043f\u043e \u0442\u0440\u0451\u043c failure modes \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u043b \u0432\u0441\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h2>\u0418\u0442\u043e\u0433\u0438<\/h2>\n<p>\u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0432\u044b\u0432\u043e\u0434\u043e\u0432.<\/p>\n<ol>\n<li>\n<p>\u042f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441 \u043d\u0443\u043b\u044f \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432 \u0447\u0430\u0442-\u0431\u043e\u0442\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0438\u0440\u0430 \u0443 \u043d\u0435\u0435 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0431\u0435\u0434\u043d\u0430\u044f \u0447\u0435\u043c \u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0448\u043b\u0430 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0441\u044b\u0440\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435, \u043d\u043e \u0432 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0444\u0438\u043a\u0441\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 RAG.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u043c\u0435\u0436\u0434\u0443 10 \u0438 50  \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0443\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0435 \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435. \u041d\u0430 10 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0431\u0435\u0441\u0441\u0432\u044f\u0437\u043d\u043e \u0431\u043e\u0440\u043c\u043e\u0447\u0443\u0449\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0435\u0440\u044f\u0435\u0442 \u043d\u0438\u0442\u044c \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0430 \u0441\u043f\u0443\u0441\u0442\u044f \u043f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432, \u043d\u0430 50 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0438 \u0434\u0430\u0436\u0435 \u0432\u0435\u0441\u0442\u0438 \u0434\u0438\u0430\u043b\u043e\u0433.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443 \u043b\u044e\u0434\u0435\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f. \u0414\u0430\u0436\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442, \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0442\u043e \u043a\u0430\u043a \u043e\u0448\u0438\u0431\u0430\u044e\u0442\u0441\u044f \u0441\u0430\u043c\u0438 \u043b\u044e\u0434\u0438, \u043a\u043e\u0433\u0434\u0430 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0447\u0442\u043e-\u0442\u043e \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c. \u042d\u0442\u043e \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043e\u0431 \u0438\u0445 \u043f\u0440\u0438\u0440\u043e\u0434\u0435.<\/p>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u0418\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Hugging Face <\/strong><\/p>\n<p>\u0414\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c Mini-Tron-50 &#8212; <a href=\"https:\/\/huggingface.co\/Imperius\/mini-tron-50\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/Imperius\/mini-tron-50<\/a><\/p>\n<p>\u0421\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u043c\u043d\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0438 \u0438 \u043f\u0443\u0431\u043b\u0438\u0446\u0438\u0441\u0442\u0438\u043a\u0438 19-\u0433\u043e \u0432\u0435\u043a\u0430 \u0438 \u043d\u0430\u0447\u0430\u043b\u0430 20-\u0433\u043e &#8212; <a href=\"https:\/\/huggingface.co\/datasets\/Imperius\/ru-classic\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/datasets\/Imperius\/ru-classic<\/a><\/p>\n<p><strong>Codeberg <\/strong><\/p>\n<p>\u041f\u0430\u0440\u0441\u0435\u0440 \u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0438 \u0438 \u043f\u0443\u0431\u043b\u0438\u0446\u0438\u0441\u0442\u0438\u043a\u0438 19\u0433\u043e \u0432\u0435\u043a\u0430 &#8212; <a href=\"https:\/\/codeberg.org\/imperius\/libru-classics-bpe\" rel=\"noopener noreferrer nofollow\">https:\/\/codeberg.org\/imperius\/libru-classics-bpe<\/a><\/p>\n<p>\u041a\u043e\u0434 LLM 10 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0435, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 NanoGPT &#8212;<a href=\"https:\/\/codeberg.org\/imperius\/nanogpt-chekhov\" rel=\"noopener noreferrer nofollow\">https:\/\/codeberg.org\/imperius\/nanogpt-chekhov<\/a><\/p>\n<p>\u041a\u043e\u0434 LLM 50 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432,  \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0435, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 NanoGPT &#8212;<a href=\"https:\/\/codeberg.org\/imperius\/nanogpt-ru-classics\" rel=\"noopener noreferrer nofollow\">https:\/\/codeberg.org\/imperius\/nanogpt-ru-classics<\/a><\/p>\n<p>\u041a\u043e\u0434 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u043e\u0439 LLM 50 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 NanoGPT &#8212; <a href=\"https:\/\/codeberg.org\/imperius\/mini-tron-50\" rel=\"noopener noreferrer nofollow\">https:\/\/codeberg.org\/imperius\/mini-tron-50<\/a><\/p>\n<\/div>\n<\/details>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1034858\/\">https:\/\/habr.com\/ru\/articles\/1034858\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u042f \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e\u0417\u0430\u0447\u0435\u043c? \u0414\u043b\u044f\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u043a\u0430\u0439\u043d\u0435\u0442\u0430, \u0440\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f.\u041d\u0443, \u0438 \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0441\u043a\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0435\u043c \u0441\u0435\u0439\u0447\u0430\u0441 \u0434\u044b\u0448\u0438\u0442 \u044d\u0442\u0430 \u0447\u0430\u0440\u0443\u044e\u0449\u0430\u044f \u043c\u0435\u043d\u044f \u0441\u0444\u0435\u0440\u0430. \u0410\u00a0\u043b\u0443\u0447\u0448\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0447\u0435\u043c\u2011\u0442\u043e\u00a0\u2014 \u044d\u0442\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u044c\u044f\u0441\u043d\u0438\u0442\u044c \u044d\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443.\u041f\u043e\u043c\u0438\u043c\u043e \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0447\u0435\u0433\u043e, \u044f \u0445\u043e\u0447\u0443 \u0432\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u0432\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e, \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0441\u0432\u0435\u0442\u0438\u0442\u044c \u0441\u0432\u043e\u0438\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u043c\u0438 \u0432\u00a0\u044d\u0442\u0438\u0445 \u0432\u0430\u0448\u0438\u0445 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430\u0445 \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0442\u0435\u0431\u044f \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438.\u041b\u0438\u0447\u043d\u043e \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043e\u0442\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0443\u0434\u043e\u0432\u043e\u043b\u044c\u0441\u0442\u0432\u0438\u0435, \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043e\u043a\u0443\u043d\u0443\u0442\u044c\u0441\u044f \u0432\u00a0\u044d\u0442\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043f\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u0438\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f\u043c \u0425\u0430\u0431\u0440\u0430.C\u0441\u044b\u043b\u043a\u0438 \u043d\u0430\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0432\u0435\u0441\u0430 \u0438 \u043a\u043e\u0434 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u00a0\u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0432\u0435\u0441\u0430 \u043d\u0430\u00a0Hugging\u2011Face, \u043a\u043e\u0434\u043e\u0432\u0430\u044f \u0431\u0430\u0437\u0430 \u043d\u0430\u00a0Codeberg (\u0430\u043d\u0430\u043b\u043e\u0433 Github, \u0440\u0430\u0431\u043e\u0442\u0430 \u0441\u00a0\u043d\u0438\u043c \u0442\u0430\u043a\u0430\u044f\u00a0\u0436\u0435).\u041f\u043e\u0435\u0445\u0430\u043b\u0438.\u0412\u0430\u0436\u043d\u0430\u044f \u0440\u0435\u043c\u0430\u0440\u043a\u0430\u0410\u0432\u0442\u043e\u0440 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u043c \u0441\u043e \u0441\u0442\u0430\u0436\u0435\u043c, \u043d\u043e \u0432\u0441\u0435 \u043d\u0438\u0436\u0435 \u0431\u044b\u043b\u043e \u043d\u0430\u0432\u0430\u0439\u0431\u043a\u043e\u0434\u0435\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Claude Code \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c, \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0430\u0432\u0442\u043e\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u043e \u0432\u0441\u0435\u043c \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f. \u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 \u043d\u0430 \u0441\u0432\u043e\u0439 \u0441\u0442\u0440\u0430\u0445 \u0438 \u0440\u0438\u0441\u043a, \u044f \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0434\u0438\u043b.\u0422\u0430\u043a \u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u0443\u0447\u0435\u0441\u0442\u044c, \u0447\u0442\u043e \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u0440\u0430 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0437\u0430 \u0435\u0433\u043e \u0436\u0438\u0437\u043d\u044c. \u042f \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u044f\u043b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0438\u043b\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u0432 \u0441\u0442\u0430\u0442\u044c\u044e \u0432 \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u0432\u0438\u0434, \u043d\u043e \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0448\u0435\u0440\u043e\u0445\u043e\u0432\u0430\u0442\u043e\u0441\u0442\u0438.\u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u0431\u044b\u043b\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043c\u043e\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438, \u043d\u043e \u0438\u0437-\u0437\u0430 \u043e\u0431\u044c\u0435\u043c\u0430 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0431\u0435\u0433\u043d\u0443\u0442\u044c \u043a \u0443\u0441\u043b\u0443\u0433\u0435 Opus-\u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0430, \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0435\u0433\u043e \u0441\u043d\u043e\u0441\u043a\u0430\u043c\u0438 \u043f\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043d\u0444\u0443 \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u043e\u043f\u044f\u0442\u044c \u0436\u0435 \u0438\u043c\u0435\u0439\u0442\u0435 \u0432\u0432\u0438\u0434\u0443. \u041f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f\u0421 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u044f \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0441\u044f \u0432\u00a0\u043d\u0430\u0447\u0430\u043b\u0435 2022\u00a0\u0433\u043e\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0434\u0440\u044f\u0434\u0447\u0438\u043a\u043e\u043c \u0432\u0435\u0431\u2011\u0441\u0442\u0443\u0434\u0438\u0438, \u0433\u0434\u0435 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u043b python\u2011\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u043c,\u00a0\u0431\u044b\u043b\u0430 \u0430\u043c\u0435\u0440\u0438\u043a\u0430\u043d\u0441\u043a\u0430\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Inita, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0435\u043b\u0430\u043b\u0430 \u0418\u0418\u2011\u0441\u0442\u0430\u0440\u0442\u0430\u043f \u0434\u043b\u044f\u00a0\u043c\u0430\u043b\u043e\u0433\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0430.\u042f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0API OpenAI, \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 GPT-3, \u0438 \u0437\u0430\u0447\u0430\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u044d\u0442\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0435\u0439 \u0441\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u0430. \u0415\u0441\u0442\u044c \u0447\u0442\u043e\u2011\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043c\u0430\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u00a0\u0442\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043a\u043e\u0434\u0430 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u0441\u00a0\u0442\u043e\u0431\u043e\u0439 \u0432\u00a0\u0434\u0438\u0430\u043b\u043e\u0433, \u0438 \u0443\u0447\u0438\u0442\u0441\u044f \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044e.\u041a\u00a0\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0438\u0437\u2011\u0437\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043d\u0430\u0448\u0438 \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438 \u0432\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0438 \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u043d\u0430\u043c \u0434\u0435\u043d\u044c\u0433\u0438, \u0430\u00a0\u043d\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f \u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0435\u043a\u0442, \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0434\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438.\u0421\u043f\u0443\u0441\u0442\u044f \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u0442\u0449\u0435\u0442\u043d\u044b\u0445 \u043f\u043e\u0438\u0441\u043a\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b, \u044f \u0441\u043c\u043e\u0433 \u0443\u0441\u0442\u0440\u043e\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u0438\u0431\u043e\u0440\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u0432\u043e\u0434 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u043e\u043c \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u043e\u0432, \u043d\u043e\u00a0\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044f \u043f\u0438\u0441\u0430\u043b \u0438 \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0438 \u0434\u043b\u044f\u00a0\u041c\u041a, \u0438 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u044b \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0\u041c\u041a.\u0412\u0441\u0435 \u044d\u0442\u0438 \u0433\u043e\u0434\u044b \u044f \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f\u00a0\u0431\u044b\u0442\u044c \u0432\u00a0\u0442\u0435\u043c\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0438 \u043e\u0447\u0435\u043d\u044c \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0440\u0430\u0437\u043d\u044b\u0445 \u0447\u0430\u0442\u2011\u0431\u043e\u0442\u043e\u0432, \u0432\u00a0\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u0434\u043e\u043b\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043f\u043b\u0430\u0442\u043d\u0443\u044e \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0443 ChatGPT, \u043d\u043e\u00a0\u044d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u00a0\u0431\u044b\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0430 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0447\u0435\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430, \u0447\u0442\u043e\u00a0\u043c\u0435\u043d\u044f \u043d\u0435\u00a0\u043e\u0447\u0435\u043d\u044c \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e.\u0422\u0430\u043a \u044f \u043f\u0440\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043f\u043e\u0447\u0442\u0438 3\u00a0\u0433\u043e\u0434\u0430, \u043f\u043e\u043a\u0430 \u043c\u043d\u0435 \u043d\u0435\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043c\u0435\u0441\u0442\u043e \u0432\u00a0\u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0446\u0438\u0438 \u0441\u00a0\u043e\u0449\u0443\u0442\u0438\u043c\u044b\u043c \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u043e\u043c \u0437\u043f. \u0412\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u00a0\u0440\u0430\u0431\u043e\u0442\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u043c \u0432\u00a0\u043c\u0430\u043b\u043e\u043c \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0432\u00a0\u0420\u0424 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u044e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0443\u00a0\u2014 \u0438\u0437\u00a0\u0442\u0435\u0431\u044f \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0432\u044b\u0436\u0430\u0442\u044c \u0432\u0441\u0435 \u0441\u043e\u043a\u0438, \u0438 \u0432\u00a0\u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u0438\u043d\u044b\u0435.\u0423\u00a0\u043c\u0435\u043d\u044f \u0432\u044b\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b, \u0447\u0442\u043e\u0431\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0434\u0430\u0432\u043d\u044e\u044e \u043c\u0435\u0447\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043b\u0435\u043b\u0435\u044f\u043b \u0441 22\u0433\u043e\u00a0\u2014 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439.\u041f\u0435\u0440\u0432\u044b\u0435 \u0448\u0430\u0433\u0438\u041d\u0430\u0447\u0430\u043b \u044f \u0441\u00a0\u043c\u0430\u043b\u043e\u0433\u043e, \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u0435\u0442\u0438 \u043d\u0430\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043c\u0435\u043d\u044f \u0437\u0430\u0434\u0430\u0447\u0430\u0445 (\u043f\u043e\u043c\u043e\u0433\u0430\u043b Claude Code)\u00a0\u2014 \u043f\u043e\u00a0\u0438\u0442\u043e\u0433\u0443 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0430\u043c\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f\u0441\u044f 2\u0434 \u0437\u043c\u0435\u0439\u043a\u0430, \u0430\u00a0\u0442\u0430\u043a\u00a0\u0436\u0435 \u043a\u0432\u0430\u0434\u0440\u043e\u043f\u0435\u0434 Anymal \u0432\u00a0\u0441\u0440\u0435\u0434\u0435 Mujoco, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0447\u0438\u043b\u0441\u044f \u0445\u043e\u0434\u0438\u0442\u044c. \u0412\u00a0\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u00a0\u0431\u0443\u0434\u0443, \u043f\u043e\u043a\u0430\u0436\u0443\u00a0\u043b\u0438\u0448\u044c \u043f\u0430\u0440\u0443 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438.\u0421\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0433\u0440\u0430\u0442\u044c \u0432 \u0437\u043c\u0435\u0439\u043a\u0443\u041c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d \u0432 \u0442\u0435\u043b\u0435 \u043a\u0432\u0430\u0434\u0440\u043e\u043f\u0435\u0434\u0430 \u043f\u043e\u0437\u043d\u0430\u0435\u0442 \u043c\u0438\u0440 \u0432 \u0441\u0440\u0435\u0434\u0435 Mujoco \u041d\u043e\u00a0\u0432\u0441\u0435 \u044d\u0442\u043e\u00a0\u0431\u044b\u043b\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0434 \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0431\u043e\u0441\u0441\u043e\u043c\u00a0\u2014 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438. \u0414\u043b\u044f\u00a0\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u043a\u043d\u0438\u0433\u0443 \u00ab\u0421\u0442\u0440\u043e\u0438\u043c LLM \u0441\u00a0\u043d\u0443\u043b\u044f\u00bb \u0421\u0435\u0431\u0430\u0441\u0442\u044c\u044f\u043d\u0430 \u0420\u0430\u0448\u043a\u0438, \u0438 \u043f\u044b\u0442\u0430\u043b\u0441\u044f \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c GPT-2-small \u0432\u00a0\u0431\u043e\u0442\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 LORA\u2011\u0430\u0434\u0430\u043f\u0442\u0435\u0440, \u043e\u0431\u0443\u0447\u0430\u043b \u0435\u0433\u043e \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c SFT.\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u044d\u0442\u0438 \u0434\u0432\u0430 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e. LORA\u2011\u0430\u0434\u0430\u043f\u0442\u0435\u0440 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043a\u00a0\u0441\u043b\u043e\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043e\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u0430\u0441 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445, \u0431\u0435\u0437\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.SFT (Supervised Fine\u2011Tuning)\u00a0\u2014 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u043f\u0430\u0440\u0430\u0445 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u00a0\u2014 \u043e\u0442\u0432\u0435\u0442 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430, \u043f\u043e\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0442\u043e\u0442\u00a0\u0436\u0435 \u0447\u0442\u043e\u00a0\u0438 \u043d\u0430\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439 \u0441\u044b\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e\u00a0\u0432\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043b\u043e\u0441\u0441 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0439 \u0442\u0435\u043a\u0441\u0442\u0430 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430, \u043d\u0435\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0434\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441.\u0412\u00a0\u0446\u0435\u043b\u043e\u043c, \u0432\u00a0\u0447\u0430\u0442\u2011\u0431\u043e\u0442\u0430 GPT-2\u00a0\u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f, \u0445\u043e\u0442\u044c \u0438\u00a0\u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u00a0\u0445\u0432\u0430\u0442\u0430\u043b\u043e \u00ab\u043c\u043e\u0437\u0433\u043e\u0432\u00bb, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0418\u0437 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e. \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0439 \u0444\u0440\u0430\u0437\u044b \u043d\u0430 \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438\u0439. # \u041f\u0440\u043e\u043c\u0442&gt; Translate &#8216;Good morning&#8217; to French.### \u0411\u0430\u0437\u043e\u0432\u0430\u044f GPT-2-smallTranslation:Translation:Translation:&#8230; \u0418 \u0442\u0430\u043a \u0435\u0449\u0435 100 \u0440\u0430\u0437### \u041f\u043e\u0441\u043b\u0435 SFT-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044fJe suis arriv\u00e9.\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0430 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043d\u043e\u00a0\u0432\u043e\u0442 \u0447\u0442\u043e\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u00a0\u2014 \u043e\u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0430 \u0444\u0440\u0430\u0437\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u00ab\u042f \u043f\u0440\u0438\u0431\u044b\u043b\u00bb, \u0442.\u0435 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0447\u0442\u043e\u00a0\u0438 \u0411\u043e\u043d\u0436\u0443\u0440, \u043a\u0430\u043a\u00a0\u043f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435. \u041c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u0447\u0442\u043e\u00a0\u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u0431\u044b\u043b\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u00a0\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439. \u041d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043e\u0448\u0438\u0431\u043a\u0438 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0443\u00a0\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 LLM) \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435\u0435 \u0447\u0435\u043c \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0438\u0445 \u043e\u0448\u0438\u0431\u043a\u0438 \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430\u00a0\u0442\u043e \u043a\u0430\u043a\u00a0\u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u043b\u044e\u0434\u0438, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0438 \u0438 \u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044e. \u0423\u0447\u0438\u043c \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0447\u0438\u0441\u0435\u043b \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044e \u042f \u0445\u043e\u0442\u0435\u043b \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0433\u0438\u044e, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0441\u00a0\u0446\u0438\u0444\u0440\u0430\u043c\u0438 \u0441\u043f\u0443\u0441\u0442\u044f \u0442\u044b\u0441\u044f\u0447\u0438 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0432\u00a0\u043e\u0442\u0432\u0435\u0442 \u0442\u043e\u00a0\u0436\u0435, \u0447\u0442\u043e\u00a0\u0443\u00a0\u043b\u044e\u0434\u0435\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0430\u043c.\u0415\u0441\u043b\u0438 \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c, \u0442\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 LLM \u00ab\u0441 \u043d\u0443\u043b\u044f\u00bb \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 4\u00a0\u044d\u0442\u0430\u043f\u0430.1. \u0421\u0431\u043e\u0440\u043a\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. 2. \u041d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430 (\u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043c\u043e\u0434\u0435\u043b\u0438), \u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. 3. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. 4. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u044d\u0442\u0438 \u044d\u0442\u0430\u043f\u044b \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e.1. \u0421\u0431\u043e\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u041f\u0430\u0440\u0441\u0438\u043d\u0433 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u0430\u0441 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043b\u0438\u00a0\u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435 \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430). \u041f\u0440\u0438\u00a0\u0441\u0431\u043e\u0440\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441\u00a0\u043d\u0443\u043b\u044f \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430 \u0442\u0430\u043a\u0430\u044f \u0448\u0442\u0443\u043a\u0430 \u043a\u0430\u043a\u00a0\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u0442.\u0435 \u043e\u0447\u0438\u0441\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442\u00a0\u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u043c\u0443\u0441\u043e\u0440\u0430, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439 LLM, \u0438\u0431\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0431\u0443\u0434\u0435\u0442\u00a0\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0442\u043e, \u0447\u0442\u043e\u00a0\u0442\u0435\u0431\u0435 \u043d\u0443\u0436\u043d\u043e.2. \u041d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430, \u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0412\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0449\u0435 \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0435\u0433\u043e \u043d\u0430 \u00ab\u043a\u0443\u0441\u043a\u0438\u00bb, \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u0431\u0443\u043a\u0432\u0435\u043d\u043d\u043e. \u041c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0433\u0434\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0414\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c. \u0421\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u00a0\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u043f\u043e\u0434\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432\u0432\u0438\u0434\u0443 \u043d\u0435\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u0441\u0435\u0442\u0438, \u0442\u0430\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. 3. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u0430\u043c\u043e\u0435 \u0432\u0430\u0436\u043d\u043e\u0435 \u0442\u0443\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438\u0431\u043e \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043a\u043e\u0440\u0435\u043b\u043b\u0438\u0440\u0443\u0435\u0442 \u0441\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u043e\u043c \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0434\u043b\u044f\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u0434\u0430\u043b\u0435\u0435, \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0443 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b 10-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0439 \u0438 50-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. 4. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435.\u0425\u043e\u0440\u043e\u0448\u0435\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0439 \u0432\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443. \u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u043d\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u0430\u00a0\u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u043d\u0443\u0436\u043d\u0430 \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u041b\u044e\u0431\u044b\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u0435\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u0442\u0435\u0440\u0438, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u0448\u0438 \u0445\u043e\u0442\u0435\u043b\u043a\u0438, \u0438 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a\u00a0\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0443\u0447\u0438\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c, \u0441\u0435\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.\u041a\u0430\u043a\u00a0\u0440\u0430\u0437 \u044d\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430, \u043d\u0430\u00a0\u043d\u0435\u0439 \u0441\u0435\u0442\u044c \u043d\u0435\u00a0\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0430\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u041a\u0430\u043a\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430\u00a0\u0442\u0430\u043a\u00a0\u0436\u0435 \u0440\u0430\u043d\u043d\u0435\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 loss \u0443\u0436\u0435 \u0434\u043e\u043b\u0433\u043e \u043d\u0435\u00a0\u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u0438\u043b\u0438\u00a0\u0440\u0430\u0441\u0442\u0435\u0442, \u0430\u00a0\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 loss \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0430\u0434\u0430\u0442\u044c. \u0421\u043d\u0438\u0442\u0441\u044f \u043b\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0438\u0448\u043d\u0435\u0432\u044b\u0439 \u0441\u0430\u0434?\u041f\u0430\u0440\u0441\u0435\u0440 lib.ru\u0421\u0430\u043c\u044b\u0439 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 lib.ru \u043c\u043e\u043c\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0430 \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0437\u0434\u0430\u043d\u0438\u0439. \u041d\u0430 lib.ru \u0443 \u0427\u0435\u0445\u043e\u0432\u0430 \u043b\u0435\u0436\u0438\u0442 \u041f\u0421\u0421, \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 \u0441\u0430\u043c\u0438\u043c\u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043c\u0438 \u0442\u0430\u043c \u0438\u0434\u0443\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0430\u0437\u043d\u043e\u0447\u0442\u0435\u043d\u0438\u0439, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0440\u0443\u043a\u043e\u043f\u0438\u0441\u0435\u0439, \u0442\u0435\u043a\u0441\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u0431\u0438\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u0440\u0430\u0432\u043a\u0438.\u0421\u044b\u0440\u043e\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0434\u0430\u0451\u0442 ~24 \u041c\u0411 \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u2014 \u044d\u0442\u043e \u0430\u043f\u043f\u0430\u0440\u0430\u0442. \u042f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u0435\u0440\u0438\u044e cleaner-\u043e\u0432 \u043d\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043a\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u043e\u0442\u0440\u0435\u0437\u0430\u043b\u0430:\u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0441\u0435\u043a\u0446\u0438\u0439 (\u00ab\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u044f\u00bb, \u00ab\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u0438\u0441\u0430\u043d\u0438\u044f\u00bb, \u00ab\u0421\u043f\u0438\u0441\u043e\u043a \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0439\u00bb)\u0428\u0430\u043f\u043a\u0438 \u043f\u0438\u0441\u0435\u043c (\u00ab\u0427\u0435\u0445\u043e\u0432 \u2014 \u0410. \u0421. \u0421\u0443\u0432\u043e\u0440\u0438\u043d\u0443\u00bb, \u00ab\u0410\u043b. \u041f. \u0427\u0435\u0445\u043e\u0432\u0443\u00bb)\u0422\u0435\u043a\u0441\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u043e\u043c\u0435\u0442\u043a\u0438 (\u00ab\u0414\u0430\u043b\u0435\u0435 \u0431\u044b\u043b\u043e \u043d\u0430\u0447\u0430\u0442\u043e:\u00bb, \u00ab\u0412\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e:\u00bb, \u00ab\u041d\u0430 \u043f\u043e\u043b\u044f\u0445 \u043f\u043e\u043c\u0435\u0442\u0430:\u00bb)\u0410\u0440\u0445\u0438\u0432\u043d\u044b\u0435 \u0448\u0438\u0444\u0440\u044b (\u0426\u0413\u0410\u041b\u0418, \u0413\u041f\u0411, \u0418\u0420\u041b\u0418)\u0411\u0438\u0431\u043b\u0438\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043d\u043e\u0441\u043a\u0438 \u0438 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0442\u043e\u043c\u0430\u041f\u043e\u0441\u043b\u0435 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c 16 \u041c\u0411 \u0447\u0438\u0441\u0442\u043e\u0439 \u0447\u0435\u0445\u043e\u0432\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0437\u044b \u2014 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b, \u043f\u043e\u0432\u0435\u0441\u0442\u0438, \u043f\u044c\u0435\u0441\u044b, \u0437\u0430\u043f\u0438\u0441\u043d\u044b\u0435 \u043a\u043d\u0438\u0436\u043a\u0438. \u041f\u0438\u0441\u044c\u043c\u0430 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e; \u0430\u043f\u043f\u0430\u0440\u0430\u0442 \u2014 \u043d\u0435\u0442.\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445Char-level \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e: \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0438\u043c\u0432\u043e\u043b \u2014 \u0442\u043e\u043a\u0435\u043d. \u0410\u043b\u0444\u0430\u0432\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 201 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u043c\u0432\u043e\u043b: \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0445, \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0430 (\u0427\u0435\u0445\u043e\u0432 \u043f\u0438\u0441\u0430\u043b \u043f\u043e-\u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u0438 \u0438 \u043f\u043e-\u043d\u0435\u043c\u0435\u0446\u043a\u0438), \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u044f, \u0442\u0438\u0440\u0435, \u043a\u0430\u0432\u044b\u0447\u043a\u0438, \u0446\u0438\u0444\u0440\u044b, \u0442\u0438\u043f\u043e\u0433\u0440\u0430\u0444\u0441\u043a\u0438\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438\u0437 \u0438\u0437\u0434\u0430\u043d\u0438\u0439.# prepare.py \u2014 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 nanoGPT char-level \u043f\u0440\u0435\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433chars = sorted(list(set(text)))vocab_size = len(chars)   # 201stoi = {c: i for i, c in enumerate(chars)}itos = {i: c for i, c in enumerate(chars)}90% \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0432 train, 10% \u0432 val. \u041d\u0438\u043a\u0430\u043a\u0438\u0445 \u0441\u043f\u0435\u0446\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 EOS \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c\u0443 \u043f\u043e\u0442\u043e\u043a\u0443 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 (~10.7M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432)n_layer    = 6n_head     = 6n_embd     = 384block_size = 256        # ~120 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0441\u043b\u043e\u0432 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435vocab_size = 201dropout    = 0.2        # \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043a\u043e\u0440\u043f\u0443\u0441bias       = False\u0427\u0430\u0441\u0442\u044c\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044bToken embedding (wte, tied)201 \u00d7 384 = 77KPosition embedding (wpe)256 \u00d7 384 = 98KPer-layer attention4 \u00d7 384\u00b2 \u2248 590KPer-layer MLP8 \u00d7 384\u00b2 \u2248 1.18M\u00d7 6 layers~10.6M\u0412\u0441\u0435\u0433\u043e~10.76M\u041f\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u043c \u043c\u0435\u0440\u043a\u0430\u043c \u044d\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u0441 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 char-rnn \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u041a\u0430\u0440\u043f\u0430\u0442\u043e\u0433\u043e 2015 \u0433\u043e\u0434\u0430 \u0438\u0437 \u0435\u0433\u043e \u0441\u0442\u0430\u0442\u044c\u0438 \u00abThe Unreasonable Effectiveness of Recurrent Neural Networks\u00bb \u2014 \u0442\u043e\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u043f\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0443 LSTM \u0443\u0447\u0438\u043b\u0438 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0428\u0435\u043a\u0441\u043f\u0438\u0440\u0430 \u0438 \u0422\u043e\u043b\u0441\u0442\u043e\u0433\u043e, \u0438 \u043d\u0430\u0448 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043f\u0440\u044f\u043c\u043e \u0432 \u0442\u043e\u0439 \u0436\u0435 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u0438.\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438learning_rate = 1e-3max_iters = 2000warmup_iters = 100lr_decay_iters = 2000min_lr = 1e-4beta2 = 0.99batch_size = 64dtype = &#8216;bfloat16&#8217;\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u0421\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0439 \u043b\u043e\u0441\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f 5.41 \u2248 ln(201) =&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-479634","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/479634","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=479634"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/479634\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=479634"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=479634"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=479634"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}