{"id":487894,"date":"2026-07-20T11:39:43","date_gmt":"2026-07-20T11:39:43","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=487894"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=487894","title":{"rendered":"\u04229 \u0437\u0430 \u0441\u043e\u0442\u043d\u044e \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432, \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442 \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0431\u0443\u0447\u0438\u0442\u044c LLM \u0441 \u043d\u0443\u043b\u044f"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u043e\u043a\u0442\u044f\u0431\u0440\u0435 2025-\u0433\u043e \u0410\u043d\u0434\u0440\u0435\u0439 \u041a\u0430\u0440\u043f\u0430\u0442\u044b\u0439 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u00a0<a href=\"https:\/\/github.com\/karpathy\/nanochat\" rel=\"noopener noreferrer nofollow\">nanochat<\/a>\u00a0\u2014 \u00ab\u043b\u0443\u0447\u0448\u0438\u0439 ChatGPT, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043a\u0443\u043f\u0438\u0442\u044c \u0437\u0430 $100\u00bb: \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043e\u0442 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0434\u043e \u0432\u0435\u0431-\u0447\u0430\u0442\u0430, \u0447\u0435\u0442\u044b\u0440\u0435 \u0447\u0430\u0441\u0430 \u043d\u0430 \u0430\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u043e\u0434\u0435. \u0415\u0449\u0435 \u0432 \u0434\u0435\u043a\u0430\u0431\u0440\u0435 2024-\u0433\u043e DeepSeek \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u00a0<a href=\"https:\/\/arxiv.org\/html\/2412.19437v2\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u0445\u043e\u0442\u0447\u0435\u0442 V3<\/a>\u00a0\u0441 \u0446\u0438\u0444\u0440\u043e\u0439 $5,576 \u043c\u043b\u043d \u0437\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. \u0410 \u0432 \u043a\u043e\u043d\u0446\u0435 \u044f\u043d\u0432\u0430\u0440\u044f 2025-\u0433\u043e, \u043d\u0430 \u0432\u043e\u043b\u043d\u0435 \u0432\u044b\u0445\u043e\u0434\u0430 R1, \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u00ab\u043a\u0438\u0442\u0430\u0439\u0446\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 GPT-4 \u0437\u0430 \u0448\u0435\u0441\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432\u00bb \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439 \u0442\u0440\u044f\u0441\u043b\u0438 \u0438 \u043f\u0440\u0435\u0441\u0441\u0443, \u0438 \u0431\u0438\u0440\u0436\u0443. \u0410 \u0434\u0432\u0430 \u0434\u043d\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0440\u044f\u043c\u043e \u0437\u0434\u0435\u0441\u044c, \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u0432\u044b\u0448\u043b\u0430\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1054710\/\" rel=\"noopener noreferrer nofollow\">habrGPT<\/a>\u00a0\u2014 \u043c\u043e\u0434\u0435\u043b\u044c 0.5B, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0441 \u043d\u0443\u043b\u044f \u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0425\u0430\u0431\u0440\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 RTX 5090, \u0441 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u043e\u043c \u0437\u0430 ~6 \u0447\u0430\u0441\u043e\u0432.<\/p>\n<p>\u0412\u0441\u0435 \u0442\u0440\u0438 \u0446\u0438\u0444\u0440\u044b \u0447\u0435\u0441\u0442\u043d\u044b\u0435. \u0418 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e \u0442\u043e\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0437\u0430 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u044c LLM\u00bb \u043f\u0440\u044f\u0447\u0435\u0442\u0441\u044f \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0432 \u0441\u0435\u043c\u044c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432: \u043e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0434\u043e \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0443\u043f\u0435\u043d\u0438 \u0437\u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e\u043a\u0443\u043f\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u043e\u0435, \u0438 \u043f\u0443\u0442\u0430\u0442\u044c \u0441\u0442\u0443\u043f\u0435\u043d\u0438 \u0434\u043e\u0440\u043e\u0433\u043e. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e CTO ML-\u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0438 \u0432\u044b\u0431\u043e\u0440 \u00ab\u0432\u0437\u044f\u0442\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u0441\u0430 \/ \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \/ \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441 \u043d\u0443\u043b\u044f\u00bb \u2014 \u044d\u0442\u043e \u0440\u0430\u0441\u0447\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043f\u0440\u043e\u0434\u0435\u043b\u044b\u0432\u0430\u0435\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e. \u041d\u0438\u0436\u0435 \u2014 \u0432\u0441\u044f \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0441 \u0447\u0438\u0441\u043b\u0430\u043c\u0438 \u0438 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u043c\u0438: \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0430 \u0438\u0433\u0440\u043e\u0432\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u043f\u043e\u0434 \u0441\u0442\u043e\u043b\u043e\u043c, \u0433\u0434\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0430\u0440\u0435\u043d\u0434\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430, \u0438\u0437 \u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043c\u0435\u0442\u0430 \u0444\u0440\u043e\u043d\u0442\u0438\u0440-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0430\u043a\u0438\u0435 \u0433\u0440\u0430\u0431\u043b\u0438 \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u044d\u0442\u0430\u0436\u0435.<\/p>\n<p>\u0421\u0440\u0430\u0437\u0443 \u0440\u0430\u0437\u0432\u0435\u0434\u0443 \u0434\u0432\u0430 \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u044e\u0442\u0441\u044f.\u00a0<strong>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043d\u0443\u043b\u044f (pretraining)<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u0441\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0448\u0443\u043c\u043e\u043c \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430.\u00a0<strong>\u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (fine-tuning, LoRA \u0438 \u043f\u0440\u043e\u0447\u0435\u0435)<\/strong>\u00a0\u2014 \u043a\u043e\u0433\u0434\u0430 \u0431\u0435\u0440\u0443\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445; \u044d\u0442\u043e \u043d\u0430 \u0434\u0432\u0430-\u0442\u0440\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0438 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0441\u0442\u0430\u0442\u0435\u0439 \u00ab\u043a\u0430\u043a \u044f \u043e\u0431\u0443\u0447\u0438\u043b GPT \u0434\u043e\u043c\u0430\u00bb \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043f\u0440\u043e \u043d\u0435\u0433\u043e. \u0412\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u0435 \u043d\u0430\u043c \u0441\u0432\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u00bb \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u0437\u0432\u043e\u043d\u0430 \u0442\u043e\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d. \u0417\u0434\u0435\u0441\u044c \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e \u00ab\u0441 \u043d\u0443\u043b\u044f\u00bb. \u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0437\u0432\u0443\u0447\u0438\u0442 \u043a\u0430\u043a \u00ab\u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u043d\u0430\u043b\u0430 \u043d\u0430\u0448\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b\u00bb, \u0432\u0430\u043c \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043d\u0443\u0436\u0435\u043d \u0444\u0430\u0439\u043d\u0442\u044e\u043d \u0438\u043b\u0438 RAG, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u043e\u0436\u043d\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u0441\u0442\u0432\u0430.<\/p>\n<h3>\u0421\u0430\u043b\u0444\u0435\u0442\u043a\u0430: \u043a\u0430\u043a \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>\u0412\u0441\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0432 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439:<\/p>\n<pre><code class=\"lua\">C \u2248 6 \u00b7 N \u00b7 D<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0433\u0434\u0435 N \u2014 \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, D \u2014 \u0447\u0438\u0441\u043b\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0448\u0435\u0441\u0442\u044c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a: \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 2 FLOP \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u0432 forward-\u043f\u0440\u043e\u0445\u043e\u0434\u0435, \u0438 \u0435\u0449\u0435 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432 backward. \u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u2014 \u0438\u0437\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2001.08361\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0431\u043e\u0442\u044b Kaplan et al. 2020<\/a>\u00a0(\u0440\u0430\u0437\u0434\u0435\u043b 2.1, \u043e\u0446\u0435\u043d\u043a\u0430 \u0431\u0435\u0437 \u0443\u0447\u0435\u0442\u0430 embedding \u0438 attention-\u0447\u043b\u0435\u043d\u043e\u0432), \u0438 \u0435\u0435 \u0436\u0435\u00a0<a href=\"https:\/\/epoch.ai\/data\/ai-models-documentation\/estimation\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 Epoch AI<\/a>\u00a0\u043a\u0430\u043a \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u043f\u044c\u044e\u0442 \u0447\u0443\u0436\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0433\u0434\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u0434\u0430\u043d\u043d\u044b\u0435. \u0414\u043b\u044f MoE-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 (mixture of experts: \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432) N \u2014 \u044d\u0442\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0433\u0443\u043b\u044f\u0435\u0442 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 5\u20138, \u043d\u043e \u0434\u043b\u044f \u0441\u043c\u0435\u0442\u044b \u043d\u0430 \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0435 \u0448\u0435\u0441\u0442\u0435\u0440\u043a\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0434\u0432\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. \u0414\u0435\u043b\u0438\u043c C \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0435\u043b\u0435\u0437\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u0435\u043a\u0443\u043d\u0434\u044b. \u0423\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430 \u0446\u0435\u043d\u0443 \u0447\u0430\u0441\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0435\u043d\u044c\u0433\u0438. \u0420\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u2014 \u044d\u0442\u043e \u043f\u0438\u043a\u043e\u0432\u044b\u0435 TFLOPS \u043a\u0430\u0440\u0442\u044b, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u00a0<strong>MFU<\/strong>\u00a0(model FLOPs utilization) \u2014 \u0434\u043e\u043b\u044e \u043f\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0434\u0435\u0442 \u0432 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438; \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0442\u043e\u043d\u0435\u0442 \u0432 \u043e\u0431\u043c\u0435\u043d\u0430\u0445 \u043f\u043e \u0441\u0435\u0442\u0438, \u043f\u0443\u0437\u044b\u0440\u044f\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430, \u0440\u0435\u043a\u043e\u043c\u043f\u0443\u0442\u0430\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0438 \u043e\u0442\u0441\u0442\u0430\u044e\u0449\u0438\u0445 \u043d\u043e\u0434. \u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u044b \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438: GPT-3 \u0432 2020-\u043c \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0441 MFU 21,3%, PaLM \u0432 2022-\u043c \u2014 46,2% (<a href=\"https:\/\/ar5iv.labs.arxiv.org\/html\/2204.02311\" rel=\"noopener noreferrer nofollow\">\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 PaLM<\/a>), MegaScale \u043e\u0442 ByteDance \u0432\u044b\u0436\u0430\u043b\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2402.15627\" rel=\"noopener noreferrer nofollow\">55,2% \u043d\u0430 12 288 GPU<\/a>, \u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043d\u043e\u0434\u0435 \u0431\u0435\u0437 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u043f\u043e\u0442\u0435\u0440\u044c llm.c \u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 60%. \u0417\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0439\u0442\u0435 40\u201350% \u0438 \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0448\u0438\u0431\u0435\u0442\u0435\u0441\u044c.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435. GPT-2 124M \u043d\u0430 10 \u043c\u043b\u0440\u0434 \u0442\u043e\u043a\u0435\u043d\u043e\u0432: 6 \u00d7 124e6 \u00d7 10e9 \u2248 7,4e18 FLOP. \u041d\u043e\u0434\u0430 8\u00d7A100 \u043f\u0440\u0438 60% MFU \u0434\u0430\u0435\u0442 ~1,5e15 FLOP\/\u0441 \u2014 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f ~83 \u043c\u0438\u043d\u0443\u0442\u044b. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 llm.c \u2014\u00a0<a href=\"https:\/\/github.com\/karpathy\/llm.c\/discussions\/481\" rel=\"noopener noreferrer nofollow\">90 \u043c\u0438\u043d\u0443\u0442 \u0438 ~$20<\/a>; \u044d\u0442\u0438\u043c \u0436\u0435 \u043f\u0440\u0438\u0435\u043c\u043e\u043c \u043d\u0438\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0447\u0443\u0436\u0438\u0435 \u043f\u0440\u0435\u0441\u0441-\u0440\u0435\u043b\u0438\u0437\u044b. \u042d\u0442\u0443 \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0443 \u044f \u0440\u0438\u0441\u0443\u044e \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0435\u0441\u0435\u0439\u043b\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0441 \u00ab\u0445\u043e\u0442\u0438\u043c \u0441\u0432\u043e\u044e LLM\u00bb: \u0448\u0435\u0441\u0442\u044c-\u044d\u043d-\u0434\u044d, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0435 \u043c\u0430\u0440\u043a\u0435\u0440\u043e\u043c \u043f\u0440\u044f\u043c\u043e \u043f\u0440\u0438 \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0435, \u043e\u0442\u0440\u0435\u0437\u0432\u043b\u044f\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043b\u044e\u0431\u043e\u0433\u043e \u0441\u043b\u0430\u0439\u0434\u0430 \u043f\u0440\u043e \u0440\u0438\u0441\u043a\u0438.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u0442\u043e\u043b\u043f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0438 \u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0443\u0436\u043d\u043e.\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2203.15556\" rel=\"noopener noreferrer nofollow\">Chinchilla<\/a>\u00a0(DeepMind, 2022) \u0432\u044b\u0432\u0435\u043b\u0430 compute-optimal \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u044e: ~20 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c, \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0435 \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u00absignificantly undertrained\u00bb. \u0421 \u0442\u0435\u0445 \u043f\u043e\u0440 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u044f \u0443\u0435\u0445\u0430\u043b\u0430 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u2014 \u0438 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u043e: \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u043b\u0430\u0442\u0438\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u2014 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b \u0440\u0430\u0437, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0433\u043e\u0434\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435 \u0438 \u0437\u0430\u043b\u0438\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430. Llama 3 8B \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 15+ \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2014\u00a0<a href=\"https:\/\/ai.meta.com\/blog\/meta-llama-3\/\" rel=\"noopener noreferrer nofollow\">~1875 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/a>, \u0432 90 \u0440\u0430\u0437 \u0434\u0430\u043b\u044c\u0448\u0435 Chinchilla, \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u043e \u0440\u0430\u0441\u0442\u0438. \u0424\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0438 \u2014\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2401.00448\" rel=\"noopener noreferrer nofollow\">inference-optimal \u0441\u043a\u0435\u0439\u043b\u0438\u043d\u0433<\/a>. \u0426\u0435\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u044b\u0445\u043e\u0434\u0438\u0442, \u0437\u0430\u0434\u0430\u0435\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c D \u2014 \u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u044b\u043d\u0447\u0435 \u043c\u0435\u0440\u044f\u044e\u0442 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u043c\u0438.<\/p>\n<p>\u041a\u0430\u0440\u0442\u0430 \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u044b, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0439\u0434\u0435\u043c (\u0432\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u044b \u043d\u0438\u0436\u0435 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u042f\u0440\u0443\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0416\u0435\u043b\u0435\u0437\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u0446\u0435\u043d\u044b<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1. \u0414\u043e\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u00d7 RTX 5090<\/p>\n<\/td>\n<td>\n<p align=\"left\">GPT-2-\u043a\u043b\u0430\u0441\u0441, \u00ab\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u00bb<\/p>\n<\/td>\n<td>\n<p align=\"left\">$30\u2013700 (\u0430\u0440\u0435\u043d\u0434\u0430 \u2014 \u043e\u0442 $10)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2. \u041d\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">8\u00d7 H100, \u0447\u0430\u0441\u044b\u2013\u0441\u0443\u0442\u043a\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">nanochat-\u043a\u043b\u0430\u0441\u0441, \u00ab\u0434\u0435\u0442\u0441\u0430\u0434\u043e\u0432\u0435\u0446 \u0441 \u044d\u043d\u0446\u0438\u043a\u043b\u043e\u043f\u0435\u0434\u0438\u0435\u0439\u00bb<\/p>\n<\/td>\n<td>\n<p align=\"left\">$50\u20131000<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3. \u041c\u0430\u043b\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043e\u0442\u043d\u0438\u2013\u0442\u044b\u0441\u044f\u0447\u0430 GPU, \u043d\u0435\u0434\u0435\u043b\u0438\u2013\u043c\u0435\u0441\u044f\u0446\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0440\u043e\u0434\u043e\u0432\u044b\u0435 3\u201330B (SmolLM3, OLMo)<\/p>\n<\/td>\n<td>\n<p align=\"left\">$0,5\u20133 \u043c\u043b\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4. \u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u044b\u0441\u044f\u0447\u0438 GPU, \u043c\u0435\u0441\u044f\u0446\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">DeepSeek-V3-\u043a\u043b\u0430\u0441\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">$6\u201320 \u043c\u043b\u043d \u0437\u0430 \u0440\u0430\u043d, \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b \u043a\u0430\u043f\u0435\u043a\u0441\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5. \u0424\u0440\u043e\u043d\u0442\u0438\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">16\u041a\u2013100\u041a+ GPU<\/p>\n<\/td>\n<td>\n<p align=\"left\">GPT-4\/5, Gemini, Grok<\/p>\n<\/td>\n<td>\n<p align=\"left\">$40 \u043c\u043b\u043d \u2014 $1 \u043c\u043b\u0440\u0434+<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9df\/a08\/594\/9dfa085943edd4bb45bd57004fceef00.png\" alt=\"\u00ab\u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u044f\u0440\u0443\u0441\u043e\u0432\u00bb: \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u044c \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u043e\u0442 $40 \u0434\u043e $1B\" title=\"\u00ab\u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u044f\u0440\u0443\u0441\u043e\u0432\u00bb: \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u044c \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u043e\u0442 $40 \u0434\u043e $1B\" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9df\/a08\/594\/9dfa085943edd4bb45bd57004fceef00.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9df\/a08\/594\/9dfa085943edd4bb45bd57004fceef00.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u00ab\u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u044f\u0440\u0443\u0441\u043e\u0432\u00bb: \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u044c \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u043e\u0442 $40 \u0434\u043e $1B<\/figcaption><\/div>\n<\/figure>\n<h3>\u0413\u043e\u043b\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u044d\u0442\u043e \u04229<\/h3>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u0434\u0430\u043b\u044c\u0448\u0435, \u043d\u0430\u0434\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0448\u044c \u0437\u0430 \u043d\u0438\u0445 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0448\u044c \u2014 \u04229. \u041e\u0447\u0435\u043d\u044c \u0434\u043e\u0440\u043e\u0433\u043e\u0439, \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0439 \u04229. \u042d\u0442\u043e \u0440\u0430\u0437\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0435, \u0433\u0434\u0435 \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0432\u043e\u044e LLM\u00bb \u0438 \u00ab\u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0430\u0442-\u0431\u043e\u0442\u0430\u00bb \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u2014 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0434\u0432\u0430-\u0442\u0440\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u0430.<\/p>\n<p>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0443\u043c\u0435\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u043d\u043e: \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0442\u0430\u043a, \u043a\u0430\u043a \u043e\u043d \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0441\u044f \u0431\u044b \u0432 \u0435\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u041d\u0430\u043f\u0438\u0448\u0435\u0442\u0435 \u0435\u0439 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u2014 \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u00ab\u2014 \u0441\u043a\u0430\u0437\u0430\u043b\u0430 \u041c\u0430\u0448\u0430 \u0438 \u0437\u0430\u043a\u0440\u044b\u043b\u0430 \u0434\u0432\u0435\u0440\u044c\u00bb: \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b, \u0441 \u0435\u0435 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f, \u043f\u043e\u043f\u0430\u043b\u0438, \u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0432 \u043a\u0430\u0432\u044b\u0447\u043a\u0430\u0445 \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0434\u0435\u0442 \u0440\u0435\u043c\u0430\u0440\u043a\u0430 \u0438\u0437 \u0445\u0443\u0434\u043e\u0436\u043a\u0438, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u0443\u043c\u043d\u043e\u0433\u043e \u0442\u0440\u0435\u0434\u0430 \u0438\u043b\u0438 \u0435\u0449\u0435 \u0434\u0435\u0441\u044f\u0442\u043e\u043a \u0440\u0435\u043f\u043b\u0438\u043a \u043f\u043e\u0434\u0440\u044f\u0434. \u041a\u0430\u0440\u043f\u0430\u0442\u044b\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u043e\u00a0<a href=\"https:\/\/karpathy.ai\/stateofgpt.pdf\" rel=\"noopener noreferrer nofollow\">\u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439<\/a>: \u00abBase models are not assistants, they just want to complete internet documents\u00bb. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f HuggingFace\u00a0<a href=\"https:\/\/huggingface.co\/docs\/transformers\/main\/en\/chat_template_basics\" rel=\"noopener noreferrer nofollow\">\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435<\/a>\u00a0\u0441\u0443\u0448\u0435: \u0447\u0430\u0442-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u0432\u0441\u0435 \u0435\u0449\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0430\u0442 \u0434\u043b\u044f \u043d\u0438\u0445 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0441\u043e\u0431\u044b\u0439 \u0432\u0438\u0434 \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0435\u043c\u043e \u2014 \u0438\u0437\u00a0<a href=\"https:\/\/openai.com\/research\/instruction-following\" rel=\"noopener noreferrer nofollow\">\u0430\u043d\u043e\u043d\u0441\u0430 InstructGPT<\/a>\u00a0(OpenAI, 2022). \u041f\u0440\u043e\u043c\u043f\u0442: \u00ab\u041e\u0431\u044a\u044f\u0441\u043d\u0438 \u0448\u0435\u0441\u0442\u0438\u043b\u0435\u0442\u043d\u0435\u043c\u0443 \u0440\u0435\u0431\u0435\u043d\u043a\u0443 \u0432\u044b\u0441\u0430\u0434\u043a\u0443 \u043d\u0430 \u041b\u0443\u043d\u0443 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445\u00bb. \u0413\u043e\u043b\u0430\u044f GPT-3 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442\u2026 \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u043c\u0438 \u0437\u0430\u0434\u0430\u043d\u0438\u044f\u043c\u0438: \u00ab\u041e\u0431\u044a\u044f\u0441\u043d\u0438 \u0448\u0435\u0441\u0442\u0438\u043b\u0435\u0442\u043d\u0435\u043c\u0443 \u0442\u0435\u043e\u0440\u0438\u044e \u0433\u0440\u0430\u0432\u0438\u0442\u0430\u0446\u0438\u0438\u00bb, \u00ab\u041e\u0431\u044a\u044f\u0441\u043d\u0438 \u0448\u0435\u0441\u0442\u0438\u043b\u0435\u0442\u043d\u0435\u043c\u0443 \u0442\u0435\u043e\u0440\u0438\u044e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438\u00bb. \u041b\u043e\u0433\u0438\u043a\u0430 \u0442\u0430 \u0436\u0435: \u0432 \u0432\u0435\u0431\u0435 \u0441\u043f\u0438\u0441\u043a\u0438 \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u0439 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u0435 \u0441 \u0433\u043e\u0442\u043e\u0432\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u043f\u043e\u0434 \u043d\u0438\u043c, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043b\u0430 \u0441\u0430\u043c\u044b\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442. \u041d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0442\u043e\u0438\u0442 few-shot \u043f\u0440\u043e\u043c\u043f\u0442\u0438\u043d\u0433 \u0438\u0437\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2005.14165\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0438 GPT-3<\/a>: \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0448\u044c \u0442\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u00ab\u0432\u0445\u043e\u0434 \u2192 \u0432\u044b\u0445\u043e\u0434\u00bb, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d, \u0431\u0435\u0437 \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0410\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u043c \u044d\u0442\u0443 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u043b\u043a\u0443 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d\u0438\u043d\u0433, \u0438 \u0435\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0437\u0432\u0443\u0447\u0438\u0442.<\/p>\n<p>\u0428\u0430\u0433 \u043f\u0435\u0440\u0432\u044b\u0439 \u2014 SFT, supervised fine-tuning. \u041c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0436\u0430\u043d\u0440\u0430: \u00ab\u0440\u0435\u043f\u043b\u0438\u043a\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u2192 \u0440\u0435\u043f\u043b\u0438\u043a\u0430 \u0432\u0435\u0436\u043b\u0438\u0432\u043e\u0433\u043e \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a\u0430\u00bb. \u0416\u0430\u043d\u0440 \u043e\u043d\u0430 \u0441\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0441\u0445\u0432\u0430\u0442\u0438\u043b\u0430 \u0441\u0442\u0438\u043b\u044c \u0445\u0443\u0434\u043e\u0436\u043a\u0438 \u0438 \u0444\u043e\u0440\u0443\u043c\u043e\u0432. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u043e\u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u0440\u0435\u043f\u043b\u0438\u043a\u043e\u0439 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430-\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430: \u00ab\u041f\u0440\u0438\u0432\u0435\u0442! \u0427\u0435\u043c \u043c\u043e\u0433\u0443 \u043f\u043e\u043c\u043e\u0447\u044c?\u00bb \u041f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u2014 \u044d\u0442\u043e \u0442\u043e\u0442 \u0436\u0435 \u04229, \u043f\u0440\u043e\u0441\u0442\u043e \u0435\u043c\u0443 \u043f\u043e\u0434\u0441\u0443\u043d\u0443\u043b\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044e \u043f\u0438\u0448\u0435\u0442 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a.<\/p>\n<p>\u0428\u0430\u0433 \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 RLHF, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f\u0445. SFT \u0437\u0430\u0434\u0430\u0435\u0442 \u0440\u043e\u043b\u044c, RL \u0448\u043b\u0438\u0444\u0443\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u044d\u0442\u043e\u0439 \u0440\u043e\u043b\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c. \u041b\u044e\u0434\u0438 \u043f\u043e\u043f\u0430\u0440\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0430 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u0445 \u0443\u0447\u0438\u0442\u0441\u044f reward-\u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u0431\u044b \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0443\u00bb, \u2014 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0442 \u0441\u0438\u0433\u043d\u0430\u043b \u0440\u043e\u0441 (<a href=\"https:\/\/huggingface.co\/blog\/rlhf\" rel=\"noopener noreferrer nofollow\">\u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0431\u043e\u0440 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430<\/a>). \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0438\u0433\u0440\u0430\u0442\u044c \u0440\u043e\u043b\u044c \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430, \u0441\u043c\u0435\u0449\u0430\u044f\u0441\u044c \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443 \u043a \u043b\u0443\u0447\u0448\u0438\u043c, \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0430\u043c \u043b\u044e\u0434\u0435\u0439, \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c.<\/p>\n<p>\u0426\u0438\u0444\u0440\u044b \u043f\u043e\u0434 \u044d\u0442\u043e\u0442 \u0442\u0435\u0437\u0438\u0441 \u0432\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2203.02155\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0435 InstructGPT<\/a>\u00a0\u0432\u044b\u043f\u0438\u0441\u0430\u043d\u044b \u043f\u0440\u044f\u043c\u043e. \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d\u0430: ~13 \u0442\u044b\u0441. \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u043d\u0430 SFT, ~33 \u0442\u044b\u0441. \u043d\u0430 reward-\u043c\u043e\u0434\u0435\u043b\u044c, ~31 \u0442\u044b\u0441. \u043d\u0430 RL \u2014 \u043f\u0440\u043e\u0442\u0438\u0432 \u0441\u043e\u0442\u0435\u043d \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u041a\u043e\u043c\u043f\u044c\u044e\u0442: SFT \u0434\u043b\u044f 175B-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 4,9 \u043f\u0435\u0442\u0430\u0444\u043b\u043e\u043f\u0441-\u0434\u043d\u0435\u0439, RLHF \u2014 60, \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d GPT-3 \u2014 3640. \u0412\u0441\u044f \u00ab\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u00bb \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 \u2014\u00a0<strong>\u043c\u0435\u043d\u0435\u0435 2% \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439<\/strong>, \u0442\u043e\u043d\u043a\u0430\u044f \u043f\u043b\u0435\u043d\u043a\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 \u0442\u043e\u043b\u0449\u0438 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u0418 \u044d\u0444\u0444\u0435\u043a\u0442 \u044d\u0442\u043e\u0439 \u043f\u043b\u0435\u043d\u043a\u0438 \u043f\u043e\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439: \u043e\u0442\u0432\u0435\u0442\u044b InstructGPT \u0441\u043e \u0441\u043a\u0440\u043e\u043c\u043d\u044b\u043c\u0438 1,3 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043b\u044e\u0434\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u0433\u043e\u043b\u043e\u0439 GPT-3 \u0441\u043e 175 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430\u043c\u0438 \u2014 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u0441\u0442\u043e \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 (\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043a API, \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430; \u043d\u0430 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435). \u041f\u043e\u0447\u0442\u0438 \u0432\u0435\u0441\u044c \u0431\u044e\u0434\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u0437\u043d\u0430\u043d\u0438\u044f; \u00ab\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u00bb \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 \u0434\u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u043c\u0438 \u0441\u0432\u0435\u0440\u0445\u0443.<\/p>\n<p>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u00ab\u0434\u0438\u0430\u043b\u043e\u0433\u00bb \u0442\u0430\u043a \u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0441\u043f\u043b\u043e\u0448\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c. \u041f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0430 \u0441 \u0447\u0430\u0442-\u0431\u043e\u0442\u043e\u043c \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0441\u043e \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u2014 \u0432 \u0434\u0443\u0445\u0435\u00a0<code>&lt;|im_start|&gt;user \u2026 &lt;|im_end|&gt; &lt;|im_start|&gt;assistant<\/code>\u00a0(<a href=\"https:\/\/github.com\/openai\/openai-python\/blob\/release-v0.28.0\/chatml.md\" rel=\"noopener noreferrer nofollow\">\u0444\u043e\u0440\u043c\u0430\u0442 ChatML<\/a>; \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0443 \u0432\u0441\u0435\u0445 \u0441\u0432\u043e\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 HuggingFace \u0437\u0430\u0432\u0435\u043b chat templates), \u2014 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u043a\u0435\u043d\u0430\u00a0<code>assistant<\/code>. \u0410\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442 \u2014 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f, \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u2014 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0443, \u0430 \u0441\u0430\u043c\u0430 \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014\u00a0<a href=\"https:\/\/www.lesswrong.com\/posts\/vJFdjigzmcXMhNTsx\/simulators\" rel=\"noopener noreferrer nofollow\">\u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440, \u0443\u043c\u0435\u044e\u0449\u0438\u0439 \u0438\u0433\u0440\u0430\u0442\u044c \u043a\u043e\u0433\u043e \u0443\u0433\u043e\u0434\u043d\u043e<\/a>; \u043f\u043e \u043c\u043e\u0435\u043c\u0443 \u043e\u043f\u044b\u0442\u0443, \u044d\u0442\u0430 \u0440\u0430\u043c\u043a\u0430 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 LLM \u0432 \u043f\u0440\u043e\u0434\u0435 \u043b\u0443\u0447\u0448\u0435 \u043b\u044e\u0431\u043e\u0439 \u0434\u0440\u0443\u0433\u043e\u0439.<\/p>\n<p>\u0423 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0435\u0441\u0442\u044c \u0441\u0432\u0435\u0436\u0435\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u2014 RL \u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u043c\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u0430\u043c\u0438, RLVR. \u0412 \u044f\u043d\u0432\u0430\u0440\u0435 2025-\u0433\u043e DeepSeek \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2501.12948\" rel=\"noopener noreferrer nofollow\">R1-Zero<\/a>: \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u043f\u0440\u044f\u043c\u043e \u043a \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043c\u0438\u043d\u0443\u044f SFT, \u0441 \u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439 \u0437\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 (\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u043a\u043e\u0434). \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 AIME \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 15,6% \u0434\u043e 71%, \u0430 \u043f\u043e \u0445\u043e\u0434\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u043e\u043d\u0442\u0430\u043d\u043d\u043e \u0432\u044b\u0443\u0447\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u0430\u043c\u0443 \u0441\u0435\u0431\u044f \u2014 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043c\u043e\u043c\u0435\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0438\u0448\u0435\u0442 \u00abWait, wait. Wait. That&#8217;s an aha moment I can flag here\u00bb \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0437\u0430\u043d\u043e\u0432\u043e, \u0445\u043e\u0442\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u044d\u0442\u043e\u043c\u0443 \u0435\u0435 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0443\u0447\u0438\u043b.<\/p>\n<p>\u041f\u0440\u0430\u0432\u0434\u0430, \u0440\u0430\u0437\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u043b\u0430 R1-Zero \u043a\u0430\u043a \u0433\u0435\u043d\u0438\u0439 \u0441 \u0440\u0430\u0441\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u0440\u0435\u0447\u0438 \u2014 \u043c\u0435\u0448\u0430\u043b\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0441 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u043c \u0438 \u043f\u0438\u0441\u0430\u043b\u0430 \u043d\u0435\u0447\u0438\u0442\u0430\u0435\u043c\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 R1\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2501.12948\" rel=\"noopener noreferrer nofollow\">\u0432\u0435\u0440\u043d\u0443\u043b\u0438 SFT-\u0444\u0430\u0437\u0443<\/a>\u00a0\u0441 \u0447\u0438\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0446\u0435\u043f\u043e\u0447\u043a\u0430\u043c\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439. \u0414\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 RL \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0433\u043e\u043b\u043e\u0439 \u0431\u0430\u0437\u0435, \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442 SFT. \u0426\u0435\u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u2014 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u0441\u0430\u043c\u043e\u0439 DeepSeek \u0432\u00a0<a href=\"https:\/\/www.nature.com\/articles\/s41586-025-09422-z\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0432 Nature<\/a>: \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0432\u0441\u0435\u0433\u043e R1-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 \u0433\u043e\u0442\u043e\u0432\u043e\u0439 V3 \u2014 \u043e\u043a\u043e\u043b\u043e $294 \u0442\u044b\u0441. \u043f\u0440\u043e\u0442\u0438\u0432 ~$5,6 \u043c\u043b\u043d \u0437\u0430 \u0431\u0430\u0437\u0443 (\u0442\u0430 \u0436\u0435 \u0431\u0443\u0445\u0433\u0430\u043b\u0442\u0435\u0440\u0438\u044f \u00ab\u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u043d\u00bb, \u0447\u0442\u043e \u0438 \u0443 \u0446\u0438\u0444\u0440\u044b V3). \u041f\u044f\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0441\u0432\u0435\u0440\u0445\u0443 \u2014 \u0437\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u04229 \u0432 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043d\u0438\u043a\u0430.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u044c LLM \u0441 \u043d\u0443\u043b\u044f \u0441\u0442\u043e\u0438\u0442 X\u00bb, \u0447\u0438\u0442\u0430\u0439\u0442\u0435: X \u2014 \u044d\u0442\u043e \u0446\u0435\u043d\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430, \u0446\u0435\u043d\u0430 \u0431\u0430\u0437\u044b. \u041f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d \u0434\u043e\u0431\u0430\u0432\u0438\u0442 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0430 (\u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443, \u0435\u0441\u043b\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0435 \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0443\u0435\u0442). \u0414\u0435\u0448\u0435\u0432\u044b\u043c \u00ab\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c \u0432 \u0447\u0430\u0442-\u0431\u043e\u0442\u0430\u00bb \u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f nanochat, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u0441\u044f \u2014 \u0443\u0436\u0435 \u0441 \u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440\u043e\u043c \u0432 \u0440\u0443\u043a\u0430\u0445.<\/p>\n<h3>\u042f\u0440\u0443\u0441\u044b 1\u20132: RTX 5090 \u043f\u043e\u0434 \u0441\u0442\u043e\u043b\u043e\u043c \u0438 \u043d\u043e\u0434\u0430 \u0432 \u0430\u0440\u0435\u043d\u0434\u0443<\/h3>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u0433\u043e\u043b\u044b\u0445 \u0441\u043f\u0435\u043a\u043e\u0432.\u00a0<a href=\"https:\/\/www.nvidia.com\/en-us\/geforce\/graphics-cards\/50-series\/rtx-5090\/\" rel=\"noopener noreferrer nofollow\">RTX 5090<\/a>: 32 \u0413\u0411 GDDR7 \u043d\u0430 512-\u0431\u0438\u0442\u043d\u043e\u0439 \u0448\u0438\u043d\u0435, 1792 \u0413\u0411\/\u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, ~105 TFLOPS \u0432 FP32 \u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 210 TFLOPS \u043f\u043b\u043e\u0442\u043d\u043e\u0433\u043e BF16 \u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u044b\u0445 \u044f\u0434\u0440\u0430\u0445, 575 \u0412\u0442 TDP, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0446\u0435\u043d\u0430 $1999. \u041c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0435 \u00ab3352 AI TOPS\u00bb \u0441 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0439 \u2014 \u044d\u0442\u043e FP4 \u0441\u043e sparsity; \u0434\u043b\u044f \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0439\u0442\u0435\u0441\u044c \u043d\u0430 BF16-\u0446\u0438\u0444\u0440\u0443, \u043e\u043d\u0430 \u0432 \u0448\u0435\u0441\u0442\u043d\u0430\u0434\u0446\u0430\u0442\u044c \u0440\u0430\u0437 \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0433\u043e \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u2014 \u043f\u0430\u043c\u044f\u0442\u044c, \u0438 \u043e\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0430\u043b\u044c\u0446\u0430\u0445. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0446\u0435\u043f\u0442 mixed-precision AdamW \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u00a0<a href=\"https:\/\/blog.eleuther.ai\/transformer-math\/\" rel=\"noopener noreferrer nofollow\">~16 \u0431\u0430\u0439\u0442 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/a>: 2 \u0431\u0430\u0439\u0442\u0430 \u043d\u0430 \u0432\u0435\u0441 \u0432 BF16, 2 \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0438 12 \u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 (FP32-\u043a\u043e\u043f\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043f\u043b\u044e\u0441 \u0434\u0432\u0430 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 Adam). \u0412 32 \u0413\u0411 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 ~2 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u2014 \u0438 \u044d\u0442\u043e \u0435\u0449\u0435 \u0434\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u044a\u0435\u0434\u0430\u044e\u0442 \u043f\u0430\u043c\u044f\u0442\u044c \u0441\u043e \u0437\u0432\u0435\u0440\u0441\u043a\u0438\u043c \u0430\u043f\u043f\u0435\u0442\u0438\u0442\u043e\u043c. \u041f\u043b\u0430\u043d\u043a\u0443 \u0434\u0432\u0438\u0433\u0430\u044e\u0442 gradient checkpointing (<a href=\"https:\/\/arxiv.org\/abs\/1604.06174\" rel=\"noopener noreferrer nofollow\">\u043f\u0430\u043c\u044f\u0442\u044c \u0432 \u043e\u0431\u043c\u0435\u043d \u043d\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0439 forward<\/a>\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0440\u0435\u0442\u044c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0430 \u0441\u0432\u0435\u0440\u0445\u0443) \u0438 8-\u0431\u0438\u0442\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b; \u043a\u0440\u0430\u0439\u043d\u044f\u044f \u0442\u043e\u0447\u043a\u0430 \u0442\u0440\u044e\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u2014\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2512.15306\" rel=\"noopener noreferrer nofollow\">LLMQ<\/a>, \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e 8-\u0431\u0438\u0442\u043d\u044b\u0439 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c 7B-\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u043d\u0430 \u043e\u0434\u043d\u0443 16-\u0433\u0438\u0433\u043e\u0432\u0443\u044e \u0438\u0433\u0440\u043e\u0432\u0443\u044e \u043a\u0430\u0440\u0442\u0443. \u0412\u043b\u0435\u0437\u0442\u044c-\u0442\u043e \u0432\u043b\u0435\u0437\u0430\u0435\u0442, \u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u0441\u044f\u0446\u0430\u043c\u0438: \u0442\u0440\u044e\u043a\u0438 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043b\u0430\u0442\u044f\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c.<\/p>\n<p>\u0427\u0442\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c, \u0443\u0434\u043e\u0431\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0435\u0439 \u0443\u0447\u0435\u0431\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 \u041a\u0430\u0440\u043f\u0430\u0442\u043e\u0433\u043e \u2014 \u043e\u043d\u0430 \u0432\u0441\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u0430.<\/p>\n<p><a href=\"https:\/\/github.com\/karpathy\/nanoGPT\" rel=\"noopener noreferrer nofollow\"><strong>nanoGPT<\/strong><\/a>\u00a0\u2014 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0447\u0435\u0431\u043d\u044b\u0439 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d-\u0441\u043a\u0440\u0438\u043f\u0442, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u041f\u043e\u0441\u0442\u0440\u043e\u0447\u043d\u044b\u0435 \u0440\u0430\u0437\u0431\u043e\u0440\u044b \u0443\u0436\u0435 \u0435\u0441\u0442\u044c\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/996404\/\" rel=\"noopener noreferrer nofollow\">\u043d\u0430 \u0425\u0430\u0431\u0440\u0435<\/a>, \u043d\u0435 \u0431\u0443\u0434\u0443 \u043e\u0442\u043d\u0438\u043c\u0430\u0442\u044c \u0445\u043b\u0435\u0431.<\/p>\n<p><a href=\"https:\/\/github.com\/karpathy\/llm.c\/discussions\/481\" rel=\"noopener noreferrer nofollow\"><strong>llm.c<\/strong><\/a>\u00a0\u2014 \u0442\u043e\u0442 \u0436\u0435 GPT-2, \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432 ~5 \u0442\u044b\u0441. \u0441\u0442\u0440\u043e\u043a C\/CUDA. \u0420\u0435\u043f\u0440\u043e\u0434\u0443\u043a\u0446\u0438\u044f GPT-2 124M: 90 \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u043d\u043e\u0434\u0435 8\u00d7A100 \u0438 ~$20 \u0430\u0440\u0435\u043d\u0434\u044b (10 \u043c\u043b\u0440\u0434 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 FineWeb, ~60% MFU). \u0420\u0435\u043f\u0440\u043e\u0434\u0443\u043a\u0446\u0438\u044f \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u043e\u0433\u043e\u00a0<a href=\"https:\/\/github.com\/karpathy\/llm.c\/discussions\/677\" rel=\"noopener noreferrer nofollow\">GPT-2 1.6B \u2014 24 \u0447\u0430\u0441\u0430 \u043d\u0430 8\u00d7H100 \u0438 $672<\/a>. \u0414\u043b\u044f \u043e\u0434\u043d\u043e\u0439 5090 \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0442\u0430\u043a\u043e\u0439: \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438-\u0441\u043f\u0438\u0434\u0440\u0430\u043d\u00a0<a href=\"https:\/\/github.com\/Deveraux-Parker\/nanoGPT_1GPU_SPEEDRUN\" rel=\"noopener noreferrer nofollow\">\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 GPT-2 124M \u0437\u0430 ~90\u2013115 \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 RTX 4090<\/a>; 5090 \u043f\u043e BF16-\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044c-\u0442\u0440\u0435\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u00abGPT-2 \u0437\u0430 \u0432\u0435\u0447\u0435\u0440 \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u043a\u0430\u0440\u0442\u0435\u00bb \u2014 \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430, \u0431\u0435\u0437 \u0432\u0441\u044f\u043a\u043e\u0439 \u043f\u043e\u044d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0432\u043e\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><a href=\"https:\/\/github.com\/karpathy\/nanochat\" rel=\"noopener noreferrer nofollow\"><strong>nanochat<\/strong><\/a>\u00a0\u2014 \u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 ChatGPT-\u043a\u043b\u043e\u043d\u0430 \u0432 ~8 \u0442\u044b\u0441. \u0441\u0442\u0440\u043e\u043a: \u0441\u0432\u043e\u0439 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440, \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u043d\u0430 FineWeb-Edu, SFT-\u0434\u0438\u0430\u043b\u043e\u0433\u0438, \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 RL \u043d\u0430 \u0448\u043a\u043e\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435, \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0441 \u0432\u0435\u0431-\u043c\u043e\u0440\u0434\u043e\u0439. \u0422\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u00abChatGPT \u0437\u0430 $100\u00bb:\u00a0<a href=\"https:\/\/github.com\/karpathy\/nanochat\/discussions\/1\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043b\u0438\u0437\u043d\u044b\u0439 \u0441\u043f\u0438\u0434\u0440\u0430\u043d<\/a>\u00a0\u2014 3 \u0447\u0430\u0441\u0430 51 \u043c\u0438\u043d\u0443\u0442\u0430 \u043d\u0430 8\u00d7H100 \u043f\u043e ~$24\/\u0447\u0430\u0441, \u0438\u0442\u043e\u0433\u043e ~$92. \u0420\u0430\u0437\u0431\u0438\u0432\u043a\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0440\u0430\u043d\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043a \u043f\u0440\u043e\u0448\u043b\u043e\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0443: \u0447\u0430\u0441\u044b \u0443\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0431\u0430\u0437\u044b, \u0441\u0442\u0430\u0434\u0438\u044f \u00ab\u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0437 \u04229 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043d\u0438\u043a\u0430\u00bb (midtraining \u043d\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430\u0445 + SFT) \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043c\u0438\u043d\u0443\u0442\u044b. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430 \u044d\u0442\u0438 \u0434\u0435\u043d\u044c\u0433\u0438 \u041a\u0430\u0440\u043f\u0430\u0442\u044b\u0439 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u043a \u00ab\u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440 \u0441 \u0434\u0435\u0442\u0441\u0430\u0434\u043e\u0432\u0446\u0435\u043c\u00bb: \u0441\u0432\u044f\u0437\u043d\u0430\u044f \u0440\u0435\u0447\u044c, \u0437\u0430\u0447\u0430\u0442\u043a\u0438 \u0437\u0434\u0440\u0430\u0432\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430, \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0438. \u041f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 CORE (\u0430\u0433\u0440\u0435\u0433\u0430\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0434\u043b\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0437 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 DCLM) \u0440\u0435\u043b\u0438\u0437\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0445\u043e\u0434\u0438\u043b\u0430 GPT-2 large, \u043d\u043e \u0434\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e GPT-2 1.6B \u043d\u0435 \u0434\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u043b\u0430; \u043a 2026-\u043c\u0443 \u0441\u043f\u0438\u0434\u0440\u0430\u043d\u044b \u0434\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u0438 \u0434\u043e \u043d\u0435\u0433\u043e \u2014 \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0438\u0436\u0435.<\/p>\n<p>\u041d\u0430 \u043e\u0434\u043d\u043e\u0439 5090 nanochat \u0442\u043e\u0436\u0435 \u0436\u0438\u0432\u0435\u0442 \u2014 README \u043f\u0440\u044f\u043c\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044e \u043d\u0430 gradient accumulation (\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043c\u0435\u043b\u043a\u0438\u0445 \u0431\u0430\u0442\u0447\u0435\u0439 \u043a\u043e\u043f\u044f\u0442\u0441\u044f \u0432 \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u2014 \u044d\u043c\u0443\u043b\u044f\u0446\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0430 \u043d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043a\u0430\u0440\u0442\u0435) \u0441 \u00ab\u0442\u0435\u043c\u0438 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438, \u043d\u043e \u0432 8 \u0440\u0430\u0437 \u0434\u043e\u043b\u044c\u0448\u0435\u00bb. \u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u0438\u0437\u00a0<a href=\"https:\/\/github.com\/karpathy\/nanochat\/discussions\/215\" rel=\"noopener noreferrer nofollow\">\u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f<\/a>: \u043f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0434\u0440\u0430\u043d \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 5090 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 ~17 \u0434\u043d\u0435\u0439 (\u0440\u0430\u043d \u043d\u0435 \u0434\u043e\u0432\u0435\u043b\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430), \u043d\u0430 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442\u0430\u0445 \u043f\u043e\u0441\u043b\u0435 \u0442\u0432\u0438\u043a\u043e\u0432 \u2014 \u043e\u0446\u0435\u043d\u043a\u0430 ~28 \u0447\u0430\u0441\u043e\u0432, \u043f\u0440\u0438\u0447\u0435\u043c device batch size \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0440\u0435\u0437\u0430\u0442\u044c \u0441 32 \u0434\u043e 8, \u0430 \u0447\u0442\u043e\u0431\u044b \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0436\u0438\u043b \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0440\u0430\u0443\u0437\u0435\u0440 \u2014 \u0434\u043e 4. \u0423\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0444\u0438\u0433 d16 \u043d\u0430 \u0430\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u043e\u0439 5090 \u0437\u0430 ~$0,35\/\u0447\u0430\u0441\u00a0<a href=\"https:\/\/github.com\/karpathy\/nanochat\/discussions\/1\" rel=\"noopener noreferrer nofollow\">\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u0432 10\u201330 \u0447\u0430\u0441\u043e\u0432<\/a>\u00a0\u0434\u043e \u00ab\u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u00bb. \u0411\u044b\u0442 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0433\u043e \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0430: \u0437\u0430\u043a\u0440\u043e\u0439 Chrome, \u043e\u0441\u0432\u043e\u0431\u043e\u0434\u0438 VRAM.<\/p>\n<p>\u0421\u0432\u0435\u0436\u0430\u044f\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1054710\/\" rel=\"noopener noreferrer nofollow\">habrGPT<\/a>\u00a0\u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0430, \u0447\u0442\u043e TMEM, \u043d\u0443\u0436\u043d\u0430\u044f FlashAttention 3, \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u043c Blackwell \u2014 \u043d\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 5090 \u0440\u0430\u0441\u0447\u0435\u0442 \u043d\u0430 FA3 \u00ab\u0440\u0430\u0437\u0440\u0443\u0448\u0438\u043b\u0441\u044f\u00bb. \u041f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0430\u044f \u0438 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u043e\u0432\u0430\u044f \u043a\u0430\u0440\u0442\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u2014 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0432\u0435\u0440\u0438. \u041c\u044b \u044d\u0442\u043e\u0442 \u043a\u043b\u0430\u0441\u0441 \u0433\u0440\u0430\u0431\u043b\u0435\u0439 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043b\u043e\u0432\u0438\u043c \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0432 CV: \u043e\u0442\u043b\u0430\u0436\u0435\u043d\u043d\u043e\u0435 \u043d\u0430 \u043e\u0431\u043b\u0430\u0447\u043d\u043e\u0439 A100 \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f \u0438\u043d\u0430\u0447\u0435 \u043d\u0430 \u0436\u0435\u043b\u0435\u0437\u043a\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0435\u0434\u0435\u0442 \u0432 \u0446\u0435\u0445, \u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0435\u0441\u0442\u044b \u0433\u043e\u043d\u044f\u0435\u043c \u043d\u0430 \u0442\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435, \u0433\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u0436\u0438\u0442\u044c \u043f\u0440\u043e\u0434.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0430 \u0441\u0442\u043e\u0438\u0442 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0446\u0435\u043d. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 GPT-2 \u0432 2019-\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0438 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 (\u0448\u0438\u0440\u043e\u043a\u043e \u0446\u0438\u0442\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u2014 ~$43 \u0442\u044b\u0441.; OpenAI \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0446\u0438\u0444\u0440\u0443 \u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b). \u0414\u0430\u043b\u044c\u0448\u0435 \u043a\u0440\u0438\u0432\u0430\u044f \u043f\u043e\u0448\u043b\u0430 \u0432\u043d\u0438\u0437 \u0431\u0435\u0437 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u043a: $672 \u0437\u0430 \u043f\u043e\u043b\u043d\u044b\u0439 1.6B \u0432 llm.c (2024) \u2192\u00a0<a href=\"https:\/\/github.com\/karpathy\/nanochat\/discussions\/481\" rel=\"noopener noreferrer nofollow\">$73 \u0437\u0430 nanochat-\u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u0431\u0438\u0432\u0448\u0443\u044e GPT-2 \u043f\u043e CORE<\/a>\u00a0(3 \u0447\u0430\u0441\u0430 \u043d\u0430 8\u00d7H100, \u044f\u043d\u0432\u0430\u0440\u044c 2026) \u2192 ~$40\u201350 \u043a \u043b\u0435\u0442\u0443 2026-\u0433\u043e \u043d\u0430 FP8 \u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u043e\u0442\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445, \u043f\u043e \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438-\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0443 Time-to-GPT-2 \u0432\u00a0<a href=\"https:\/\/github.com\/karpathy\/nanochat\" rel=\"noopener noreferrer nofollow\">README nanochat<\/a>. \u0421\u0430\u043c \u041a\u0430\u0440\u043f\u0430\u0442\u044b\u0439 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u0430\u043a\u043e\u043d: \u0446\u0435\u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f GPT-2 \u043a\u0430\u0436\u0434\u044b\u0439 \u0433\u043e\u0434 \u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 40% \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e\u0434\u043d\u0435\u0439. \u0410 \u0432 \u0436\u0430\u043d\u0440\u0435 \u00ab124M \u0434\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043b\u043e\u0441\u0441\u0430\u00bb \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u0438\u0434\u0440\u0430\u043d\u00a0<a href=\"https:\/\/github.com\/KellerJordan\/modded-nanogpt\" rel=\"noopener noreferrer nofollow\">modded-nanogpt<\/a>\u00a0\u0434\u043e\u0436\u0430\u043b \u0432\u0440\u0435\u043c\u044f \u0434\u043e 1,32 \u043c\u0438\u043d\u0443\u0442\u044b \u043d\u0430 8\u00d7H100 \u2014 \u0441\u043e\u0440\u043e\u043a \u0446\u0435\u043d\u0442\u043e\u0432 \u0430\u0440\u0435\u043d\u0434\u044b \u0437\u0430 \u0442\u043e, \u0447\u0442\u043e \u0432 2019-\u043c \u0431\u044b\u043b\u043e state of the art. \u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0436\u0435 \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0430 \u0432\u044b\u0440\u043e\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 Muon,\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2502.16982\" rel=\"noopener noreferrer nofollow\">\u0443\u0435\u0445\u0430\u0432\u0448\u0438\u0439 \u043f\u043e\u0442\u043e\u043c \u0432 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u043e\u0432\u044b\u0435 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u044b<\/a>: \u0433\u0430\u0440\u0430\u0436\u043d\u044b\u0435 \u0441\u043f\u0438\u0434\u0440\u0430\u043d\u044b \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u0435\u043d\u044f\u044e\u0442 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044e.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/32b\/1df\/ccb\/32b1dfccb0ef81ebc66c95be12618f38.png\" alt=\"\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f 2 \u2014 \u0433\u0440\u0430\u0444\u0438\u043a \u0434\u0435\u0444\u043b\u044f\u0446\u0438\u0438 GPT-2: \u043b\u043e\u0433-\u043e\u0441\u044c Y \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u0430\u0445\" title=\"\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f 2 \u2014 \u0433\u0440\u0430\u0444\u0438\u043a \u0434\u0435\u0444\u043b\u044f\u0446\u0438\u0438 GPT-2: \u043b\u043e\u0433-\u043e\u0441\u044c Y \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u0430\u0445\" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/32b\/1df\/ccb\/32b1dfccb0ef81ebc66c95be12618f38.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/32b\/1df\/ccb\/32b1dfccb0ef81ebc66c95be12618f38.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f 2 \u2014 \u0433\u0440\u0430\u0444\u0438\u043a \u0434\u0435\u0444\u043b\u044f\u0446\u0438\u0438 GPT-2: \u043b\u043e\u0433-\u043e\u0441\u044c Y \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u0430\u0445<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0441\u0442\u0430\u043b\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e \u0437\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0437\u0430 \u044d\u0442\u0438 \u0434\u0435\u043d\u044c\u0433\u0438. \u0421\u0432\u044f\u0437\u043d\u0443\u044e \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u0443\u044e \u0440\u0435\u0447\u044c \u0432\u044b\u0434\u0430\u044e\u0442 \u0434\u0430\u0436\u0435 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2305.07759\" rel=\"noopener noreferrer nofollow\">TinyStories<\/a>\u00a0\u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u044d\u0442\u043e \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u0435\u043d\u044c\u0448\u0435 10 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0443\u0437\u043a\u043e\u043c \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0441 \u0434\u0435\u0442\u0441\u043a\u0438\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u043c. \u0421\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c \u2014 \u0434\u0435\u0448\u0435\u0432\u0430\u044f \u044d\u043c\u0435\u0440\u0434\u0436\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c. \u0411\u044e\u0434\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0435: \u0448\u0438\u0440\u043e\u0442\u0443 \u0437\u043d\u0430\u043d\u0438\u0439, \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u043a \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u043c, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c, \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439. \u041c\u0435\u0436\u0434\u0443 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043a\u043b\u0430\u0434\u043d\u043e \u043f\u0438\u0448\u0435\u0442\u00bb \u0438 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443\u00bb \u043b\u0435\u0436\u0438\u0442 \u0440\u0430\u0437\u0440\u044b\u0432 \u0432 \u0442\u0440\u0438-\u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u0430. \u0418 \u044d\u0442\u043e \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u0437\u0430\u0447\u0435\u043c \u043a\u043e\u043c\u0443-\u0442\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b, \u0435\u0441\u043b\u0438 GPT-2 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0437\u0430 \u0432\u0435\u0447\u0435\u0440\u00bb.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0438\u0437 \u0434\u0435\u0441\u044f\u0442\u0438 \u041f\u041a<\/h3>\n<p>\u0418\u0434\u0435\u044f \u043d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u0430 \u2014 \u044f \u0441\u043b\u044b\u0448\u0430\u043b \u0435\u0435 \u0438 \u043e\u0442 \u0434\u0436\u0443\u043d\u043e\u0432, \u0438 \u043e\u0442 \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u043e\u0432, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0441\u043b\u0435 \u043f\u0438\u043b\u043e\u0442\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0430 \u043c\u0430\u0448\u0438\u043d \u0441 GPU: \u0435\u0441\u043b\u0438 \u043e\u0434\u043d\u0430 5090 \u2014 \u044d\u0442\u043e GPT-2 \u0437\u0430 \u0432\u0435\u0447\u0435\u0440, \u0442\u043e \u0434\u0435\u0441\u044f\u0442\u044c \u043c\u0430\u0448\u0438\u043d \u0443 \u0434\u0440\u0443\u0437\u0435\u0439 \u2014 \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u043e\u0434\u0430. \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u043e\u0431\u043e \u0447\u0442\u043e \u044d\u0442\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u041f\u0440\u0438 data-\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0435 \u2014 \u0441\u0430\u043c\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u2014 \u043a\u0430\u0436\u0434\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0434\u0435\u0440\u0436\u0438\u0442 \u043a\u043e\u043f\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u043a\u0443\u0441\u043e\u043a \u0431\u0430\u0442\u0447\u0430, \u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0432\u0441\u0435 \u043a\u0430\u0440\u0442\u044b \u043e\u0431\u044f\u0437\u0430\u043d\u044b \u043e\u0431\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c \u0438\u0445. \u041e\u0431\u044a\u0435\u043c \u043e\u0431\u043c\u0435\u043d\u0430 \u2014 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0443 ring all-reduce \u2014 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u043a\u043e\u043b\u044c\u0446\u0435\u0432\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u0442\u0430\u043a\u043e\u0433\u043e \u043e\u0431\u043c\u0435\u043d\u0430 \u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u0432\u0443\u043a\u0440\u0430\u0442\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0437\u0430 \u0448\u0430\u0433. \u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 1 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432 BF16 \u044d\u0442\u043e ~4 \u0413\u0411 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430, \u0430 \u0448\u0430\u0433\u043e\u0432 \u0432 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0435 \u2014 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043b\u043a\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u044d\u0442\u043e\u0442 \u0442\u0440\u0430\u0444\u0438\u043a \u0435\u0437\u0434\u0438\u0442. NVLink 4 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u043d\u043e\u0434\u044b H100 \u2014\u00a0<a href=\"https:\/\/developer.nvidia.com\/blog\/nvidia-hopper-architecture-in-depth\/\" rel=\"noopener noreferrer nofollow\">900 \u0413\u0411\/\u0441 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0439 \u043f\u043e\u043b\u043e\u0441\u044b \u043d\u0430 GPU<\/a>. InfiniBand NDR \u043c\u0435\u0436\u0434\u0443 \u043d\u043e\u0434\u0430\u043c\u0438 \u2014 400 \u0413\u0431\u0438\u0442\/\u0441 \u2248 50 \u0413\u0411\/\u0441 \u043d\u0430 \u043f\u043e\u0440\u0442. \u0414\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u0433\u0438\u0433\u0430\u0431\u0438\u0442\u043d\u044b\u0439 Ethernet \u2014 0,125 \u0413\u0411\/\u0441. \u041c\u0435\u0436\u0434\u0443 \u043f\u0435\u0440\u0432\u044b\u043c \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c \u2014 \u0442\u0440\u0438-\u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u041d\u0430 \u0433\u0438\u0433\u0430\u0431\u0438\u0442\u0435 \u043e\u0431\u043c\u0435\u043d \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u043c\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u043e\u043b\u043c\u0438\u043d\u0443\u0442\u044b, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u0430\u0440\u0442\u0430 \u0443\u0441\u043f\u0435\u043b\u0430 \u0431\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0448\u0430\u0433\u043e\u0432: GPU \u0432 \u0442\u0430\u043a\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0432\u0440\u0435\u043c\u044f, \u0438 \u0434\u0435\u0441\u044f\u0442\u044c \u043c\u0430\u0448\u0438\u043d \u043f\u043e \u0441\u0435\u0442\u0438 \u0434\u0430\u044e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043d\u0438\u0436\u0435 \u043e\u0434\u043d\u043e\u0439. \u041f\u043b\u044e\u0441 \u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u043a\u0430\u0440\u0442 NVIDIA \u0441\u0440\u0435\u0437\u0430\u043b\u0430 NVLink \u0435\u0449\u0435 \u043d\u0430 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u0438 4090 \u2014 \u0434\u0432\u0435 5090 \u0432 \u043e\u0434\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u0435\u0437 PCIe, \u0442\u0430\u043a \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u00ab\u043c\u0438\u043d\u0438-DGX \u043d\u0430 \u0441\u0442\u043e\u043b\u0435\u00bb \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u0448\u0438\u043d\u0443.<\/p>\n<p>\u0418\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u2014\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2412.01152\" rel=\"noopener noreferrer nofollow\">INTELLECT-1<\/a>: \u043c\u043e\u0434\u0435\u043b\u044c 10B \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u043d\u0430 112 H100, \u0440\u0430\u0441\u043a\u0438\u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0442\u0440\u0435\u043c \u043a\u043e\u043d\u0442\u0438\u043d\u0435\u043d\u0442\u0430\u043c. \u0424\u043e\u043a\u0443\u0441 \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 DiLoCo: \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0448\u0430\u0433\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b, \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0434\u043a\u0430\u044f, \u043f\u043b\u044e\u0441 int8-\u0441\u0436\u0430\u0442\u0438\u0435 \u043e\u0431\u043c\u0435\u043d\u043e\u0432 \u2014 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e ~400-\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0438\u0432\u043d\u043e\u0433\u043e all-reduce, \u0438 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e MFU \u0432\u044b\u0448\u0435\u043b 36\u201341% \u2014 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043d\u0438\u0436\u0435 \u0442\u0435\u0445 50\u201360%, \u0447\u0442\u043e \u0442\u043e \u0436\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u0437\u0430\u043b\u0435. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u2014 \u043a\u0430\u043a \u0441\u043f\u0435\u0446\u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0441 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u043e\u0439; \u043d\u0430\u0438\u0432\u043d\u044b\u0439 all-reduce \u043f\u043e Wi-Fi \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0434\u0435\u0441\u044f\u0442\u044c \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0432 \u043e\u0431\u043e\u0433\u0440\u0435\u0432\u0430\u0442\u0435\u043b\u0438 \u0441 \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u043e\u0439 \u043d\u0430 \u0440\u043e\u0443\u0442\u0435\u0440.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u2014 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u043e\u0432 \u043e\u0434\u043d\u0438\u043c \u0430\u0431\u0437\u0430\u0446\u0435\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u043d \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f.\u00a0<strong>Data parallelism<\/strong>: \u043a\u043e\u043f\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432.\u00a0<strong>Tensor parallelism<\/strong>: \u0440\u0435\u0436\u0435\u043c \u0441\u0430\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 \u2014 \u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435, \u0436\u0438\u0432\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 NVLink.\u00a0<strong>Pipeline parallelism<\/strong>: \u0440\u0435\u0436\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u0441\u043b\u043e\u044f\u043c \u043d\u0430 \u044d\u0442\u0430\u043f\u044b \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0430 \u2014 \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u043f\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0443, \u043f\u043b\u0430\u0442\u0438\u043c \u00ab\u043f\u0443\u0437\u044b\u0440\u044f\u043c\u0438\u00bb \u0432 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0438.\u00a0<strong>FSDP\/ZeRO<\/strong>: \u0448\u0430\u0440\u0434\u0438\u0440\u0443\u0435\u043c \u0432\u0435\u0441\u0430 \u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u043f\u043e \u043a\u0430\u0440\u0442\u0430\u043c, \u0447\u0442\u043e\u0431\u044b 16 \u0431\u0430\u0439\u0442 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u0432\u0435\u0441\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 (<a href=\"https:\/\/arxiv.org\/abs\/1910.02054\" rel=\"noopener noreferrer nofollow\">ZeRO<\/a>). \u0424\u0440\u043e\u043d\u0442\u0438\u0440-\u0440\u0430\u043d\u044b \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u0432\u0441\u0435 \u0441\u0440\u0430\u0437\u0443 \u2014 Llama 3 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0441 4D-\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u043e\u043c. \u0414\u043e\u043c\u0430 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0437\u043e\u043e\u043f\u0430\u0440\u043a\u0430 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e: \u0432\u0430\u0448 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f gradient accumulation.<\/p>\n<h3>\u042f\u0440\u0443\u0441 3: \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043f\u0440\u043e\u0434\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>\u041c\u0435\u0436\u0434\u0443 \u00abGPT-2 \u0437\u0430 \u0432\u0435\u0447\u0435\u0440\u00bb \u0438 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043e\u043c \u043b\u0435\u0436\u0438\u0442 \u044f\u0440\u0443\u0441, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0438\u0448\u0443\u0442 \u0440\u0435\u0436\u0435 \u0432\u0441\u0435\u0433\u043e, \u2014 \u043c\u043e\u0434\u0435\u043b\u0438 1\u20137B, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0432\u044f\u0442 \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b. \u0417\u0434\u0435\u0441\u044c \u0441\u043f\u0438\u0434\u0440\u0430\u043d\u044b \u0441\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432\u0437\u0440\u043e\u0441\u043b\u043e\u0439 \u0431\u0443\u0445\u0433\u0430\u043b\u0442\u0435\u0440\u0438\u0435\u0439, \u0438 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0434\u0432\u0443\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c, \u0432\u044b\u043b\u043e\u0436\u0438\u0432\u0448\u0438\u043c \u0435\u0435 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u0443\u044e, \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u044d\u0442\u0443 \u0431\u0443\u0445\u0433\u0430\u043b\u0442\u0435\u0440\u0438\u044e \u0432 \u0434\u0435\u0442\u0430\u043b\u044f\u0445.<\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u2014 \u0434\u0430\u043d\u043d\u044b\u0435. Compute-optimal \u043f\u043e Chinchilla \u0434\u043b\u044f \u0442\u0440\u0435\u0445\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 ~60 \u043c\u043b\u0440\u0434 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u0434\u0430\u043b\u044c\u0448\u0435: SmolLM2 135M \u2014 2 \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 1.7B \u2014 11 \u0442\u0440\u043b\u043d (<a href=\"https:\/\/arxiv.org\/abs\/2502.02737\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u0445\u043e\u0442\u0447\u0435\u0442<\/a>). \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u2014 \u0442\u0430 \u0441\u0430\u043c\u0430\u044f inference-optimal \u043b\u043e\u0433\u0438\u043a\u0430: \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0443\u0442 \u0434\u0435\u0440\u0433\u0430\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b \u0440\u0430\u0437, \u0432\u044b\u0433\u043e\u0434\u043d\u043e \u043a\u043e\u0440\u043c\u0438\u0442\u044c \u0434\u043e \u0443\u043f\u043e\u0440\u0430. 11 \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 5090 \u2014 \u044d\u0442\u043e \u0433\u043e\u0434\u044b \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0441\u0447\u0435\u0442\u0430; \u044f\u0440\u0443\u0441 3B \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0430\u0440\u0435\u043d\u0434\u044b \u0441\u043e\u0442\u0435\u043d GPU.<\/p>\n<p>11,2 \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 384 H100 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043c\u0435\u0441\u044f\u0446 \u2014 ~276 \u0442\u044b\u0441. GPU-\u0447\u0430\u0441\u043e\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0430: \u0442\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043c\u0435\u0442\u0430\u00a0<a href=\"https:\/\/huggingface.co\/blog\/smollm3\" rel=\"noopener noreferrer nofollow\">SmolLM3-3B<\/a>\u00a0\u043e\u0442 Hugging Face (\u0438\u044e\u043b\u044c 2025). \u0421\u0430\u043c\u043e\u0435 \u0446\u0435\u043d\u043d\u043e\u0435 \u0432 \u0438\u0445\u00a0<a href=\"https:\/\/huggingfacetb-smol-training-playbook.hf.space\/\" rel=\"noopener noreferrer nofollow\">Smol Training Playbook<\/a>\u00a0\u2014 \u0446\u0438\u0444\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u044f\u0447\u0443\u0442: \u0430\u0431\u043b\u044f\u0446\u0438\u0438 (\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b, \u0433\u0434\u0435 \u043c\u0435\u043d\u044f\u044e\u0442 \u043e\u0434\u0438\u043d \u0444\u0430\u043a\u0442\u043e\u0440 \u2014 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u2014 \u0438 \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u043d\u0430 \u044d\u0444\u0444\u0435\u043a\u0442), \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430 \u0438 \u0434\u0435\u0431\u0430\u0433 \u0441\u044a\u0435\u043b\u0438 \u0435\u0449\u0435 ~161 \u0442\u044b\u0441. GPU-\u0447\u0430\u0441\u043e\u0432 \u2014 \u00ab\u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0430\u00bb, \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043f\u043e \u043f\u043b\u0435\u0439\u0431\u0443\u043a\u0443.<\/p>\n<p>\u0422\u0430\u043c \u0436\u0435 \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u0431\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u0431\u044b \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0432 \u0440\u0430\u043c\u043e\u0447\u043a\u0443 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0447\u0435\u0431\u043d\u0438\u043a\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412\u0441\u0435 GPU \u0432\u043d\u0443\u0442\u0440\u0438 tensor-parallel-\u0433\u0440\u0443\u043f\u043f\u044b \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043e\u0434\u043d\u0438\u043c random seed. \u0412\u0435\u0441\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u044b \u0431\u044b\u0442\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438. \u041d\u0430 \u043a\u0440\u0438\u0432\u043e\u0439 \u043b\u043e\u0441\u0441\u0430 \u2014 \u043d\u0438\u0447\u0435\u0433\u043e: \u043e\u043d\u0430 \u043f\u0430\u0434\u0430\u043b\u0430 \u043a\u0430\u043a \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043e, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u0437\u0434\u043e\u0440\u043e\u0432\u044b\u043c. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u0441\u043f\u043b\u044b\u043b\u0430 \u043d\u0430 \u0434\u0430\u0443\u043d\u0441\u0442\u0440\u0438\u043c-\u0435\u0432\u0430\u043b\u0430\u0445, \u043a\u043e\u0433\u0434\u0430 \u0432 \u0440\u0430\u043d \u0443\u0436\u0435 \u0432\u043b\u0438\u043b\u0438 ~1 \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0441 \u043d\u0443\u043b\u044f. \u041e\u0434\u0438\u043d \u043d\u0435\u0432\u0438\u043d\u043d\u044b\u0439 seed \u2014 \u043c\u0438\u043d\u0443\u0441 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0431\u044e\u0434\u0436\u0435\u0442\u0430; \u0434\u0435\u0448\u0435\u0432\u0430\u044f \u0441\u0442\u0440\u0430\u0445\u043e\u0432\u043a\u0430 \u043e\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u2014 \u0433\u043e\u043d\u044f\u0442\u044c \u0435\u0432\u0430\u043b\u044b \u0441 \u043f\u0435\u0440\u0432\u044b\u0445 \u0447\u0430\u0441\u043e\u0432 \u0440\u0430\u043d\u0430, \u0447\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0441\u0435\u0431\u044f \u0438 \u0441\u043f\u0430\u0441\u043b\u0430. \u0412\u0442\u043e\u0440\u0430\u044f \u0438\u0445 \u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u0441\u043a\u0443\u0447\u043d\u0435\u0435, \u043d\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u0435\u0435: \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u043b\u043e\u0430\u0434\u0435\u0440 \u0441 \u0440\u0430\u0441\u0442\u0443\u0449\u0438\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u043e\u043d\u044f\u043b throughput, \u0438 \u0435\u0433\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u043e\u0442\u043a\u0430\u0442\u0438\u043b\u0438 \u043d\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041f\u0440\u0430\u0432\u0438\u043b\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440: \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u0435\u0440\u0432\u044b\u043c \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u0435\u043c\u044b\u043c \u0438\u0434\u0435\u0442 \u0434\u0430\u0442\u0430\u043b\u043e\u0430\u0434\u0435\u0440, \u0432\u0442\u043e\u0440\u044b\u043c \u2014 \u0441\u0435\u0442\u044c \u0434\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043c \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u0439 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0430 Ai2 \u0432 \u043d\u043e\u044f\u0431\u0440\u0435 2025-\u0433\u043e: \u0443\u00a0<a href=\"https:\/\/allenai.org\/blog\/olmo3\" rel=\"noopener noreferrer nofollow\">Olmo 3<\/a>\u00a0\u043e\u0442\u043a\u0440\u044b\u0442\u044b \u0432\u0435\u0441\u0430, \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0434, \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b \u0438 \u043b\u043e\u0433\u0438. \u041f\u043e\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2512.13961\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u0445\u0440\u0435\u043f\u043e\u0440\u0442\u0443<\/a>, \u043f\u043e\u043b\u043d\u044b\u0439 \u0446\u0438\u043a\u043b 32B-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014\u00a0<s>56 \u0434\u043d\u0435\u0439 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 1024 H100, \u0447\u0442\u043e \u0441\u0430\u043c\u0430 Ai2 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043e \u0441\u0442\u0430\u0432\u043a\u0435 $2\/H100-\u0447\u0430\u0441 \u0432 <\/s><strong>$2,75 \u043c\u043b\u043d<\/strong> (\u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d + \u043c\u0438\u0434-\u0442\u0440\u0435\u0439\u043d + long-context + \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u044b). \u0427\u0438\u0441\u0442\u044b\u0439 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u2014 \u0446\u0438\u0444\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043d\u0430\u0437\u0432\u0430\u043b\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e (<a href=\"https:\/\/muxup.com\/2025q4\/minipost-olmo3-training-cost\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0437\u0431\u043e\u0440 \u0441 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u043e\u0439<\/a>):\u00a0<s>234 \u0442\u044b\u0441. H100-\u0447\u0430\u0441\u043e\u0432 \u0443 7B (<\/s>$0,47 \u043c\u043b\u043d) \u0438\u00a0<s>1,05 \u043c\u043b\u043d \u0443 32B (<\/s>$2,1 \u043c\u043b\u043d). \u042d\u0442\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u043f\u043e \u0440\u044b\u043d\u043e\u0447\u043d\u043e\u0439 \u0441\u0442\u0430\u0432\u043a\u0435 \u0430\u0440\u0435\u043d\u0434\u044b, \u0431\u0435\u0437 \u0440\u0430\u043d\u043d\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0437\u0430\u0440\u043f\u043b\u0430\u0442. Ai2 \u0440\u0430\u0441\u043a\u0440\u044b\u043b\u0430 \u0438 \u044d\u043d\u0435\u0440\u0433\u0435\u0442\u0438\u043a\u0443: ~146 \u041c\u0412\u0442\u00b7\u0447 \u043d\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d 7B \u0438 ~681 \u041c\u0412\u0442\u00b7\u0447 \u043d\u0430 32B \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c\u0438 GPU, \u0431\u0435\u0437 \u0443\u0447\u0435\u0442\u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u043e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0434\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c 3\u201330B \u043f\u043e\u0434 \u043a\u043b\u044e\u0447, \u0432\u044b\u0445\u043e\u0434\u0438\u0442, \u2014 \u043e\u0442 \u043f\u043e\u043b\u0443\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0434\u043e \u0442\u0440\u0435\u0445 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0430\u0440\u0435\u043d\u0434\u044b, \u043c\u0435\u0441\u044f\u0446-\u0434\u0432\u0430 \u043a\u0430\u043b\u0435\u043d\u0434\u0430\u0440\u044f \u0438 \u0441\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043d\u0430 \u0430\u0431\u043b\u044f\u0446\u0438\u0438, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435 \u043f\u0438\u0448\u0443\u0442 \u0432 \u0430\u043d\u043e\u043d\u0441\u0430\u0445; \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u2014 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430.<\/p>\n<h3>\u042f\u0440\u0443\u0441\u044b 4\u20135: \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0438 \u0444\u0440\u043e\u043d\u0442\u0438\u0440, \u0438\u043b\u0438 \u043a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0443\u0436\u0438\u0435 \u0441\u043c\u0435\u0442\u044b<\/h3>\n<p>\u0417\u0434\u0435\u0441\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u0440\u0440\u0438\u0442\u043e\u0440\u0438\u044f, \u0433\u0434\u0435 \u0446\u0438\u0444\u0440\u044b \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u044e\u0442 \u043f\u0440\u0435\u0441\u0441-\u0441\u043b\u0443\u0436\u0431\u044b, \u0438 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043d\u0430\u0432\u044b\u043a \u2014 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0446\u0438\u0444\u0440\u0443 \u0432\u043e\u0448\u043b\u043e. \u0421\u0440\u0430\u0437\u0443 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e \u043f\u043e\u0437\u0438\u0446\u0438\u044e: \u0444\u0440\u043e\u043d\u0442\u0438\u0440-\u0440\u0430\u043d\u044b \u044f \u0432\u0438\u0434\u0435\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0447\u0443\u0436\u0438\u0445 \u0442\u0435\u0445\u043e\u0442\u0447\u0435\u0442\u0430\u0445 \u2014 \u044d\u0442\u0443 \u0447\u0430\u0441\u0442\u044c \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u044b \u0441\u0447\u0438\u0442\u0430\u044e \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0430, \u0441 \u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440\u043e\u043c \u0438 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u043c\u0438, \u0430 \u043d\u0435 \u0438\u0437\u043d\u0443\u0442\u0440\u0438 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438. \u041f\u043e\u0442\u043e\u043c\u0443 \u0438 \u0441\u0441\u044b\u043b\u043e\u043a \u0437\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u043b\u044c\u043a\u043e: \u043e\u043f\u044b\u0442, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0443 \u043c\u0435\u043d\u044f \u043d\u0435\u0442, \u0437\u0430\u043c\u0435\u043d\u044f\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u043c\u0438 \u0446\u0438\u0444\u0440\u0430\u043c\u0438.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u2014\u00a0<a href=\"https:\/\/arxiv.org\/html\/2412.19437v2\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u0445\u043e\u0442\u0447\u0435\u0442 DeepSeek-V3<\/a>: 2,788 \u043c\u043b\u043d GPU-\u0447\u0430\u0441\u043e\u0432 H800, \u043f\u0440\u0438 \u0441\u0442\u0430\u0432\u043a\u0435 $2\/\u0447\u0430\u0441 \u2014 \u0442\u0435 \u0441\u0430\u043c\u044b\u0435 $5,576 \u043c\u043b\u043d. \u0412\u043d\u0443\u0442\u0440\u0438: 2,664 \u043c\u043b\u043d \u0447\u0430\u0441\u043e\u0432 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 (14,8 \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0432\u0443\u0445 \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 2048 H800), 119 \u0442\u044b\u0441. \u043d\u0430 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, 5 \u0442\u044b\u0441. \u043d\u0430 \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d. \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u0438\u0437 \u0442\u043e\u0433\u043e \u0436\u0435 \u043e\u0442\u0447\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0438 \u0432\u0441\u0435 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438: \u0446\u0438\u0444\u0440\u0430 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u00abonly the official training of DeepSeek-V3, excluding the costs associated with prior research and ablation experiments on architectures, algorithms, or data\u00bb. \u0412 \u0446\u0438\u0444\u0440\u0443 \u0432\u043e\u0448\u0435\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u043d \u2014 \u0431\u0435\u0437 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u0431\u0435\u0437 \u0430\u0431\u043b\u044f\u0446\u0438\u0439 (\u0443 SmolLM3 \u044d\u0442\u043e \u0431\u044b\u043b\u0430 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u0430), \u0431\u0435\u0437 \u0437\u0430\u0440\u043f\u043b\u0430\u0442 \u0438 \u0431\u0435\u0437 \u0436\u0435\u043b\u0435\u0437\u0430. \u041f\u0440\u0438\u0447\u0435\u043c $2\/\u0447\u0430\u0441 \u2014 \u044d\u0442\u043e \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0430\u0440\u0435\u043d\u0434\u0430: \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439.<\/p>\n<p><a href=\"https:\/\/newsletter.semianalysis.com\/p\/deepseek-debates\" rel=\"noopener noreferrer nofollow\">SemiAnalysis \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b<\/a>\u00a0\u043f\u0430\u0440\u043a DeepSeek\/High-Flyer \u0432 ~50 \u0442\u044b\u0441. GPU \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 Hopper \u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u043c \u043a\u0430\u043f\u0435\u043a\u0441\u043e\u043c ~$1,6 \u043c\u043b\u0440\u0434 \u2014 \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u043f\u043e\u0440\u043d\u0430\u044f, \u043d\u043e \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0440\u0430\u0437\u0440\u044b\u0432\u0430 \u043c\u0435\u0436\u0434\u0443 \u00ab\u0446\u0435\u043d\u043e\u0439 \u0440\u0430\u043d\u0430\u00bb \u0438 \u00ab\u0446\u0435\u043d\u043e\u0439 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0435\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c\u00bb \u043e\u043d\u0430 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442 \u0432\u0435\u0440\u043d\u043e. \u00ab\u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 $6 \u043c\u043b\u043d\u00bb \u0438 \u00ab\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u0441 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439\u00bb \u2014 \u043e\u0431\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u0438\u0432\u044b \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0422\u043e\u0442 \u0436\u0435 \u043d\u0430\u0432\u044b\u043a \u0447\u0442\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043a \u043b\u044e\u0431\u043e\u0439 \u0446\u0438\u0444\u0440\u0435 \u0438\u0437 \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f GPT-4: ~$40 \u043c\u043b\u043d \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430 \u0438 \u044d\u043d\u0435\u0440\u0433\u0438\u0438\u00a0<a href=\"https:\/\/epoch.ai\/blog\/how-much-does-it-cost-to-train-frontier-ai-models\" rel=\"noopener noreferrer nofollow\">\u043f\u043e \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435 Epoch AI<\/a>, ~$63 \u043c\u043b\u043d \u0437\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0435 SemiAnalysis (~25 \u0442\u044b\u0441. A100, 90\u2013100 \u0434\u043d\u0435\u0439), ~$78 \u043c\u043b\u043d \u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0435\u0442\u0435 \u043d\u0430 \u043e\u0431\u043b\u0430\u0447\u043d\u0443\u044e \u0430\u0440\u0435\u043d\u0434\u0443 \u043f\u043e Stanford AI Index, \u00ab\u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432\u00bb \u0441\u043e \u0441\u043b\u043e\u0432 \u0410\u043b\u044c\u0442\u043c\u0430\u043d\u0430. \u0412\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0446\u0438\u0444\u0440\u044b \u043e\u0431 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0435\u0440\u044f\u044e\u0442 \u0440\u0430\u0437\u043d\u043e\u0435. \u041a\u043e\u0433\u0434\u0430 \u0432\u0438\u0434\u0438\u0442\u0435 \u0442\u043e\u0447\u043d\u0443\u044e \u0446\u0438\u0444\u0440\u0443 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0438, \u0432\u044b \u0432\u0438\u0434\u0438\u0442\u0435 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433.<\/p>\n<p>\u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u043e \u043f\u0435\u0440\u0438\u043c\u0435\u0442\u0440\u0435: \u0432\u0441\u0435 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043e \u0432 NVIDIA-\u0447\u0430\u0441\u0430\u0445, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e \u043d\u0438\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u044b\u043d\u043e\u043a \u0430\u0440\u0435\u043d\u0434\u044b \u0438 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0432\u043a\u0438. TPU Google \u0438 Trainium Amazon \u0436\u0438\u0432\u0443\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u043b\u0430\u043a\u043e\u0432, \u043d\u0430\u0440\u0443\u0436\u043d\u044b\u0445 \u0446\u0435\u043d \u0443 \u043d\u0438\u0445 \u043d\u0435\u0442 \u2014 \u043d\u043e \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0430 6\u00b7N\u00b7D \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u0434\u043b\u044f \u043d\u0438\u0445.<\/p>\n<p>Llama 3 405B \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2407.21783\" rel=\"noopener noreferrer nofollow\">\u0434\u043e 16 384 H100 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e<\/a>\u00a0\u2014 15,6 \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 3,8\u00d710\u00b2\u2075 FLOP; \u043f\u043e \u043d\u0430\u0448\u0435\u0439 \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0435 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043f\u0440\u0438 $2\u20134 \u0437\u0430 H100-\u0447\u0430\u0441 \u044d\u0442\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0440\u0435\u043d\u0434\u044b \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0430. ~$490 \u043c\u043b\u043d \u2014\u00a0<a href=\"https:\/\/epoch.ai\/data-insights\/grok-4-training-resources\" rel=\"noopener noreferrer nofollow\">\u043e\u0446\u0435\u043d\u043a\u0430 Epoch AI \u0434\u043b\u044f Grok 4<\/a>, \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u043e\u0439 \u043e \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u0422\u0440\u0435\u043d\u0434 Epoch \u043f\u043e \u0432\u0441\u0435\u043c \u0444\u0440\u043e\u043d\u0442\u0438\u0440-\u043c\u043e\u0434\u0435\u043b\u044f\u043c: \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0445 \u0440\u0430\u043d\u043e\u0432 \u0440\u0430\u0441\u0442\u0435\u0442\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2405.21015\" rel=\"noopener noreferrer nofollow\">~2,4\u00d7 \u0432 \u0433\u043e\u0434<\/a>, \u0438 \u043f\u0440\u0438 \u0435\u0433\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u0440\u0430\u043d\u044b \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u2014 \u0432\u043e\u043f\u0440\u043e\u0441 2027 \u0433\u043e\u0434\u0430. \u0418\u0437 \u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043d\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438: 47\u201367% \u2014 \u0436\u0435\u043b\u0435\u0437\u043e, 29\u201349% \u2014 \u043b\u044e\u0434\u0438 (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043e\u043f\u0446\u0438\u043e\u043d\u044b), \u0438 \u043b\u0438\u0448\u044c 2\u20136% \u2014 \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u043e. \u0412\u043e\u043f\u0440\u0435\u043a\u0438 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u0438 \u00ab\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0436\u0433\u0443\u0442 \u0434\u0435\u043d\u044c\u0433\u0438 \u0432 \u0440\u043e\u0437\u0435\u0442\u043a\u0443\u00bb, \u0433\u043b\u0430\u0432\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u0435\u0439 \u0438 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u043d\u0430\u044f \u0432\u0435\u0434\u043e\u043c\u043e\u0441\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0421\u0430\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 100 \u0442\u044b\u0441. H100\u00a0<a href=\"https:\/\/newsletter.semianalysis.com\/p\/100000-h100-clusters-power-network\" rel=\"noopener noreferrer nofollow\">SemiAnalysis \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b \u043f\u043e \u043a\u043e\u0441\u0442\u043e\u0447\u043a\u0430\u043c<\/a>: \u0441\u0432\u044b\u0448\u0435 $4 \u043c\u043b\u0440\u0434 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0433\u043e \u043a\u0430\u043f\u0435\u043a\u0441\u0430, \u0431\u043e\u043b\u044c\u0448\u0435 150 \u041c\u0412\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f, ~1,59 \u0422\u0412\u0442\u00b7\u0447 \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432 \u0433\u043e\u0434 \u2014 \u043e\u043a\u043e\u043b\u043e $124 \u043c\u043b\u043d, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0440\u044f\u0434\u043a\u0430 3% \u043e\u0442 \u043a\u0430\u043f\u0435\u043a\u0441\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432. \u0423\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u0430 \u2014 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0436\u0435\u043b\u0435\u0437\u0443 \u0438 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f, \u0441\u0447\u0435\u0442 \u0437\u0430 \u0441\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e\u043c \u0444\u043e\u043d\u0435 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c. \u0422\u0435\u043c\u043f\u044b \u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0437\u0430\u0434\u0430\u043b xAI Colossus: 100 \u0442\u044b\u0441. H100 \u043f\u043e\u0434\u043d\u044f\u043b\u0438 \u0437\u0430 122 \u0434\u043d\u044f \u0432 \u0431\u044b\u0432\u0448\u0435\u043c \u0437\u0430\u0432\u043e\u0434\u0435 Electrolux, \u0435\u0449\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435 \u2014 \u0437\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 92 \u0434\u043d\u044f.<\/p>\n<p>\u0418 \u0441\u0432\u0435\u0436\u0438\u0439 \u043f\u043e\u0432\u043e\u0440\u043e\u0442 2026 \u0433\u043e\u0434\u0430, \u0432\u0430\u0436\u043d\u044b\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0439 \u044d\u0442\u043e\u0439 \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u044b: \u043f\u043e\u00a0<a href=\"https:\/\/epoch.ai\/gradient-updates\/why-gpt5-used-less-training-compute-than-gpt45-but-gpt6-probably-wont\" rel=\"noopener noreferrer nofollow\">\u043e\u0446\u0435\u043d\u043a\u0430\u043c Epoch AI<\/a>, GPT-5 \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0435\u043c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435, \u0447\u0435\u043c GPT-4.5 \u2014 ~5\u00d710\u00b2\u2075 FLOP \u043f\u0440\u043e\u0442\u0438\u0432 &gt;10\u00b2\u2076. \u041f\u043e \u044d\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u043a\u0430\u043c, \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u0444\u043b\u0430\u0433\u043c\u0430\u043d \u0432\u044b\u0448\u0435\u043b \u00ab\u0434\u0435\u0448\u0435\u0432\u043b\u0435\u00bb \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0430 \u043f\u043e \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0443: \u0431\u044e\u0434\u0436\u0435\u0442\u044b \u043f\u043e\u0435\u0445\u0430\u043b\u0438 \u0438\u0437 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0432 RL-\u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d\u0438\u043d\u0433 \u0438 \u0434\u0430\u043d\u043d\u044b\u0435. \u0413\u043e\u043d\u043a\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u0432 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u0435\u0435 \u0446\u0435\u043d\u0442\u0440 \u0442\u044f\u0436\u0435\u0441\u0442\u0438 \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0441\u044f. \u0418 \u044d\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435, \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044f \u0447\u0442\u043e-\u0442\u043e \u043d\u0430 \u0433\u043e\u0434\u044b \u0432\u043f\u0435\u0440\u0435\u0434.<\/p>\n<h3>\u041a\u0430\u043a \u043e\u043d\u043e \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f: \u0445\u0440\u043e\u043d\u0438\u043a\u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432<\/h3>\n<p>\u0412\u0441\u0435, \u0447\u0442\u043e \u0432\u044b\u0448\u0435, \u2014 \u0431\u0443\u0445\u0433\u0430\u043b\u0442\u0435\u0440\u0438\u044f \u043c\u0438\u0440\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438; \u0434\u0430\u043b\u044c\u0448\u0435 \u2014 \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0438\u0434\u0435\u0442 \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438. \u041c\u043e\u0439 \u043b\u0438\u0447\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u2014 \u043c\u043d\u043e\u0433\u043e\u0441\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0440\u0430\u043d\u044b RL \u0438 CV \u043d\u0430 \u043a\u0443\u0434\u0430 \u043c\u0435\u043d\u044c\u0448\u0435\u043c \u0436\u0435\u043b\u0435\u0437\u0435, \u043d\u043e \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u0442\u0443\u0434\u0430 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0432 \u043e\u0434\u0438\u043d: \u0440\u0430\u043d\u044b \u0433\u0438\u0431\u043d\u0443\u0442 \u043e\u0442 \u0434\u0438\u0441\u043a\u0430, \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430, \u0441\u0435\u0442\u0438 \u0438 \u0434\u0430\u0442\u0430\u043b\u043e\u0430\u0434\u0435\u0440\u0430 \u043a\u0443\u0434\u0430 \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u043e\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438. \u041d\u0438\u0436\u0435 \u2014 \u0442\u0430 \u0436\u0435 \u0431\u043e\u043b\u0435\u0437\u043d\u044c \u0432 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435, \u0433\u0434\u0435 \u0435\u0435 \u043d\u0435 \u0432\u044b\u043b\u0435\u0447\u0438\u0448\u044c \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c \u043f\u0435\u0440\u0435\u0434 \u0441\u043d\u043e\u043c.<\/p>\n<p><a href=\"https:\/\/github.com\/facebookresearch\/metaseq\/blob\/main\/projects\/OPT\/chronicles\/final_update.md\" rel=\"noopener noreferrer nofollow\"><strong>\u041b\u043e\u0433\u0431\u0443\u043a OPT-175B<\/strong><\/a>\u00a0(Meta, 2021\u20132022, ~\u0442\u044b\u0441\u044f\u0447\u0430 A100) \u2014 \u0441\u044b\u0440\u044b\u0435 \u0432\u0430\u0445\u0442\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0442\u0440\u0438\u043b\u043b\u0435\u0440. \u041f\u043e \u043e\u0446\u0435\u043d\u043a\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0438\u0437 \u0441\u0442\u0440\u043e\u044f \u0432\u044b\u0445\u043e\u0434\u0438\u043b\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0434\u0432\u0443\u0445 \u043c\u0430\u0448\u0438\u043d \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u0412\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2205.01068\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0435 OPT<\/a>\u00a0\u0438\u0442\u043e\u0433 \u0437\u0430 \u0434\u0432\u0430 \u043c\u0435\u0441\u044f\u0446\u0430: \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 35 \u0440\u0443\u0447\u043d\u044b\u0445 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u043e\u0432, \u0441\u0432\u044b\u0448\u0435 \u0441\u043e\u0442\u043d\u0438 \u0445\u043e\u0441\u0442\u043e\u0432 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043e \u0432 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443.<\/p>\n<p>21 \u0434\u0435\u043a\u0430\u0431\u0440\u044f 2021-\u0433\u043e \u0441\u0430\u043f\u043f\u043e\u0440\u0442 \u043e\u0431\u043b\u0430\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u043b \u0432\u0435\u0441\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u0446\u0435\u043b\u0438\u043a\u043e\u043c; \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438 \u0432 \u0442\u043e\u0442 \u0436\u0435 \u0434\u0435\u043d\u044c, \u043d\u043e 16 \u043c\u0430\u0448\u0438\u043d \u043d\u0435 \u043f\u0440\u043e\u0448\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438, \u0438 \u0431\u0443\u0444\u0435\u0440\u043d\u044b\u0439 \u043f\u0443\u043b \u0434\u043e\u0431\u0438\u0440\u0430\u043b\u0438 \u0435\u0449\u0435 \u0434\u0432\u043e\u0435 \u0441\u0443\u0442\u043e\u043a. \u041c\u0435\u0436\u0434\u0443 \u0420\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e\u043c \u0438 \u041d\u043e\u0432\u044b\u043c \u0433\u043e\u0434\u043e\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u043a\u0430 \u043c\u043e\u043b\u0447\u0430 \u043f\u0435\u0440\u0435\u0436\u0438\u043b\u0430 \u0432\u043e\u0441\u0435\u043c\u044c \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u044b\u0445 \u0441\u0431\u043e\u0435\u0432. \u041f\u043e \u0445\u043e\u0434\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0443\u0441\u043f\u0435\u043b\u0430 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u043d\u0430 SGD (\u0432\u0435\u0440\u043d\u0443\u043b\u0438\u0441\u044c \u043a Adam) \u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c Megatron \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0432 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0443 \u043b\u043e\u0441\u0441\u0430. \u041f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0442\u0430\u043a\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u2014 \u0432\u0430\u0445\u0442\u0435\u043d\u043d\u0430\u044f \u0441\u043b\u0443\u0436\u0431\u0430, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u043b\u044b\u0432\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u0435\u043a\u0438.<\/p>\n<p><strong>\u0421\u043f\u0430\u0439\u043a\u0438 \u043b\u043e\u0441\u0441\u0430<\/strong>\u00a0\u2014 \u0444\u0438\u0440\u043c\u0435\u043d\u043d\u0430\u044f \u0436\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0440\u0430\u043d\u043e\u0432. \u0423\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2204.02311\" rel=\"noopener noreferrer nofollow\">PaLM 540B<\/a>\u00a0\u043b\u043e\u0441\u0441 \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e \u0432\u0437\u043b\u0435\u0442\u0430\u043b ~20 \u0440\u0430\u0437 \u0437\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 gradient clipping; \u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043b\u0441\u044f. \u0420\u0430\u0431\u043e\u0447\u0435\u0435 \u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u2014 \u043c\u0430\u0448\u0438\u043d\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u0438: \u043e\u0442\u043a\u0430\u0442 \u043d\u0430 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0437\u0430 ~100 \u0448\u0430\u0433\u043e\u0432 \u0434\u043e \u0441\u043f\u0430\u0439\u043a\u0430 \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a 200\u2013500 \u0431\u0430\u0442\u0447\u0435\u0439 \u0432\u043e\u043a\u0440\u0443\u0433. \u0420\u0430\u0437\u0433\u0430\u0434\u043a\u0430 \u0442\u044f\u043d\u0443\u043b\u0430 \u043d\u0430 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0432: \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u0431\u044b\u043b\u0438 \u0432\u0438\u043d\u043e\u0432\u0430\u0442\u044b \u043d\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u0438 \u0432\u0435\u0441\u0430 \u2014 \u0442\u0435 \u0436\u0435 \u0431\u0430\u0442\u0447\u0438, \u0441\u043a\u043e\u0440\u043c\u043b\u0435\u043d\u043d\u044b\u0435 \u0441 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u043d\u043d\u0435\u0433\u043e \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430, \u0441\u043f\u0430\u0439\u043a\u0430 \u043d\u0435 \u0434\u0430\u0432\u0430\u043b\u0438; \u0441\u0442\u0440\u0435\u043b\u044f\u043b\u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438. Google \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043b \u043f\u0440\u044f\u043c\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0441\u043f\u0430\u0439\u043a\u043e\u0432 \u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435\u0442. \u041f\u043e\u0437\u0436\u0435\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2501.00656\" rel=\"noopener noreferrer nofollow\">OLMo 2<\/a>\u00a0\u043d\u0430\u0448\u043b\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u0435\u043c\u043e\u0433\u043e: \u0441\u043f\u0430\u0439\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0442 \u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u043c\u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044b n-\u0433\u0440\u0430\u043c\u043c, \u2014 \u0438 \u0442\u0430\u043a\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0447\u0438\u0449\u0430\u044e\u0442 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><strong>\u041e\u0442\u043a\u0430\u0437\u044b \u0436\u0435\u043b\u0435\u0437\u0430 \u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435<\/strong>\u00a0\u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0446\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u044b \u0432\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2407.21783\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0435 Llama 3<\/a>. \u0417\u0430 54-\u0434\u043d\u0435\u0432\u043d\u044b\u0439 \u0441\u0440\u0435\u0437 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u043d\u0430 16 384 H100 \u2014 466 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0439 \u0434\u0436\u043e\u0431\u0430, \u0438\u0437 \u043d\u0438\u0445 419 \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u044b\u0445: \u043d\u0435\u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0431\u043e\u0439 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u00a0<strong>\u043a\u0430\u0436\u0434\u044b\u0435 \u0442\u0440\u0438 \u0447\u0430\u0441\u0430<\/strong>. \u0412\u0438\u043d\u043e\u0432\u043d\u0438\u043a\u0438: \u0441\u0431\u043e\u0439\u043d\u044b\u0435 GPU \u2014 30,1% \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u043f\u0430\u043c\u044f\u0442\u044c HBM3 \u2014 17,2%, \u0441\u043e\u0444\u0442 \u2014 12,9%, \u0441\u0435\u0442\u044c \u2014 8,4%. CPU \u0437\u0430 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0435\u0440\u0438\u043e\u0434 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0438 \u0434\u0432\u0430\u0436\u0434\u044b. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c effective training time \u0443\u0434\u0435\u0440\u0436\u0430\u043b\u0438 \u0432\u044b\u0448\u0435 90%, \u0430 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0435 \u0440\u0443\u0447\u043d\u043e\u0435 \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u043e\u0441\u044c \u0442\u0440\u0438\u0436\u0434\u044b \u2014 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u0433\u0440\u0435\u0431\u043b\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u043a\u0430 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432 \u0438 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u043e\u0432. \u0424\u0438\u0437\u0438\u043a\u0430 \u0442\u043e\u0436\u0435 \u0432\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f: \u0432 \u0436\u0430\u0440\u043a\u0438\u0435 \u0447\u0430\u0441\u044b \u0434\u043d\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u043b\u0430 \u043d\u0430 1\u20132% \u0438\u0437-\u0437\u0430 \u0442\u0435\u0440\u043c\u043e\u0442\u0440\u043e\u0442\u0442\u043b\u0438\u043d\u0433\u0430 GPU, \u0430 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0442\u0430\u0440\u0442\u044b \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0448\u0435\u0441\u0442\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u0442\u044b\u0441\u044f\u0447 \u043a\u0430\u0440\u0442 \u043a\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u0430 \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0435\u0433\u0430\u0432\u0430\u0442\u0442.<\/p>\n<p><strong>\u0416\u0435\u043b\u0435\u0437\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u0442 \u043c\u043e\u043b\u0447\u0430.<\/strong>\u00a0\u041f\u043e\u043c\u0438\u043c\u043e \u0433\u0440\u043e\u043c\u043a\u0438\u0445 \u043e\u0442\u043a\u0430\u0437\u043e\u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0442\u0438\u0445\u0438\u0435: silent data corruption, \u043a\u043e\u0433\u0434\u0430 \u044f\u0434\u0440\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 \u0438\u0437\u0440\u0435\u0434\u043a\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043b\u043e\u0433\u0430\u0445. Google \u043e\u043f\u0438\u0441\u0430\u043b \u044d\u0442\u043e \u0432\u00a0<a href=\"https:\/\/research.google\/pubs\/cores-that-dont-count\/\" rel=\"noopener noreferrer nofollow\">\u00abCores that don&#8217;t count\u00bb<\/a>, Meta \u2014\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2102.11245\" rel=\"noopener noreferrer nofollow\">\u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0432\u043e\u0435\u0433\u043e \u0444\u043b\u043e\u0442\u0430<\/a>; \u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u0432 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 \u0447\u0438\u043f\u043e\u0432 \u00ab\u0444\u0430\u043d\u0442\u043e\u043c\u043d\u044b\u0435\u00bb \u044f\u0434\u0440\u0430 \u2014 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e\u0441\u0442\u044c; MegaScale, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2402.15627\" rel=\"noopener noreferrer nofollow\">\u0432\u044b\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0442\u0430\u043a\u043e\u0435 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u043d\u0438\u0435\u043c<\/a>\u00a0\u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432. \u041d\u0430 \u043e\u0434\u043d\u043e\u0439 5090 \u0431\u0435\u0437 ECC \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0443\u0442\u044f\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u044b SDC \u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u0435 \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u0441\u043e\u0439\u0434\u0435\u0442\u0441\u044f \u043d\u0435 \u0442\u0443\u0434\u0430\u00bb, \u0438 \u0432\u0438\u043d\u0438\u0442\u044c \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u044f \u0441\u0430\u043c \u0433\u0440\u0435\u0448\u0438\u043b \u043d\u0430 learning rate \u0442\u0430\u043c, \u0433\u0434\u0435 \u0441\u0442\u043e\u0438\u043b\u043e \u0433\u0440\u0435\u0448\u0438\u0442\u044c \u043d\u0430 \u0436\u0435\u043b\u0435\u0437\u043e, \u2014 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438, \u043f\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c, \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442.<\/p>\n<p><strong>\u0422\u043e\u043a\u0435\u043d\u044b-\u0437\u043e\u043c\u0431\u0438.<\/strong>\u00a0\u0418\u0441\u0442\u043e\u0440\u0438\u044f\u00a0<a href=\"https:\/\/www.lesswrong.com\/posts\/aPeJE8bSo6rAFoLqg\/solidgoldmagikarp-plus-prompt-generation\" rel=\"noopener noreferrer nofollow\">SolidGoldMagikarp<\/a>\u00a0(2023): \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043d\u0430\u0448\u043b\u0438 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 GPT-2\/GPT-3 \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0435\u043b\u0438 \u0441\u0435\u0431\u044f \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e \u2014 \u043d\u0435 \u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0441\u043b\u043e\u0432\u043e, \u0443\u043a\u043b\u043e\u043d\u044f\u043b\u0438\u0441\u044c, \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b (\u043d\u0430 \u043f\u0440\u043e\u0441\u044c\u0431\u0443 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u00abSolidGoldMagikarp\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u043b\u0430 \u00abdistribute\u00bb). \u0422\u043e\u043a\u0435\u043d\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043d\u0438\u043a\u0430\u043c\u0438 \u0440\u0435\u0434\u0434\u0438\u0442\u043e\u0440\u043e\u0432 \u0438\u0437 r\/counting \u0438 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0430\u043c\u0438 \u0432\u0440\u043e\u0434\u0435 \u00abBuyableInstoreAndOnline\u00bb. \u0420\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u044b: BPE-\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 (\u0441\u043e \u0441\u043a\u0440\u0435\u0439\u043f\u043e\u043c Reddit), \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c, \u0432\u044b\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u043c; \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435, \u043d\u043e \u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043d\u0435 \u043e\u0431\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u2014 \u043f\u0440\u0438\u0437\u0440\u0430\u043a\u0438 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435. \u0421\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0438\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2405.05417\" rel=\"noopener noreferrer nofollow\">\u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/a>. \u0423\u0440\u043e\u043a \u0434\u043b\u044f DIY-\u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u0439: \u043e\u0431\u0443\u0447\u0430\u0439\u0442\u0435 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0435, \u0447\u0442\u043e \u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u0438\u043d\u0430\u0447\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043b\u0438\u0447\u043d\u044b\u0445 \u041c\u0430\u0433\u0438\u043a\u0430\u0440\u043f\u043e\u0432.<\/p>\n<p><strong>\u041b\u0435\u0433\u0430\u043b\u044c\u043d\u044b\u0439 \u0447\u0438\u0442 \u043d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a.<\/strong>\u00a0\u041f\u043e\u0434\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u043e\u0438\u0442 \u043a\u0430\u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439, \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0432 \u043b\u043e\u0431.\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2203.03466\" rel=\"noopener noreferrer nofollow\">\u00b5P \/ \u00b5Transfer<\/a>\u00a0(Microsoft\/OpenAI) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u044b\u0442\u044e\u043d\u0438\u0442\u044c learning rate \u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e \u043d\u0430 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0443\u044e zero-shot: \u0430\u0432\u0442\u043e\u0440\u044b \u0437\u0430\u0442\u044e\u043d\u0438\u043b\u0438 GPT-3 6.7B \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u043a\u0441\u0438 \u043d\u0430 40M, \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0432 \u043d\u0430 \u0442\u044e\u043d\u0438\u043d\u0433 ~7% \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u042d\u0442\u043e \u0442\u043e\u0442 \u0440\u0435\u0434\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u043c\u0430\u0448\u043d\u044f\u044f 5090 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0440\u0430\u043d\u0435: \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0434\u0435\u0431\u0430\u0436\u0430\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0440\u0442\u0435 \u043f\u043e\u0434 \u0441\u0442\u043e\u043b\u043e\u043c.<\/p>\n<h3>\u0414\u0430\u043d\u043d\u044b\u0435: \u0442\u043e\u043f\u043b\u0438\u0432\u043e, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u0436\u0435 \u0437\u0430\u043f\u043b\u0430\u0442\u0438\u043b\u0438<\/h3>\n<p>\u0425\u043e\u0440\u043e\u0448\u0430\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u044c \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0433\u043e \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u044f\u0440\u0443\u0441\u043e\u0432: \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d-\u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0441\u043a\u0438\u043d\u0443\u043b\u043e\u0441\u044c \u043d\u0430 \u0438\u0445 \u043e\u0447\u0438\u0441\u0442\u043a\u0443.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043a\u043e\u0440\u043f\u0443\u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u2014\u00a0<a href=\"https:\/\/huggingface.co\/datasets\/HuggingFaceFW\/fineweb\" rel=\"noopener noreferrer nofollow\">FineWeb<\/a>\u00a0\u043e\u0442 Hugging Face: \u043d\u0430 \u0440\u0435\u043b\u0438\u0437\u0435 \u0432 2024-\u043c \u2014 15 \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0447\u0438\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u0432\u0435\u0431\u0430 \u0438\u0437 96 \u0434\u0430\u043c\u043f\u043e\u0432 CommonCrawl, \u043a 2026-\u043c\u0443 \u2014 \u0443\u0436\u0435 ~18,5 \u0442\u0440\u043b\u043d, \u0441\u0432\u0435\u0436\u0438\u0435 \u0434\u0430\u043c\u043f\u044b \u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e. \u041b\u0438\u0446\u0435\u043d\u0437\u0438\u044f ODC-By, \u0433\u043e\u0442\u043e\u0432\u044b\u0435 parquet-\u0448\u0430\u0440\u0434\u044b \u043a\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e; \u0432 \u0430\u0431\u043b\u044f\u0446\u0438\u044f\u0445 FineWeb \u043e\u0431\u0445\u043e\u0434\u0438\u043b C4, The Pile, RedPajama2 \u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0443. \u041d\u0430 \u043d\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438 nanochat, \u0438 SmolLM, \u0438 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041f\u043e\u0443\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e,\u00a0<em>\u0441\u043a\u043e\u043b\u044c\u043a\u043e<\/em>\u00a0\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 \u0432 \u044d\u0442\u043e\u043c \u00ab\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u00bb. \u041e\u0442\u0447\u0435\u0442 FineWeb \u2014 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435 \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u0432\u0440\u0435\u0442 \u0432 data-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438. \u041f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0435\u0439: \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0447\u0435\u043c \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0435\u0435 \u0447\u0438\u0441\u0442\u0438\u0448\u044c \u0434\u0443\u0431\u043b\u0438, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041a\u043e\u043c\u0430\u043d\u0434\u0430 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0430 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 MinHash-\u0434\u0435\u0434\u0443\u043f \u2014 \u0432 \u0441\u0442\u0430\u0440\u044b\u0445 \u0434\u0430\u043c\u043f\u0430\u0445 \u043e\u043d \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u043b \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430, \u2014 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u00ab\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0447\u0438\u0441\u0442\u044b\u0445\u00bb \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u043b\u0438 \u0443\u0447\u0438\u0442\u044c\u0441\u044f\u00a0<strong>\u0445\u0443\u0436\u0435<\/strong>: \u0432\u044b\u0431\u0440\u043e\u0448\u0435\u043d\u043d\u043e\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0435\u0435 \u043e\u0441\u0442\u0430\u0432\u0448\u0435\u0433\u043e\u0441\u044f. \u0420\u0430\u0431\u043e\u0447\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043c\u043f\u043e\u0432. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0430\u0441 \u0432 \u0442\u0430\u043a\u0438\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445 \u2014 \u0430\u0431\u043b\u044f\u0446\u0438\u0438: \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u043b\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0435\u0441\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u0430\u044f \u0446\u0435\u043d\u0430 \u00ab\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u0433\u043e\u00bb \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u041f\u043e\u0434\u043f\u0438\u0448\u0443\u0441\u044c \u0438\u0437 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438: \u0432 CV- \u0438 RAG-\u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u043e \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb \u0440\u043e\u0432\u043d\u043e \u0442\u0430\u043a \u0436\u0435 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u043d\u0438\u0447\u0435\u0433\u043e, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0421\u043e\u0441\u0435\u0434\u043d\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2406.11794\" rel=\"noopener noreferrer nofollow\">DCLM<\/a>\u00a0\u0434\u043e\u0431\u0430\u0432\u0438\u043b \u0441\u0432\u043e\u044e \u043a\u043e\u043d\u0442\u0440\u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e: \u0438\u0437 240 \u0442\u0440\u043b\u043d \u0441\u044b\u0440\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 CommonCrawl \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u0436\u0438\u0432\u0430\u0435\u0442 ~1,6%, \u0438 \u043b\u0443\u0447\u0448\u0438\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f fastText-\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043d\u0430 \u043f\u0430\u0440\u0443 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 \u0443\u0434\u0430\u0447\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u2014 \u043e\u043d \u043e\u0431\u043e\u0448\u0435\u043b \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0445\u0438\u0442\u0440\u044b\u0435 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b.<\/p>\n<p>\u041f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0434\u043b\u044f \u0442\u0435\u0445, \u0443 \u043a\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u043b\u043e (\u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u044f\u0440\u0443\u0441, \u0443\u0437\u043a\u0438\u0435 \u0434\u043e\u043c\u0435\u043d\u044b):\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2305.16264\" rel=\"noopener noreferrer nofollow\">Muennighoff et al.<\/a>\u00a0\u043d\u0430 400+ \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043e ~4 \u044d\u043f\u043e\u0445 (\u043f\u043e\u043b\u043d\u044b\u0445 \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u0432 \u043f\u043e \u043d\u0435\u043c\u0443) \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a \u0436\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u0442\u044c \u0441\u0432\u0435\u0436\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u0414\u0430\u043b\u044c\u0448\u0435 \u043e\u0442\u0434\u0430\u0447\u0430 \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0430\u0434\u0430\u0435\u0442: \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0442\u044f\u043d\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e ~16 \u044d\u043f\u043e\u0445 \u0438 \u043a ~40 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043d\u0435\u0442.<\/p>\n<p>\u0420\u0430\u0441\u0442\u0443\u0449\u0430\u044f \u0432\u0435\u0442\u043a\u0430 \u2014 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430. \u0421\u0435\u0440\u0438\u044f phi \u043e\u0442 Microsoft \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430\u0441\u044c \u0441\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2306.11644\" rel=\"noopener noreferrer nofollow\">\u00abTextbooks Are All You Need\u00bb<\/a>: 1,3B-\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u0435\u043c\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430\u0445 \u00ab\u0443\u0447\u0435\u0431\u043d\u0438\u043a\u043e\u0432\u044b\u0445\u00bb \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0431\u0445\u043e\u0434\u0438\u043b\u0430 \u043d\u0430 \u043a\u043e\u0434\u043e\u0432\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0431\u043e\u043b\u044c\u0448\u0435. \u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0430\u043d\u0430\u043b\u043e\u0433 \u2014\u00a0<a href=\"https:\/\/huggingface.co\/blog\/cosmopedia\" rel=\"noopener noreferrer nofollow\">Cosmopedia<\/a>: 25 \u043c\u043b\u0440\u0434 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e; \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0437\u0430\u043d\u044f\u043b\u0430 10+ \u0442\u044b\u0441. GPU-\u0447\u0430\u0441\u043e\u0432 \u2014 \u043f\u043e \u0433\u0440\u0443\u0431\u043e\u0439 \u043f\u0440\u0438\u043a\u0438\u0434\u043a\u0435 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 $1 \u0437\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0432\u0435\u0431-\u043a\u043e\u0440\u043f\u0443\u0441 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u0435\u043d. \u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u0441\u0442\u043e\u0438\u0442 \u0434\u0435\u043d\u0435\u0433, \u0437\u0430\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u0446\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0434\u044b\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432 \u0432\u0435\u0431\u0435 \u043c\u0430\u043b\u043e: \u0443\u0447\u0435\u0431\u043d\u044b\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f, \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0440\u0435\u0434\u043a\u0438\u0435 \u044f\u0437\u044b\u043a\u0438.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0438 \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0447\u0435\u0442 \u2014 \u043d\u0430 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u0435 \u043e\u043d \u0443\u0436\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0441\u043e \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u0436\u0435\u043b\u0435\u0437\u0430. \u041f\u043e \u0438\u0441\u043a\u0443 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043a\u043d\u0438\u0433 Anthropic \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u043b\u0430\u0441\u044c \u0432\u044b\u043f\u043b\u0430\u0442\u0438\u0442\u044c\u00a0<a href=\"https:\/\/authorsguild.org\/news\/anthropic-settlement-key-updates\/\" rel=\"noopener noreferrer nofollow\">$1,5 \u043c\u043b\u0440\u0434<\/a>\u00a0\u2014 \u043e\u043a\u043e\u043b\u043e $3000 \u0437\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 ~482 \u0442\u044b\u0441. \u043a\u043d\u0438\u0433, \u0441\u043a\u0430\u0447\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u043f\u0438\u0440\u0430\u0442\u0441\u043a\u0438\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a LibGen \u0438 PiLiMi. \u0422\u043e\u043d\u043a\u043e\u0441\u0442\u044c, \u0432\u0430\u0436\u043d\u0430\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438: \u0442\u043e\u0442 \u0436\u0435 \u0441\u0443\u0434\u044c\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043b \u0441\u0430\u043c\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043b\u0435\u0433\u0430\u043b\u044c\u043d\u043e \u043a\u0443\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u043a\u043d\u0438\u0433\u0430\u0445 fair use \u2014 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430 \u043f\u043b\u0430\u0442\u044f\u0442\u0441\u044f \u0437\u0430 \u043f\u0438\u0440\u0430\u0442\u0441\u043a\u043e\u0435 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435, \u0444\u0430\u043a\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u0443\u0442 \u043d\u0438 \u043f\u0440\u0438 \u0447\u0435\u043c (\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0434\u043e\u0431\u0440\u0435\u043d\u0438\u0435 \u0441\u0434\u0435\u043b\u043a\u0438 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0435\u0449\u0435 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435). \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u0437\u0430\u043a\u0443\u043f\u043e\u043a: Reddit \u043f\u0440\u043e\u0434\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f Google \u2014 \u0441\u0434\u0435\u043b\u043a\u0443\u00a0<a href=\"https:\/\/www.cbsnews.com\/news\/google-reddit-60-million-deal-ai-training\/\" rel=\"noopener noreferrer nofollow\">\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 $60 \u043c\u043b\u043d<\/a>, \u0441\u0434\u0435\u043b\u043a\u0443 News Corp \u0441 OpenAI \u0421\u041c\u0418 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0438 \u0432 $250+ \u043c\u043b\u043d \u0437\u0430 \u043f\u044f\u0442\u044c \u043b\u0435\u0442. \u042d\u043f\u043e\u0445\u0430 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u043f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0438\u0433\u0440\u0430\u0435\u0442 \u043d\u0430 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u0435. \u0414\u043e\u043c\u0430\u0448\u043d\u0435\u043c\u0443 \u044f\u0440\u0443\u0441\u0443 FineWeb \u0445\u0432\u0430\u0442\u0438\u0442 \u043d\u0430\u0434\u043e\u043b\u0433\u043e.<\/p>\n<h3>\u0421\u0447\u0438\u0442\u0430\u0435\u043c \u0432 \u0440\u0443\u0431\u043b\u044f\u0445<\/h3>\n<p>\u0412\u0441\u0435 \u0432\u044b\u0448\u0435 \u0431\u044b\u043b\u043e \u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u0430\u0445; \u0442\u0435\u043f\u0435\u0440\u044c \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0432 \u0440\u0443\u0431\u043b\u044f\u0445. \u0426\u0435\u043d\u044b \u2014 \u0441\u043d\u0438\u043c\u043e\u043a \u043d\u0430 10 \u0438\u044e\u043b\u044f 2026-\u0433\u043e, \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0430\u043c, \u0432\u043e\u043b\u0430\u0442\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0430\u044f.<\/p>\n<p><strong>\u041a\u0443\u043f\u0438\u0442\u044c \u043a\u0430\u0440\u0442\u0443.<\/strong>\u00a0RTX 5090 \u0432 \u0440\u043e\u0437\u043d\u0438\u0446\u0435 \u0420\u0424 \u043f\u0440\u043e\u0448\u043b\u0430 \u043f\u0443\u0442\u044c \u043e\u0442 ~240 \u0442\u044b\u0441. \u20bd \u043b\u0435\u0442\u043e\u043c 2025-\u0433\u043e \u0434\u043e\u00a0<a href=\"https:\/\/digital-razor.ru\/media\/news\/hardware\/rtx-5090-price-up\/\" rel=\"noopener noreferrer nofollow\">393\u2013490 \u0442\u044b\u0441. \u20bd \u043a \u0432\u0435\u0441\u043d\u0435 2026-\u0433\u043e<\/a>; \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0436\u0438\u0432\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u2014 \u043e\u0442 ~345 \u0442\u044b\u0441. (Palit) \u0434\u043e ~510 \u0442\u044b\u0441. (\u0442\u043e\u043f\u043e\u0432\u044b\u0435 ASUS). \u041e\u0431\u0438\u0434\u043d\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c: \u0432\u0438\u043d\u0438\u0442\u044c \u00ab\u043d\u0430\u0446\u0435\u043d\u043a\u0443 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043c\u043f\u043e\u0440\u0442\u0430\u00bb \u043d\u0435 \u0432\u044b\u0439\u0434\u0435\u0442 \u2014 \u0432 \u0421\u0428\u0410 \u0441\u0442\u0440\u0438\u0442-\u0446\u0435\u043d\u044b 5090 \u043a \u043d\u0430\u0447\u0430\u043b\u0443 2026-\u0433\u043e \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e ~$5000 \u043f\u0440\u0438 MSRP $1999, \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u0418\u0418-\u0441\u043f\u0440\u043e\u0441 \u0438 \u0434\u0435\u0444\u0438\u0446\u0438\u0442 \u043f\u0430\u043c\u044f\u0442\u0438 \u0443\u0440\u0430\u0432\u043d\u044f\u043b\u0438 \u0432\u0441\u0435\u0445. NVIDIA \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435 \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438 \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 GPU \u0432 \u0420\u0424 \u0441 2022-\u0433\u043e, \u0442\u0430\u043a \u0447\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043f\u0440\u043e\u0434\u0430\u0432\u0446\u0430.<\/p>\n<p><strong>\u0410\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c.<\/strong>\u00a0\u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u043a\u0430 (\u0446\u0435\u043d\u044b \u2014 \u0437\u0430 VM \u0446\u0435\u043b\u0438\u043a\u043e\u043c):\u00a0<a href=\"http:\/\/immers.cloud\" rel=\"noopener noreferrer nofollow\">immers.cloud<\/a>\u00a0\u2014 RTX 5090 \u0437\u0430 130,76 \u20bd\/\u0447\u0430\u0441, RTX 4090 \u0437\u0430 82,76 \u20bd\/\u0447\u0430\u0441, A100 80GB \u0437\u0430 211,77 \u20bd\/\u0447\u0430\u0441, H100 \u0437\u0430 341,77 \u20bd\/\u0447\u0430\u0441;\u00a0<a href=\"https:\/\/intelion.cloud\/prices\/\" rel=\"noopener noreferrer nofollow\">\u0418\u043d\u0442\u0435\u043b\u0438\u043e\u043d<\/a>\u00a0\u2014 H100 \u0437\u0430 299,11 \u20bd\/\u0447\u0430\u0441 \u0438\u043b\u0438 ~201 \u0442\u044b\u0441. \u20bd\/\u043c\u0435\u0441. \u041d\u043e\u0434\u0430 8\u00d7H100 \u0443 <a href=\"http:\/\/Cloud.ru\" rel=\"noopener noreferrer nofollow\">Cloud.ru<\/a> \u2014 \u043e\u0442 ~5,36 \u043c\u043b\u043d \u20bd\/\u043c\u0435\u0441, \u0442\u043e \u0435\u0441\u0442\u044c ~7400 \u20bd\/\u0447\u0430\u0441; \u0437\u0430 \u0440\u0443\u0431\u0435\u0436\u043e\u043c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430\u044f \u043d\u043e\u0434\u0430 \u0443 Lambda \u0441\u0442\u043e\u0438\u0442 ~$32\/\u0447\u0430\u0441 \u2248 2600 \u20bd (\u0433\u043e\u0434 \u043d\u0430\u0437\u0430\u0434 \u0431\u044b\u043b\u043e ~$24 \u2014 \u0430\u0440\u0435\u043d\u0434\u0430 \u0434\u043e\u0440\u043e\u0436\u0430\u0435\u0442) \u2014 \u0420\u0424-\u043f\u0440\u0435\u043c\u0438\u044f \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0440\u043e\u0439\u043d\u0430\u044f (\u0441\u0430\u043d\u043a\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u043a\u0430 \u0432 \u0446\u0435\u043d\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0430\u0445, \u0443 \u0438\u0433\u0440\u043e\u0432\u044b\u0445 \u0435\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0442). \u0414\u043b\u044f \u0441\u043f\u0440\u0430\u0432\u043a\u0438 \u043e \u043c\u0438\u0440\u043e\u0432\u043e\u043c \u0440\u044b\u043d\u043a\u0435: H100 \u0443 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432 \u2014\u00a0<a href=\"https:\/\/lambda.ai\/pricing\" rel=\"noopener noreferrer nofollow\">$2\u20134 \u0437\u0430 GPU-\u0447\u0430\u0441<\/a>, \u043f\u0440\u0438\u0447\u0435\u043c \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0435 \u0446\u0435\u043d\u044b \u0432 2026-\u043c \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u0437\u0430 \u0433\u043e\u0434\u044b\u00a0<a href=\"https:\/\/newsletter.semianalysis.com\/p\/the-great-gpu-shortage-rental-capacity\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0448\u043b\u0438 \u0432\u0432\u0435\u0440\u0445<\/a>\u00a0\u043d\u0430 \u0432\u043e\u043b\u043d\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441-\u0431\u0443\u043c\u0430 \u2014 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0432\u0435\u0447\u043d\u0443\u044e \u0434\u0435\u0448\u0435\u0432\u0438\u0437\u043d\u0443 \u0430\u0440\u0435\u043d\u0434\u044b \u044f \u0431\u044b \u043d\u0435 \u0441\u0442\u0430\u043b.<\/p>\n<p><strong>\u0420\u043e\u0437\u0435\u0442\u043a\u0430.<\/strong>\u00a0\u0421\u0430\u043c\u0430\u044f \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432. \u041c\u0435\u0441\u044f\u0446 \u043a\u0440\u0443\u0433\u043b\u043e\u0441\u0443\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 5090 \u043f\u0440\u0438 \u0435\u0435 \u043f\u043e\u043b\u043d\u044b\u0445 575 \u0412\u0442 \u2014 414 \u043a\u0412\u0442\u00b7\u0447, \u043f\u043e \u043c\u043e\u0441\u043a\u043e\u0432\u0441\u043a\u043e\u043c\u0443 \u0442\u0430\u0440\u0438\u0444\u0443 ~8 \u20bd\/\u043a\u0412\u0442\u00b7\u0447 \u044d\u0442\u043e ~3300 \u20bd; \u0441\u043e \u0432\u0441\u0435\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u0438\u043a\u043e\u043c \u2014 ~4900 \u20bd. \u041d\u0430 \u0444\u043e\u043d\u0435 \u0446\u0435\u043d\u044b \u0441\u0430\u043c\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u2014 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c; \u0442\u0430 \u0436\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u0430, \u0447\u0442\u043e \u043d\u0430 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u0435 \u0441 \u0435\u0433\u043e 2\u20136% \u043d\u0430 \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u043e. \u041b\u044e\u0431\u0438\u0442\u0435\u043b\u044f\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438: \u043d\u043e\u0447\u043d\u043e\u0439 \u0442\u0430\u0440\u0438\u0444 \u0432\u0434\u0432\u043e\u0435 \u043d\u0438\u0436\u0435.<\/p>\n<p><strong>\u041a\u0443\u043f\u0438\u0442\u044c \u0438\u043b\u0438 \u0430\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c.<\/strong>\u00a0\u041f\u0440\u043e\u0441\u0442\u0430\u044f \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0430: 5090 \u0437\u0430 ~400 \u0442\u044b\u0441. \u20bd \u043f\u0440\u043e\u0442\u0438\u0432 \u0430\u0440\u0435\u043d\u0434\u044b \u0437\u0430 ~94 \u0442\u044b\u0441. \u20bd\/\u043c\u0435\u0441 (130,76 \u20bd \u00d7 720 \u0447) \u2014 \u043a\u0430\u0440\u0442\u0430 \u043e\u0442\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430 4\u20135 \u043c\u0435\u0441\u044f\u0446\u0435\u0432\u00a0<strong>\u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439<\/strong>\u00a0\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u0414\u043b\u044f \u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0441 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u043e\u043c \u0430\u0440\u0435\u043d\u0434\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u0435\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432; \u043f\u043e\u043a\u0443\u043f\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0440\u0442\u0430 \u043d\u0443\u0436\u043d\u0430 \u0435\u0449\u0435 \u0438 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u0438\u0433\u0440 \u0438 \u0432\u0441\u0435\u0433\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e, \u0447\u0442\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0438\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439. \u0418 \u0435\u0449\u0435: \u0441\u043f\u043e\u0442-\u0446\u0435\u043d\u044b \u043d\u0430 \u043c\u0430\u0440\u043a\u0435\u0442\u043f\u043b\u0435\u0439\u0441\u0430\u0445 \u0432\u0440\u043e\u0434\u0435 <a href=\"http:\/\/Vast.ai\" rel=\"noopener noreferrer nofollow\">Vast.ai<\/a> \u043d\u0430 4090\/5090 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0438\u0436\u0435 40 \u20bd\/\u0447\u0430\u0441 (\u0442\u0430 \u0441\u0430\u043c\u0430\u044f\u00a0<a href=\"https:\/\/github.com\/karpathy\/nanochat\/discussions\/1\" rel=\"noopener noreferrer nofollow\">5090 \u0437\u0430 ~$0,35\/\u0447\u0430\u0441<\/a>\u00a0\u0438\u0437 nanochat-\u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u2014 \u043e\u0442\u0442\u0443\u0434\u0430) \u2014 \u0437\u0430 \u0446\u0435\u043d\u0443 \u043c\u0435\u0441\u044f\u0446\u0430 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u0439 \u0430\u0440\u0435\u043d\u0434\u044b \u0442\u0430\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u0432\u0435\u0441\u044c nanochat-\u0441\u043f\u0438\u0434\u0440\u0430\u043d \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0427\u0442\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0413\u0434\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0426\u0435\u043d\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">RTX 5090 \u0441\u0432\u043e\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u043e\u0437\u043d\u0438\u0446\u0430 \u0420\u0424<\/p>\n<\/td>\n<td>\n<p align=\"left\">345\u2013510 \u0442\u044b\u0441. \u20bd \u0440\u0430\u0437\u043e\u0432\u043e + ~4900 \u20bd\/\u043c\u0435\u0441 \u0440\u043e\u0437\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">RTX 5090 \u0430\u0440\u0435\u043d\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><a href=\"http:\/\/immers.cloud\" rel=\"noopener noreferrer nofollow\">immers.cloud<\/a><\/p>\n<\/td>\n<td>\n<p align=\"left\">~94 \u0442\u044b\u0441. \u20bd\/\u043c\u0435\u0441 (130,76 \u20bd\/\u0447)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">RTX 5090\/4090 \u0441\u043f\u043e\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\"><a href=\"http:\/\/Vast.ai\" rel=\"noopener noreferrer nofollow\">Vast.ai<\/a> \u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0442 ~25\u201340 \u20bd\/\u0447<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">H100 \u0430\u0440\u0435\u043d\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0418\u043d\u0442\u0435\u043b\u0438\u043e\u043d \/ immers<\/p>\n<\/td>\n<td>\n<p align=\"left\">~200\u2013246 \u0442\u044b\u0441. \u20bd\/\u043c\u0435\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u043e\u0434\u0430 8\u00d7H100<\/p>\n<\/td>\n<td>\n<p align=\"left\"><a href=\"http:\/\/Cloud.ru\" rel=\"noopener noreferrer nofollow\">Cloud.ru<\/a><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0442 ~5,36 \u043c\u043b\u043d \u20bd\/\u043c\u0435\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u043e\u0434\u0430 8\u00d7H100<\/p>\n<\/td>\n<td>\n<p align=\"left\">Lambda (\u043d\u0435 \u0420\u0424)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~$32\/\u0447 \u2248 1,9 \u043c\u043b\u043d \u20bd\/\u043c\u0435\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u043e \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f GigaChat \u0438 YandexGPT \u0441\u043f\u0440\u043e\u0441\u044f\u0442 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u2014 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043c\u0435\u0442 \u043d\u0435\u0442: \u0421\u0431\u0435\u0440 \u0438 \u042f\u043d\u0434\u0435\u043a\u0441 \u0446\u0438\u0444\u0440 \u043d\u0435 \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442, \u0438 \u043b\u044e\u0431\u0430\u044f \u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u0437\u0434\u0435\u0441\u044c \u0431\u044b\u043b\u0430 \u0431\u044b \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u043c (\u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b \u043f\u0440\u043e \u0447\u0442\u0435\u043d\u0438\u0435 \u0447\u0443\u0436\u0438\u0445 \u0441\u043c\u0435\u0442).<\/p>\n<h3>\u041c\u043e\u044f \u0441\u0442\u0430\u0432\u043a\u0430<\/h3>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u043c\u043d\u0435\u043d\u0438\u0435, \u043e\u0442\u0434\u0435\u043b\u044f\u044e \u0435\u0433\u043e \u043e\u0442 \u0444\u0430\u043a\u0442\u043e\u0432.<\/p>\n<p><strong>\u041a\u043e\u043c\u0443 \u0432 2026-\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435\u043d \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0441 \u043d\u0443\u043b\u044f.<\/strong>\u00a0\u041f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u043c\u0443 \u2014 \u043a \u044d\u0442\u043e\u043c\u0443 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u0441\u044f \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0432\u044b\u0448\u0435. \u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u0441\u0430 \u043f\u043b\u044e\u0441 \u0444\u0430\u0439\u043d\u0442\u044e\u043d \u043f\u043b\u044e\u0441 RAG \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442, \u043f\u043e \u043c\u043e\u0435\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u0434\u0435\u0432\u044f\u0442\u044c \u0437\u0430\u0434\u0430\u0447 \u0438\u0437 \u0434\u0435\u0441\u044f\u0442\u0438 \u0437\u0430 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f, \u0433\u0434\u0435 \u00ab\u0441 \u043d\u0443\u043b\u044f\u00bb \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d: \u0441\u0432\u043e\u0439 \u044f\u0437\u044b\u043a \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u0430\u043b\u043e \u0432 \u0432\u0435\u0431\u0435 (\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434, \u0431\u0438\u043e\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, low-resource \u044f\u0437\u044b\u043a\u0438); \u0436\u0435\u0441\u0442\u043a\u0438\u0435 edge-\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u0432\u044b\u0440\u0430\u0441\u0442\u0438\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0447\u0435\u043c \u0443\u0436\u0438\u043c\u0430\u0442\u044c \u043e\u0431\u0449\u0443\u044e; \u0438 \u0441\u0443\u0432\u0435\u0440\u0435\u043d\u0438\u0442\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0433\u0434\u0430 \u0432 \u043a\u043e\u043d\u0442\u0443\u0440 \u043d\u0435\u043b\u044c\u0437\u044f \u0437\u0430\u043d\u0435\u0441\u0442\u0438 \u043d\u0438\u0447\u044c\u0438 \u0447\u0443\u0436\u0438\u0435 \u0432\u0435\u0441\u0430 \u043f\u043e \u0440\u0435\u0433\u0443\u043b\u044f\u0442\u043e\u0440\u0438\u043a\u0435. \u0415\u0441\u043b\u0438 \u043f\u043e\u0434\u0440\u044f\u0434\u0447\u0438\u043a \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0432\u0430\u043c \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043d\u0443\u043b\u044f \u043f\u043e\u0434 \u0432\u0430\u0448 \u0431\u0438\u0437\u043d\u0435\u0441\u00bb \u0431\u0435\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u044d\u0442\u0438\u0445 \u0442\u0440\u0435\u0445 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0439 \u2014 \u043e\u043d \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0432\u0430\u043c \u043e\u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0432 \u043e\u0431\u043e\u0438\u0445 \u0441\u043c\u044b\u0441\u043b\u0430\u0445. \u0413\u043e\u0432\u043e\u0440\u044e \u043a\u0430\u043a \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u0434\u0440\u044f\u0434\u0447\u0438\u043a: \u043d\u0430\u043c \u0442\u043e\u0436\u0435 \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u043f\u0440\u043e\u0434\u0430\u0442\u044c \u00ab\u0441\u0432\u043e\u044e LLM\u00bb, \u0447\u0435\u043c \u0444\u0430\u0439\u043d\u0442\u044e\u043d, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u044d\u0442\u043e\u0442 \u0430\u0431\u0437\u0430\u0446 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u0442\u0438\u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430.<\/p>\n<p><strong>\u041a\u0443\u0434\u0430 \u0435\u0434\u0435\u0442 \u043a\u0440\u0438\u0432\u0430\u044f.<\/strong>\u00a0\u041d\u043e\u0436\u043d\u0438\u0446\u044b \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f. \u041d\u0438\u0436\u043d\u0438\u0439 \u043a\u0440\u0430\u0439 \u0434\u0435\u0448\u0435\u0432\u0435\u0435\u0442 \u0432 ~2,5 \u0440\u0430\u0437\u0430 \u0432 \u0433\u043e\u0434 (\u043a\u0440\u0438\u0432\u0430\u044f \u041a\u0430\u0440\u043f\u0430\u0442\u043e\u0433\u043e), \u0432\u0435\u0440\u0445\u043d\u0438\u0439 \u0434\u043e\u0440\u043e\u0436\u0430\u0435\u0442 \u0432 ~2,4 \u0440\u0430\u0437\u0430 (\u043a\u0440\u0438\u0432\u0430\u044f Epoch) \u2014 \u0440\u0435\u0434\u043a\u0438\u0439 \u0440\u044b\u043d\u043e\u043a, \u0433\u0434\u0435 \u043e\u0431\u0430 \u043a\u043e\u043d\u0446\u0430 \u0434\u0432\u0438\u0436\u0443\u0442\u0441\u044f \u0442\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u0432 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b. \u041c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0440\u0430\u0441\u0442\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 \u0438 \u0434\u043b\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u0430\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u044c: \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0439 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d 3\u201330B \u0437\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043a\u043e\u043c\u043f\u0435\u0442\u0435\u043d\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0430 \u0431\u044b\u0442\u044c \u043c\u043e\u043d\u043e\u043f\u043e\u043b\u0438\u0435\u0439 \u043f\u044f\u0442\u0438 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0439.<\/p>\n<p>\u0422\u0440\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0445 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u0435\u043d\u044f \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0437\u0430 \u044f\u0437\u044b\u043a:<\/p>\n<ol>\n<li>\n<p><strong>GPT-2-\u043a\u043b\u0430\u0441\u0441 \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u043e\u0438\u0442\u044c \u0434\u0435\u0448\u0435\u0432\u043b\u0435 $10 \u043a \u043a\u043e\u043d\u0446\u0443 2028-\u0433\u043e.<\/strong>\u00a0\u0421\u0438\u0433\u043d\u0430\u043b \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438: \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 Time-to-GPT-2 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 nanochat.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043d\u0442\u0440\u0430\u043a\u0442\u043d\u0430\u044f \u0446\u0435\u043d\u0430 H100 \u043d\u0435 \u0432\u0435\u0440\u043d\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u0435 $2\/\u0447\u0430\u0441 \u0432 2026-\u043c.<\/strong>\u00a0\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441-\u0431\u0443\u043c \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u044b. \u0417\u0434\u0435\u0441\u044c \u044f \u043c\u043e\u0433\u0443 \u043e\u0448\u0438\u0431\u0438\u0442\u044c\u0441\u044f \u2014 \u0435\u0441\u043b\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 Blackwell \u0445\u043b\u044b\u043d\u0435\u0442 \u043d\u0430 \u0440\u044b\u043d\u043e\u043a \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043e\u0432, \u2014 \u043d\u043e \u0441\u0442\u0430\u0432\u043b\u044e \u043d\u0430 \u0434\u0435\u0444\u0438\u0446\u0438\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u043d \u0434\u043e\u0440\u043e\u0436\u0435 $1 \u043c\u043b\u0440\u0434 \u2014 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 2027-\u0433\u043e.<\/strong>\u00a0\u0422\u0440\u0435\u043d\u0434 2,4\u00d7\/\u0433\u043e\u0434 \u0434\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430 \u0440\u043e\u0432\u043d\u043e \u043a \u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u043e\u043a\u0443.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043b\u0438\u0447\u043d\u043e \u0432\u0430\u043c, \u0435\u0441\u043b\u0438 \u0440\u0443\u043a\u0438 \u0447\u0435\u0448\u0443\u0442\u0441\u044f.<\/strong>\u00a0\u041f\u0440\u043e\u0433\u043d\u0430\u0442\u044c nanochat d16 \u043d\u0430 \u0430\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u043e\u0439 5090 \u0437\u0430 \u0434\u0435\u0441\u044f\u0442\u044c-\u0442\u0440\u0438\u0434\u0446\u0430\u0442\u044c \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u2014 \u043b\u0443\u0447\u0448\u0430\u044f \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u044f \u0432 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 LLM, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u043c\u043e\u0433\u0443 \u043d\u0430\u0437\u0432\u0430\u0442\u044c: \u0437\u0430 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0432\u044b \u0440\u0443\u043a\u0430\u043c\u0438 \u043f\u0440\u043e\u0439\u0434\u0435\u0442\u0435 \u0432\u0435\u0441\u044c \u043f\u0443\u0442\u044c \u043e\u0442 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0434\u043e \u0447\u0430\u0442-\u0431\u043e\u0442\u0430 \u0438 \u0442\u0435\u043b\u043e\u043c \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u0442\u0435, \u0433\u0434\u0435 \u0432 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0435 \u0434\u0435\u043d\u044c\u0433\u0438. \u0410 \u0432\u043e\u0442 \u0442\u0430\u0449\u0438\u0442\u044c \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0430 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u2014 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0430 \u043b\u043e\u0431 \u0432 \u043b\u043e\u0431 \u0441 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u043e\u043c.<\/p>\n<p>\u042d\u0442\u043e \u043c\u043e\u044f \u0432\u0442\u043e\u0440\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0437\u0434\u0435\u0441\u044c \u2014 \u0432\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/1057816\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0435\u0440\u0432\u043e\u0439<\/a>\u00a0\u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b, \u043f\u043e\u0447\u0435\u043c\u0443 \u0440\u043e\u0431\u043e\u0442\u044b \u0437\u0430 \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u044c \u043c\u0438\u043d\u0443\u0442 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0443\u0447\u0430\u0442\u0441\u044f \u0445\u043e\u0434\u0438\u0442\u044c \u2014 \u0438 \u0447\u0442\u043e \u043c\u0435\u0448\u0430\u0435\u0442 \u0438\u043c \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0434\u0443\u043c\u0430\u0442\u044c. \u0422\u0430\u043a\u0438\u0435 \u0440\u0430\u0437\u0431\u043e\u0440\u044b \u2014 \u0447\u0442\u043e \u043f\u043e\u0447\u0435\u043c \u0432 \u0418\u0418-\u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u0438 \u0433\u0434\u0435 \u043e\u043d\u0438 \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u2014 \u043c\u044b \u0441 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u043f\u0438\u0448\u0435\u043c \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u043a\u0430\u043d\u0430\u043b\u0435\u00a0<a href=\"https:\/\/t.me\/moranalog\" rel=\"noopener noreferrer nofollow\">morana.log<\/a>; \u0437\u0430\u0445\u043e\u0434\u0438\u0442\u0435, \u0435\u0441\u043b\u0438 \u0436\u0430\u043d\u0440 \u043f\u043e \u0434\u0443\u0448\u0435.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1060916\/\">https:\/\/habr.com\/ru\/articles\/1060916\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412 \u043e\u043a\u0442\u044f\u0431\u0440\u0435 2025-\u0433\u043e \u0410\u043d\u0434\u0440\u0435\u0439 \u041a\u0430\u0440\u043f\u0430\u0442\u044b\u0439 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u00a0nanochat\u00a0\u2014 \u00ab\u043b\u0443\u0447\u0448\u0438\u0439 ChatGPT, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043a\u0443\u043f\u0438\u0442\u044c \u0437\u0430 $100\u00bb: \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043e\u0442 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0434\u043e \u0432\u0435\u0431-\u0447\u0430\u0442\u0430, \u0447\u0435\u0442\u044b\u0440\u0435 \u0447\u0430\u0441\u0430 \u043d\u0430 \u0430\u0440\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u043e\u0434\u0435. \u0415\u0449\u0435 \u0432 \u0434\u0435\u043a\u0430\u0431\u0440\u0435 2024-\u0433\u043e DeepSeek \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u00a0\u0442\u0435\u0445\u043e\u0442\u0447\u0435\u0442 V3\u00a0\u0441 \u0446\u0438\u0444\u0440\u043e\u0439 $5,576 \u043c\u043b\u043d \u0437\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. \u0410 \u0432 \u043a\u043e\u043d\u0446\u0435 \u044f\u043d\u0432\u0430\u0440\u044f 2025-\u0433\u043e, \u043d\u0430 \u0432\u043e\u043b\u043d\u0435 \u0432\u044b\u0445\u043e\u0434\u0430 R1, \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u00ab\u043a\u0438\u0442\u0430\u0439\u0446\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 GPT-4 \u0437\u0430 \u0448\u0435\u0441\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432\u00bb \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439 \u0442\u0440\u044f\u0441\u043b\u0438 \u0438 \u043f\u0440\u0435\u0441\u0441\u0443, \u0438 \u0431\u0438\u0440\u0436\u0443. \u0410 \u0434\u0432\u0430 \u0434\u043d\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0440\u044f\u043c\u043e \u0437\u0434\u0435\u0441\u044c, \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u0432\u044b\u0448\u043b\u0430\u00a0habrGPT\u00a0\u2014 \u043c\u043e\u0434\u0435\u043b\u044c 0.5B, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0441 \u043d\u0443\u043b\u044f \u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0425\u0430\u0431\u0440\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 RTX 5090, \u0441 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u043e\u043c \u0437\u0430 ~6 \u0447\u0430\u0441\u043e\u0432.\u0412\u0441\u0435 \u0442\u0440\u0438 \u0446\u0438\u0444\u0440\u044b \u0447\u0435\u0441\u0442\u043d\u044b\u0435. \u0418 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e \u0442\u043e\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0437\u0430 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u044c LLM\u00bb \u043f\u0440\u044f\u0447\u0435\u0442\u0441\u044f \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0432 \u0441\u0435\u043c\u044c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432: \u043e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0434\u043e \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0443\u043f\u0435\u043d\u0438 \u0437\u0430 \u0434\u0435\u043d\u044c\u0433\u0438 \u043f\u043e\u043a\u0443\u043f\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u043e\u0435, \u0438 \u043f\u0443\u0442\u0430\u0442\u044c \u0441\u0442\u0443\u043f\u0435\u043d\u0438 \u0434\u043e\u0440\u043e\u0433\u043e. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e CTO ML-\u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0438 \u0432\u044b\u0431\u043e\u0440 \u00ab\u0432\u0437\u044f\u0442\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u0441\u0430 \/ \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \/ \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441 \u043d\u0443\u043b\u044f\u00bb \u2014 \u044d\u0442\u043e \u0440\u0430\u0441\u0447\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043f\u0440\u043e\u0434\u0435\u043b\u044b\u0432\u0430\u0435\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e. \u041d\u0438\u0436\u0435 \u2014 \u0432\u0441\u044f \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u0441 \u0447\u0438\u0441\u043b\u0430\u043c\u0438 \u0438 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u043c\u0438: \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0430 \u0438\u0433\u0440\u043e\u0432\u043e\u0439 \u043a\u0430\u0440\u0442\u0435 \u043f\u043e\u0434 \u0441\u0442\u043e\u043b\u043e\u043c, \u0433\u0434\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0430\u0440\u0435\u043d\u0434\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430, \u0438\u0437 \u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043c\u0435\u0442\u0430 \u0444\u0440\u043e\u043d\u0442\u0438\u0440-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0430\u043a\u0438\u0435 \u0433\u0440\u0430\u0431\u043b\u0438 \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u044d\u0442\u0430\u0436\u0435.\u0421\u0440\u0430\u0437\u0443 \u0440\u0430\u0437\u0432\u0435\u0434\u0443 \u0434\u0432\u0430 \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u044e\u0442\u0441\u044f.\u00a0\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043d\u0443\u043b\u044f (pretraining)\u00a0\u2014 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u0441\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0448\u0443\u043c\u043e\u043c \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u043b\u0438\u0441\u0442\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430.\u00a0\u0414\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (fine-tuning, LoRA \u0438 \u043f\u0440\u043e\u0447\u0435\u0435)\u00a0\u2014 \u043a\u043e\u0433\u0434\u0430 \u0431\u0435\u0440\u0443\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445; \u044d\u0442\u043e \u043d\u0430 \u0434\u0432\u0430-\u0442\u0440\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0438 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0441\u0442\u0430\u0442\u0435\u0439 \u00ab\u043a\u0430\u043a \u044f \u043e\u0431\u0443\u0447\u0438\u043b GPT \u0434\u043e\u043c\u0430\u00bb \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043f\u0440\u043e \u043d\u0435\u0433\u043e. \u0412\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u0435 \u043d\u0430\u043c \u0441\u0432\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u00bb \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u0437\u0432\u043e\u043d\u0430 \u0442\u043e\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d. \u0417\u0434\u0435\u0441\u044c \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e \u00ab\u0441 \u043d\u0443\u043b\u044f\u00bb. \u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0437\u0432\u0443\u0447\u0438\u0442 \u043a\u0430\u043a \u00ab\u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u043d\u0430\u043b\u0430 \u043d\u0430\u0448\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b\u00bb, \u0432\u0430\u043c \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043d\u0443\u0436\u0435\u043d \u0444\u0430\u0439\u043d\u0442\u044e\u043d \u0438\u043b\u0438 RAG, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u043e\u0436\u043d\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437 \u0447\u0438\u0441\u0442\u043e\u0433\u043e \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u0441\u0442\u0432\u0430.\u0421\u0430\u043b\u0444\u0435\u0442\u043a\u0430: \u043a\u0430\u043a \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u0412\u0441\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0430 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u0432 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439:C \u2248 6 \u00b7 N \u00b7 D\u0433\u0434\u0435 N \u2014 \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, D \u2014 \u0447\u0438\u0441\u043b\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0448\u0435\u0441\u0442\u044c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a: \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 2 FLOP \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u0432 forward-\u043f\u0440\u043e\u0445\u043e\u0434\u0435, \u0438 \u0435\u0449\u0435 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432 backward. \u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u2014 \u0438\u0437\u00a0\u0440\u0430\u0431\u043e\u0442\u044b Kaplan et al. 2020\u00a0(\u0440\u0430\u0437\u0434\u0435\u043b 2.1, \u043e\u0446\u0435\u043d\u043a\u0430 \u0431\u0435\u0437 \u0443\u0447\u0435\u0442\u0430 embedding \u0438 attention-\u0447\u043b\u0435\u043d\u043e\u0432), \u0438 \u0435\u0435 \u0436\u0435\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 Epoch AI\u00a0\u043a\u0430\u043a \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u043f\u044c\u044e\u0442 \u0447\u0443\u0436\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0433\u0434\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u0434\u0430\u043d\u043d\u044b\u0435. \u0414\u043b\u044f MoE-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 (mixture of experts: \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432) N \u2014 \u044d\u0442\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0433\u0443\u043b\u044f\u0435\u0442 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 5\u20138, \u043d\u043e \u0434\u043b\u044f \u0441\u043c\u0435\u0442\u044b \u043d\u0430 \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0435 \u0448\u0435\u0441\u0442\u0435\u0440\u043a\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.\u0414\u0430\u043b\u044c\u0448\u0435 \u0434\u0432\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. \u0414\u0435\u043b\u0438\u043c C \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0435\u043b\u0435\u0437\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u0435\u043a\u0443\u043d\u0434\u044b. \u0423\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430 \u0446\u0435\u043d\u0443 \u0447\u0430\u0441\u0430, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0435\u043d\u044c\u0433\u0438. \u0420\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u2014 \u044d\u0442\u043e \u043f\u0438\u043a\u043e\u0432\u044b\u0435 TFLOPS \u043a\u0430\u0440\u0442\u044b, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u00a0MFU\u00a0(model FLOPs utilization) \u2014 \u0434\u043e\u043b\u044e \u043f\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0434\u0435\u0442 \u0432 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438; \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0442\u043e\u043d\u0435\u0442 \u0432 \u043e\u0431\u043c\u0435\u043d\u0430\u0445 \u043f\u043e \u0441\u0435\u0442\u0438, \u043f\u0443\u0437\u044b\u0440\u044f\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430, \u0440\u0435\u043a\u043e\u043c\u043f\u0443\u0442\u0430\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0438 \u043e\u0442\u0441\u0442\u0430\u044e\u0449\u0438\u0445 \u043d\u043e\u0434. \u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u044b \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438: GPT-3 \u0432 2020-\u043c \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0441 MFU 21,3%, PaLM \u0432 2022-\u043c \u2014 46,2% (\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 PaLM), MegaScale \u043e\u0442 ByteDance \u0432\u044b\u0436\u0430\u043b\u00a055,2% \u043d\u0430 12 288 GPU, \u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043d\u043e\u0434\u0435 \u0431\u0435\u0437 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u043f\u043e\u0442\u0435\u0440\u044c llm.c \u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 60%. \u0417\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0439\u0442\u0435 40\u201350% \u0438 \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0448\u0438\u0431\u0435\u0442\u0435\u0441\u044c.\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435. GPT-2 124M \u043d\u0430 10 \u043c\u043b\u0440\u0434 \u0442\u043e\u043a\u0435\u043d\u043e\u0432: 6 \u00d7 124e6 \u00d7 10e9 \u2248 7,4e18 FLOP. \u041d\u043e\u0434\u0430 8\u00d7A100 \u043f\u0440\u0438 60% MFU \u0434\u0430\u0435\u0442 ~1,5e15 FLOP\/\u0441 \u2014 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f ~83 \u043c\u0438\u043d\u0443\u0442\u044b. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 llm.c \u2014\u00a090 \u043c\u0438\u043d\u0443\u0442 \u0438 ~$20; \u044d\u0442\u0438\u043c \u0436\u0435 \u043f\u0440\u0438\u0435\u043c\u043e\u043c \u043d\u0438\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0447\u0443\u0436\u0438\u0435 \u043f\u0440\u0435\u0441\u0441-\u0440\u0435\u043b\u0438\u0437\u044b. \u042d\u0442\u0443 \u0441\u0430\u043b\u0444\u0435\u0442\u043a\u0443 \u044f \u0440\u0438\u0441\u0443\u044e \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0435\u0441\u0435\u0439\u043b\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0441 \u00ab\u0445\u043e\u0442\u0438\u043c \u0441\u0432\u043e\u044e LLM\u00bb: \u0448\u0435\u0441\u0442\u044c-\u044d\u043d-\u0434\u044d, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0435 \u043c\u0430\u0440\u043a\u0435\u0440\u043e\u043c \u043f\u0440\u044f\u043c\u043e \u043f\u0440\u0438 \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0435, \u043e\u0442\u0440\u0435\u0437\u0432\u043b\u044f\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043b\u044e\u0431\u043e\u0433\u043e \u0441\u043b\u0430\u0439\u0434\u0430 \u043f\u0440\u043e \u0440\u0438\u0441\u043a\u0438.\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u0442\u043e\u043b\u043f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0438 \u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0443\u0436\u043d\u043e.\u00a0Chinchilla\u00a0(DeepMind, 2022) \u0432\u044b\u0432\u0435\u043b\u0430 compute-optimal \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u044e: ~20 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c, \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0435 \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u00absignificantly undertrained\u00bb. \u0421 \u0442\u0435\u0445 \u043f\u043e\u0440 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u044f \u0443\u0435\u0445\u0430\u043b\u0430 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u2014 \u0438 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u043e: \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u043b\u0430\u0442\u0438\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u2014 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b \u0440\u0430\u0437, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0433\u043e\u0434\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435 \u0438 \u0437\u0430\u043b\u0438\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430. Llama 3 8B \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 15+ \u0442\u0440\u043b\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2014\u00a0~1875 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u0432 90 \u0440\u0430\u0437 \u0434\u0430\u043b\u044c\u0448\u0435 Chinchilla, \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u043e \u0440\u0430\u0441\u0442\u0438. \u0424\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0438 \u2014\u00a0inference-optimal \u0441\u043a\u0435\u0439\u043b\u0438\u043d\u0433. \u0426\u0435\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u044b\u0445\u043e\u0434\u0438\u0442, \u0437\u0430\u0434\u0430\u0435\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c D \u2014 \u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u044b\u043d\u0447\u0435 \u043c\u0435\u0440\u044f\u044e\u0442 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u043c\u0438.\u041a\u0430\u0440\u0442\u0430 \u043b\u0435\u0441\u0442\u043d\u0438\u0446\u044b, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0439\u0434\u0435\u043c (\u0432\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u044b \u043d\u0438\u0436\u0435 \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u0443):\u042f\u0440\u0443\u0441\u0416\u0435\u043b\u0435\u0437\u043e\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u0446\u0435\u043d\u044b1. \u0414\u043e\u043c1\u00d7 RTX 5090GPT-2-\u043a\u043b\u0430\u0441\u0441, \u00ab\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u00bb$30\u2013700 (\u0430\u0440\u0435\u043d\u0434\u0430 \u2014 \u043e\u0442 $10)2. \u041d\u043e\u0434\u04308\u00d7 H100, \u0447\u0430\u0441\u044b\u2013\u0441\u0443\u0442\u043a\u0438nanochat-\u043a\u043b\u0430\u0441\u0441, \u00ab\u0434\u0435\u0442\u0441\u0430\u0434\u043e\u0432\u0435\u0446 \u0441 \u044d\u043d\u0446\u0438\u043a\u043b\u043e\u043f\u0435\u0434\u0438\u0435\u0439\u00bb$50\u201310003. \u041c\u0430\u043b\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0441\u043e\u0442\u043d\u0438\u2013\u0442\u044b\u0441\u044f\u0447\u0430 GPU, \u043d\u0435\u0434\u0435\u043b\u0438\u2013\u043c\u0435\u0441\u044f\u0446\u044b\u043f\u0440\u043e\u0434\u043e\u0432\u044b\u0435 3\u201330B (SmolLM3, OLMo)$0,5\u20133 \u043c\u043b\u043d4. \u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0442\u044b\u0441\u044f\u0447\u0438 GPU, \u043c\u0435\u0441\u044f\u0446\u044bDeepSeek-V3-\u043a\u043b\u0430\u0441\u0441$6\u201320 \u043c\u043b\u043d \u0437\u0430 \u0440\u0430\u043d, \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b \u043a\u0430\u043f\u0435\u043a\u0441\u04305. \u0424\u0440\u043e\u043d\u0442\u0438\u044016\u041a\u2013100\u041a+ GPUGPT-4\/5, Gemini, Grok$40 \u043c\u043b\u043d \u2014 $1 \u043c\u043b\u0440\u0434+\u00ab\u043b\u0435\u0441\u0442\u043d\u0438\u0446\u0430 \u044f\u0440\u0443\u0441\u043e\u0432\u00bb: \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u044c \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u043e\u0442 $40 \u0434\u043e $1B\u0413\u043e\u043b\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u044d\u0442\u043e \u04229\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0435\u043d\u044c\u0433\u0438 \u0434\u0430\u043b\u044c\u0448\u0435, \u043d\u0430\u0434\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0448\u044c \u0437\u0430 \u043d\u0438\u0445 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0448\u044c \u2014 \u04229. \u041e\u0447\u0435\u043d\u044c \u0434\u043e\u0440\u043e\u0433\u043e\u0439, \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0439 \u04229. \u042d\u0442\u043e \u0440\u0430\u0437\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0435, \u0433\u0434\u0435 \u00ab\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0432\u043e\u044e LLM\u00bb \u0438 \u00ab\u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0447\u0430\u0442-\u0431\u043e\u0442\u0430\u00bb \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u2014 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0434\u0432\u0430-\u0442\u0440\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u0430.\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430 \u0443\u043c\u0435\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u043d\u043e: \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0442\u0430\u043a, \u043a\u0430\u043a \u043e\u043d \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0441\u044f \u0431\u044b \u0432 \u0435\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435. \u041d\u0430\u043f\u0438\u0448\u0435\u0442\u0435 \u0435\u0439 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u2014 \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u00ab\u2014 \u0441\u043a\u0430\u0437\u0430\u043b\u0430 \u041c\u0430\u0448\u0430 \u0438 \u0437\u0430\u043a\u0440\u044b\u043b\u0430 \u0434\u0432\u0435\u0440\u044c\u00bb: \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b, \u0441 \u0435\u0435 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f, \u043f\u043e\u043f\u0430\u043b\u0438, \u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0432 \u043a\u0430\u0432\u044b\u0447\u043a\u0430\u0445 \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0434\u0435\u0442 \u0440\u0435\u043c\u0430\u0440\u043a\u0430 \u0438\u0437 \u0445\u0443\u0434\u043e\u0436\u043a\u0438, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u0443\u043c\u043d\u043e\u0433\u043e \u0442\u0440\u0435\u0434\u0430 \u0438\u043b\u0438 \u0435\u0449\u0435 \u0434\u0435\u0441\u044f\u0442\u043e\u043a \u0440\u0435\u043f\u043b\u0438\u043a \u043f\u043e\u0434\u0440\u044f\u0434. \u041a\u0430\u0440\u043f\u0430\u0442\u044b\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u043e\u00a0\u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439: \u00abBase models are not assistants, they just want to complete internet documents\u00bb. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f HuggingFace\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435\u00a0\u0441\u0443\u0448\u0435: \u0447\u0430\u0442-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u0432\u0441\u0435 \u0435\u0449\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0430\u0442 \u0434\u043b\u044f \u043d\u0438\u0445 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0441\u043e\u0431\u044b\u0439 \u0432\u0438\u0434 \u0442\u0435\u043a\u0441\u0442\u0430.\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0434\u0435\u043c\u043e \u2014 \u0438\u0437\u00a0\u0430\u043d\u043e\u043d\u0441\u0430 InstructGPT\u00a0(OpenAI, 2022). \u041f\u0440\u043e\u043c\u043f\u0442: \u00ab\u041e\u0431\u044a\u044f\u0441\u043d\u0438 \u0448\u0435\u0441\u0442\u0438\u043b\u0435\u0442\u043d\u0435\u043c\u0443 \u0440\u0435\u0431\u0435\u043d\u043a\u0443 \u0432\u044b\u0441\u0430\u0434\u043a\u0443 \u043d\u0430 \u041b\u0443\u043d\u0443 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445\u00bb. \u0413\u043e\u043b\u0430\u044f GPT-3 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442\u2026 \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u043c\u0438 \u0437\u0430\u0434\u0430\u043d\u0438\u044f\u043c\u0438: \u00ab\u041e\u0431\u044a\u044f\u0441\u043d\u0438 \u0448\u0435\u0441\u0442\u0438\u043b\u0435\u0442\u043d\u0435\u043c\u0443 \u0442\u0435\u043e\u0440\u0438\u044e \u0433\u0440\u0430\u0432\u0438\u0442\u0430\u0446\u0438\u0438\u00bb, \u00ab\u041e\u0431\u044a\u044f\u0441\u043d\u0438 \u0448\u0435\u0441\u0442\u0438\u043b\u0435\u0442\u043d\u0435\u043c\u0443 \u0442\u0435\u043e\u0440\u0438\u044e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438\u00bb. \u041b\u043e\u0433\u0438\u043a\u0430 \u0442\u0430 \u0436\u0435: \u0432 \u0432\u0435\u0431\u0435 \u0441\u043f\u0438\u0441\u043a\u0438 \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u0439 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u0435 \u0441 \u0433\u043e\u0442\u043e\u0432\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u043f\u043e\u0434 \u043d\u0438\u043c, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043b\u0430 \u0441\u0430\u043c\u044b\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442. \u041d\u0430 \u044d\u0442\u043e\u043c \u0436\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0442\u043e\u0438\u0442 few-shot \u043f\u0440\u043e\u043c\u043f\u0442\u0438\u043d\u0433 \u0438\u0437\u00a0\u0441\u0442\u0430\u0442\u044c\u0438 GPT-3: \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0448\u044c \u0442\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u00ab\u0432\u0445\u043e\u0434 \u2192 \u0432\u044b\u0445\u043e\u0434\u00bb, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d, \u0431\u0435\u0437 \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u0410\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043e\u043c \u044d\u0442\u0443 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u043b\u043a\u0443 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d\u0438\u043d\u0433, \u0438 \u0435\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0437\u0432\u0443\u0447\u0438\u0442.\u0428\u0430\u0433 \u043f\u0435\u0440\u0432\u044b\u0439 \u2014 SFT, supervised fine-tuning. \u041c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0436\u0430\u043d\u0440\u0430: \u00ab\u0440\u0435\u043f\u043b\u0438\u043a\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u2192 \u0440\u0435\u043f\u043b\u0438\u043a\u0430 \u0432\u0435\u0436\u043b\u0438\u0432\u043e\u0433\u043e \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a\u0430\u00bb. \u0416\u0430\u043d\u0440 \u043e\u043d\u0430 \u0441\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0441\u0445\u0432\u0430\u0442\u0438\u043b\u0430 \u0441\u0442\u0438\u043b\u044c \u0445\u0443\u0434\u043e\u0436\u043a\u0438 \u0438 \u0444\u043e\u0440\u0443\u043c\u043e\u0432. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u043e\u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u0440\u0435\u043f\u043b\u0438\u043a\u043e\u0439 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0430-\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430: \u00ab\u041f\u0440\u0438\u0432\u0435\u0442! \u0427\u0435\u043c \u043c\u043e\u0433\u0443 \u043f\u043e\u043c\u043e\u0447\u044c?\u00bb \u041f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u2014 \u044d\u0442\u043e \u0442\u043e\u0442 \u0436\u0435 \u04229, \u043f\u0440\u043e\u0441\u0442\u043e \u0435\u043c\u0443 \u043f\u043e\u0434\u0441\u0443\u043d\u0443\u043b\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044e \u043f\u0438\u0448\u0435\u0442 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a.\u0428\u0430\u0433 \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 RLHF, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f\u0445. SFT \u0437\u0430\u0434\u0430\u0435\u0442 \u0440\u043e\u043b\u044c, RL \u0448\u043b\u0438\u0444\u0443\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u044d\u0442\u043e\u0439 \u0440\u043e\u043b\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c. \u041b\u044e\u0434\u0438 \u043f\u043e\u043f\u0430\u0440\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0430 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u0445 \u0443\u0447\u0438\u0442\u0441\u044f reward-\u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0441\u044f \u0431\u044b \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0443\u00bb, \u2014 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0442 \u0441\u0438\u0433\u043d\u0430\u043b \u0440\u043e\u0441 (\u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0431\u043e\u0440 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430). \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0438\u0433\u0440\u0430\u0442\u044c \u0440\u043e\u043b\u044c \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430, \u0441\u043c\u0435\u0449\u0430\u044f\u0441\u044c \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443 \u043a \u043b\u0443\u0447\u0448\u0438\u043c, \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0430\u043c \u043b\u044e\u0434\u0435\u0439, \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c.\u0426\u0438\u0444\u0440\u044b \u043f\u043e\u0434 \u044d\u0442\u043e\u0442 \u0442\u0435\u0437\u0438\u0441 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 InstructGPT\u00a0\u0432\u044b\u043f\u0438\u0441\u0430\u043d\u044b \u043f\u0440\u044f\u043c\u043e. \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u0439\u043d\u0430: ~13 \u0442\u044b\u0441. \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u043d\u0430 SFT, ~33 \u0442\u044b\u0441. \u043d\u0430 reward-\u043c\u043e\u0434\u0435\u043b\u044c, ~31 \u0442\u044b\u0441. \u043d\u0430 RL \u2014 \u043f\u0440\u043e\u0442\u0438\u0432 \u0441\u043e\u0442\u0435\u043d \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u041a\u043e\u043c\u043f\u044c\u044e\u0442: SFT \u0434\u043b\u044f 175B-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 4,9 \u043f\u0435\u0442\u0430\u0444\u043b\u043e\u043f\u0441-\u0434\u043d\u0435\u0439, RLHF \u2014 60, \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d GPT-3 \u2014 3640. \u0412\u0441\u044f \u00ab\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u00bb \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 \u2014\u00a0\u043c\u0435\u043d\u0435\u0435 2% \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0442\u043e\u043d\u043a\u0430\u044f \u043f\u043b\u0435\u043d\u043a\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 \u0442\u043e\u043b\u0449\u0438 \u043f\u0440\u0435\u0442\u0440\u0435\u0439\u043d\u0430. \u0418 \u044d\u0444\u0444\u0435\u043a\u0442 \u044d\u0442\u043e\u0439 \u043f\u043b\u0435\u043d\u043a\u0438 \u043f\u043e\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439: \u043e\u0442\u0432\u0435\u0442\u044b InstructGPT \u0441\u043e \u0441\u043a\u0440\u043e\u043c\u043d\u044b\u043c\u0438 1,3 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043b\u044e\u0434\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u0433\u043e\u043b\u043e\u0439 GPT-3 \u0441\u043e 175 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430\u043c\u0438 \u2014 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u0441\u0442\u043e \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 (\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043a API, \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430; \u043d\u0430 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435). \u041f\u043e\u0447\u0442\u0438 \u0432\u0435\u0441\u044c \u0431\u044e\u0434\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u0437\u043d\u0430\u043d\u0438\u044f; \u00ab\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u00bb \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u0430 \u0434\u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u043c\u0438 \u0441\u0432\u0435\u0440\u0445\u0443.\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u00ab\u0434\u0438\u0430\u043b\u043e\u0433\u00bb \u0442\u0430\u043a \u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0441\u043f\u043b\u043e\u0448\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c. \u041f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0430 \u0441 \u0447\u0430\u0442-\u0431\u043e\u0442\u043e\u043c \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0441\u043e \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u2014 \u0432 \u0434\u0443\u0445\u0435\u00a0&lt;|im_start|&gt;user \u2026 &lt;|im_end|&gt; &lt;|im_start|&gt;assistant\u00a0(\u0444\u043e\u0440\u043c\u0430\u0442 ChatML; \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0443 \u0432\u0441\u0435\u0445 \u0441\u0432\u043e\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 HuggingFace \u0437\u0430\u0432\u0435\u043b chat templates), \u2014 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u043a\u0435\u043d\u0430\u00a0assistant. \u0410\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442 \u2014 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f, \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u2014 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u0436\u0443, \u0430 \u0441\u0430\u043c\u0430 \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014\u00a0\u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440, \u0443\u043c\u0435\u044e\u0449\u0438\u0439 \u0438\u0433\u0440\u0430\u0442\u044c \u043a\u043e\u0433\u043e \u0443\u0433\u043e\u0434\u043d\u043e; \u043f\u043e \u043c\u043e\u0435\u043c\u0443 \u043e\u043f\u044b\u0442\u0443, \u044d\u0442\u0430 \u0440\u0430\u043c\u043a\u0430 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 LLM \u0432 \u043f\u0440\u043e\u0434\u0435 \u043b\u0443\u0447\u0448\u0435 \u043b\u044e\u0431\u043e\u0439 \u0434\u0440\u0443\u0433\u043e\u0439.\u0423 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0435\u0441\u0442\u044c \u0441\u0432\u0435\u0436\u0435\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u2014 RL \u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u043c\u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u0430\u043c\u0438, RLVR. \u0412 \u044f\u043d\u0432\u0430\u0440\u0435 2025-\u0433\u043e DeepSeek \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u00a0R1-Zero: \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u043f\u0440\u044f\u043c\u043e \u043a \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043c\u0438\u043d\u0443\u044f SFT, \u0441 \u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439 \u0437\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 (\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u043a\u043e\u0434). \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 AIME \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0441 15,6% \u0434\u043e 71%, \u0430 \u043f\u043e \u0445\u043e\u0434\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u043e\u043d\u0442\u0430\u043d\u043d\u043e \u0432\u044b\u0443\u0447\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u0430\u043c\u0443 \u0441\u0435\u0431\u044f \u2014 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043c\u043e\u043c\u0435\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0438\u0448\u0435\u0442 \u00abWait, wait. Wait. That&#8217;s an aha moment I can flag here\u00bb \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0437\u0430\u043d\u043e\u0432\u043e, \u0445\u043e\u0442\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u044d\u0442\u043e\u043c\u0443 \u0435\u0435 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0443\u0447\u0438\u043b.\u041f\u0440\u0430\u0432\u0434\u0430, \u0440\u0430\u0437\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u043b\u0430 R1-Zero \u043a\u0430\u043a \u0433\u0435\u043d\u0438\u0439 \u0441 \u0440\u0430\u0441\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u0440\u0435\u0447\u0438 \u2014 \u043c\u0435\u0448\u0430\u043b\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0441 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u043c \u0438 \u043f\u0438\u0441\u0430\u043b\u0430 \u043d\u0435\u0447\u0438\u0442\u0430\u0435\u043c\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 R1\u00a0\u0432\u0435\u0440\u043d\u0443\u043b\u0438 SFT-\u0444\u0430\u0437\u0443\u00a0\u0441 \u0447\u0438\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0446\u0435\u043f\u043e\u0447\u043a\u0430\u043c\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439. \u0414\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 RL \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0433\u043e\u043b\u043e\u0439 \u0431\u0430\u0437\u0435, \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442 SFT. \u0426\u0435\u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u2014 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u0441\u0430\u043c\u043e\u0439 DeepSeek \u0432\u00a0\u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0432 Nature: \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0432\u0441\u0435\u0433\u043e R1-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 \u0433\u043e\u0442\u043e\u0432\u043e\u0439 V3 \u2014 \u043e\u043a\u043e\u043b\u043e $294 \u0442\u044b\u0441. \u043f\u0440\u043e\u0442\u0438\u0432 ~$5,6 \u043c\u043b\u043d \u0437\u0430 \u0431\u0430\u0437\u0443 (\u0442\u0430 \u0436\u0435 \u0431\u0443\u0445\u0433\u0430\u043b\u0442\u0435\u0440\u0438\u044f \u00ab\u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u043d\u00bb, \u0447\u0442\u043e &#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-487894","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/487894","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=487894"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/487894\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=487894"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=487894"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=487894"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}