{"id":470410,"date":"2025-08-12T09:00:12","date_gmt":"2025-08-12T09:00:12","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=470410"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=470410","title":{"rendered":"<span>\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p><strong>\u041f\u0440\u0438\u0432\u0435\u0442!<\/strong><\/p>\n<p>\u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u043d\u043e \u0442\u0435, \u0447\u0442\u043e \u043c\u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438\u0441\u044c, \u0431\u044b\u043b\u0438 \u043b\u0438\u0431\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b \u0438 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432, \u043b\u0438\u0431\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u044b.<\/p>\n<p>\u041f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0431\u044b \u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u044b, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b.<\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430 10 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0438\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439, \u043d\u0430 30 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 LLM \u0438 \u043d\u0430 60 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u201c\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043e\u0442 \u0440\u0443\u043a\u0438\u201d \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0442\u0430\u0442\u0435\u0439 \u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u043e\u043f\u0438\u0441\u0430\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c?<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0432 LLM \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0434\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442, \u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441?<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f LLM \u043c\u043e\u0434\u0435\u043b\u044c, \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u044e\u0442, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b?<\/p>\n<\/li>\n<li>\n<p> \u041a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c LLM \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438?<\/p>\n<\/li>\n<li>\n<p> \u0428\u0430\u0433 1: \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f (\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \/ \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u043a\u0435\u043d\u044b)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 2: Token embedding (\u0438\u0437 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 3: Positional Encoding \/ Embeddings<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 4: Attention, Self-Attention (\u0412\u0435\u043a\u0442\u043e\u0440 \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u044f, Q,K,V-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u0438 \u0420\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u043d\u0430 \u0413\u043e\u043b\u043e\u0432\u044b \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Multi-Head Attention)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 5: \u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Head Concatenation, Concatenated Multi-Head Attention)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 6: Output Projection (Wo)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 7: \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Residual (\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 8: \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u044f (Layer Normalization)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 9: FFN (Feed-Forward Network) \u0438 MLP (Multilayer Perceptron)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 10: Residual + LayerNorm (\u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 11: \u041f\u043e\u0434\u0430\u0447\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0431\u043b\u043e\u043a\u0430 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440-\u0431\u043b\u043e\u043a<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 12: \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f LayerNorm \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u043b\u043e\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 13: \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432 \u043b\u043e\u0433\u0438\u0442\u044b (Logits Projection) + Softmax<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 14: \u0412\u044b\u0431\u043e\u0440 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (sampling)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 15: \u0418\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 16: \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u043b\u043e\u0432\u0430<\/p>\n<\/li>\n<li>\n<p>\u0421\u043f\u043e\u0441\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430 (\u0431\u044d\u043a\u0435\u043d\u0434\u044b) \u0434\u043b\u044f LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<h2>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b<\/h2>\n<h4>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u043e\u043f\u0438\u0441\u0430\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c?<\/h4>\n<p>\u041f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0438\u0437 \u0441\u043e\u0442\u0435\u043d \u0442\u044b\u0441\u044f\u0447 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u0442\u044b\u0441\u044f\u0447\u0438\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430, \u0443\u0447\u0430\u0441\u0442\u043a\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043b\u044e\u0431\u043e\u0439 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d \u0441\u0432\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. \u0412\u0435\u043a\u0442\u043e\u0440\u044b, \u0438\u043c\u0435\u044e\u0449\u0438\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c, \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0432\u0435\u0442\u043e\u043c.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u0432 LLM \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0434\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442, \u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441?<\/h4>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u00ab\u0432\u043e\u043f\u0440\u043e\u0441\u2192\u043e\u0442\u0432\u0435\u0442\u00bb, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u0432\u0438\u0434\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043d\u0435 \u0441\u043b\u043e\u0432\u0430 \u0441\u0430\u043c\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430, \u0430 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u2014 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (SFT) \u0438 RLHF \u0435\u0451 \u00ab\u043f\u043e\u043e\u0449\u0440\u044f\u044e\u0442\u00bb \u0437\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u0430 \u043d\u0435 \u0437\u0430 \u043f\u043e\u0432\u0442\u043e\u0440 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0434\u0432\u0438\u0433\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<p>\u0412 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439: \u0434\u043b\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430-\u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430, \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0435\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441, \u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0433\u043e.<\/p>\n<h4>\u0414\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f LLM \u043c\u043e\u0434\u0435\u043b\u044c, \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u044e\u0442, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b?<\/h4>\n<p><strong>Retrieval-Augmented Generation (RAG):<\/strong><br \/>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438\u0449\u0435\u0442 \u0432 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0431\u0430\u0437\u0435 (\u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c\u0443 \u0438\u043b\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441\u0443) \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0438\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0441\u0432\u0435\u0436\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0435\u0442\u0438<\/p>\n<p><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440-\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (LoRA, Adapters):<\/strong><br \/>\u0412\u043c\u0435\u0441\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044e\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u044b \u0438\u043b\u0438 low-rank \u043c\u0430\u0442\u0440\u0438\u0446\u044b (LoRA), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u043d\u0435\u0434\u043e\u0440\u043e\u0433\u043e \u00ab\u043d\u0430\u0443\u0447\u0438\u0442\u044c\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u043e\u0432\u044b\u043c \u0444\u0430\u043a\u0442\u0430\u043c \u0438\u043b\u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u043c<\/p>\n<p><strong>\u0426\u0435\u043b\u0435\u0432\u043e\u0435 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 (Model Editing):<\/strong><br \/>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0442\u0438\u043f\u0430 MEMIT\/ROME \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u044e\u0442 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0432, \u043d\u0435 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u0439<\/p>\n<p><strong>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0437\u043d\u0430\u043d\u0438\u0439 \u0438 \u0433\u0440\u0430\u0444\u044b:<\/strong><br \/>\u0412\u043c\u0435\u0441\u0442\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 LLM \u0432\u044b\u043d\u043e\u0441\u0438\u0442\u0435 \u0438\u0445 \u0432 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 KB \u0438\u043b\u0438 \u0433\u0440\u0430\u0444\u044b \u0437\u043d\u0430\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0438\u0448\u044c \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442 \u0443 \u043d\u0438\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e<\/p>\n<p><strong>\u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0441 \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u043e\u043c \u0438 API:<\/strong><br \/>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0447\u0435\u0440\u0435\u0437 \u0432\u0435\u0431-\u0431\u0440\u0430\u0443\u0437\u0435\u0440\u043d\u044b\u0435 \u043f\u043b\u0430\u0433\u0438\u043d\u044b, \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0435 API \u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e\u0438\u0441\u043a\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ChatGPT Plugins, Bing Search API) \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u0432\u0435\u0436\u0435\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435.<\/p>\n<h4>\u041a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c LLM \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438?<\/h4>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u201c\u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u201d \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u043c\u043d\u043e\u0433\u0438\u0445 \u0438\u0437 \u043d\u0438\u0445 \u0438 \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u044f\u0437\u044b\u043a\u0430. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b:<\/p>\n<p><strong>\u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441:<\/strong><br \/>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442 \u0442\u0435\u043a\u0441\u0442\u044b (\u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f, \u043a\u043d\u0438\u0433\u0438, \u0432\u0435\u0431-\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438\u0437 Common Crawl \u0438 \u043f\u0440\u043e\u0447\u0438\u0435) \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u0438 \u0441\u043e\u0442\u043d\u044f\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 BLOOM \u0431\u044b\u043b\u043e \u043e\u043a\u043e\u043b\u043e 46 \u044f\u0437\u044b\u043a\u043e\u0432, \u043f\u0440\u0438\u0447\u0451\u043c \u0434\u043e\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0431\u044a\u0451\u043c\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<p><strong>\u041e\u0431\u0449\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f subword:<\/strong><br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u0440\u043e\u0434\u0435 BPE \u0438\u043b\u0438 SentencePiece, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442 \u0441\u043b\u043e\u0432\u0430 \u043d\u0430 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b (subword) \u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0430\u043b\u0444\u0430\u0432\u0438\u0442\u043e\u0432. \u0422\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0435\u0434\u0438\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0437\u044b\u043a\u043e\u0432<\/p>\n<p><strong>\u0423\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430:<\/strong><br \/>\u0412 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0432\u0435\u0441\u0430 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u0440\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043b\u044e\u0431\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u0449\u0438\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b (\u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441, \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0430) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u043a\u0440\u0451\u0441\u0442\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u043d\u0438\u0439 (cross-lingual transfer)<\/p>\n<p><strong>\u041d\u0435 \u0432\u0441\u0435 \u044f\u0437\u044b\u043a\u0438 \u0438 \u043d\u0435 \u0432\u043e \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0451\u043c\u0430\u0445:<\/strong><br \/>\u041e\u0431\u0443\u0447\u0430\u044e\u0442 \u043b\u0438\u0448\u044c \u043d\u0430 \u0442\u0435\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0420\u0435\u0434\u043a\u0438\u0435 \u0438\u043b\u0438 \u043d\u0438\u0437\u043a\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0434\u043e\u043b\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043d\u0438\u0445 \u043d\u0438\u0436\u0435<\/p>\n<p><strong>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u044b:<\/strong><br \/>\u0427\u0442\u043e\u0431\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u0435 \u043c\u0430\u043b\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (continual pretraining) \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u044b (adapters, LoRA), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u043d\u043a\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u044e\u0442 \u0437\u043d\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<h3>\u0412\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/h3>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0432\u0438\u0440\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041a \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0449\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u0415\u0441\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 RAG (Retrieval-Augmented Generation), \u0442\u043e \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u0430\u043a\u0436\u0435:<\/p>\n<ul>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u0430\u0437\u044b, \u0435\u0441\u043b\u0438 \u0432 \u043d\u0435\u0435 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u043e\u043b\u0435\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>\u0418\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438\u043b\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430- \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440, \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f embedding \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u043e\u043d\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u043a\u0443\u0441\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a embedding \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u043b\u044f Chrome \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f Page Assist<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f11\/914\/998\/f11914998378cc372115d99ab987ab71.png\" width=\"1390\" height=\"881\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/f11\/914\/998\/f11914998378cc372115d99ab987ab71.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f11\/914\/998\/f11914998378cc372115d99ab987ab71.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 RAG<\/h3>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432<\/p>\n<p><strong>Retrieval (\u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435):<\/strong><br \/>\u0418\u0449\u0435\u0442 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0431\u0430\u0437\u044b \u0437\u043d\u0430\u043d\u0438\u0439 (\u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u2014 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, FAISS, Qdrant, Weaviate). \u042d\u0442\u0430 \u0431\u0430\u0437\u0430 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 (pdf, markdown, html \u0438 \u0434\u0440.), \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, BERT, Instructor, \u0438\u043b\u0438 SentenceTransformer).<\/p>\n<p><strong>Generation (\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f):<\/strong><br \/>LLM (GPT, LLaMA, Mistral \u0438 \u0434\u0440.) \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 + \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 RAG \u0438 \u043e\u0431\u0449\u0435\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<p><strong>context:<\/strong><br \/>\u044d\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 embedding \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438\u043b\u0438 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044e score \u043f\u043e \u043c\u0435\u0440\u0435 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f<\/p>\n<pre><code>{   \"context\": [     \"\u041f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d \u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0430\u043d\u0442\u0438\u0431\u0438\u043e\u0442\u0438\u043a, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0439 \u0438\u0437 \u043f\u043b\u0435\u0441\u043d\u0435\u0432\u043e\u0433\u043e \u0433\u0440\u0438\u0431\u043a\u0430 \u0440\u043e\u0434\u0430 Penicillium. \u041e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0431\u0430\u043a\u0442\u0435\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0444\u0435\u043a\u0446\u0438\u0439, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0430\u043d\u0433\u0438\u043d\u0430, \u0441\u0438\u0444\u0438\u043b\u0438\u0441 \u0438 \u043f\u043d\u0435\u0432\u043c\u043e\u043d\u0438\u044f. \u041f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u0435\u0442 \u043a\u043b\u0435\u0442\u043e\u0447\u043d\u0443\u044e \u0441\u0442\u0435\u043d\u043a\u0443 \u0431\u0430\u043a\u0442\u0435\u0440\u0438\u0439, \u0447\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0438\u0445 \u0433\u0438\u0431\u0435\u043b\u0438.\",     \"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u044e\u0434\u0438 \u0438\u043c\u0435\u044e\u0442 \u0430\u043b\u043b\u0435\u0440\u0433\u0438\u044e \u043d\u0430 \u043f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u044b\u0435 \u0440\u0435\u0430\u043a\u0446\u0438\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0430\u043d\u0430\u0444\u0438\u043b\u0430\u043a\u0441\u0438\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u043f\u0430\u0440\u0430\u0442\u0430 \u0432\u0430\u0436\u043d\u043e \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0430\u043b\u043b\u0435\u0440\u0433\u0438\u0438 \u0443 \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430.\"   ],   \"instructions\": \"\u041e\u0442\u0432\u0435\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0415\u0441\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0435\u0442 \u2014 \u043d\u0430\u043f\u0438\u0448\u0438 '\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u0430'.\",   \"question\": \"\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d \u0438 \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u043e\u043d \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f?\" }<\/code><\/pre>\n<h2>\u0428\u0430\u0433\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438<\/h2>\n<h3>\u0428\u0430\u0433 1:\u00a0\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f (\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \/ \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u043a\u0435\u043d\u044b)<\/h3>\n<h3>\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430:<\/h3>\n<p>LLM \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u2014 \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 (\u0447\u0430\u0441\u0442\u044f\u043c\u0438 \u0441\u043b\u043e\u0432 \u0438\u043b\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u0430\u043c\u0438), \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u0447\u0438\u0441\u043b\u0430.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<pre><code>\u0422\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\u041f\u0440\u0438\u0432\u0435\u0442, \u043c\u0438\u0440\"  ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u043b\u043e\u0432\u0430: \"\u041f\u0440\u0438\u0432\u0435\u0442\" = 1123 \",\" = 15 \"\u043c\u0438\u0440\" = 345  \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 ID \u0442\u043e\u043a\u0435\u043d\u043e\u0432: [\"\u041f\u0440\u0438\u0432\u0435\u0442\", \",\", \"\u043c\u0438\u0440\"] = [1123, 15, 345]<\/code><\/pre>\n<p><strong>\u041a\u0430\u043a \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f:<\/strong><br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u0440\u043e\u0434\u0435 Byte Pair Encoding (BPE), Unigram, WordPiece \u0438\u043b\u0438 SentencePiece.<br \/>BPE-\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0447\u0430\u0441\u0442\u044b\u0435 \u043f\u0430\u0440\u044b \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.<br \/>WordPiece \u0441\u0442\u0440\u043e\u0438\u0442 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439.<br \/>\u0427\u0430\u0441\u0442\u043e \u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u044d\u0442\u043e \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430, \u0430 \u0447\u0430\u0441\u0442\u0438 \u0441\u043b\u043e\u0432.<\/p>\n<p>\u0412 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0440\u043a\u0435\u0440\u044b \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043b\u043e\u0432\u0430 (\u043f\u0440\u043e\u0431\u0435\u043b, \u201c##\u201d \u0438 \u0442. \u043f.), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0438 \u043e\u0434\u0438\u043d \u0441\u0443\u0431\u0442\u043e\u043a\u0435\u043d \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432.<br \/>\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u0434\u0451\u0442 \u00ab\u0436\u0430\u0434\u043d\u043e\u00bb \u2014 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u0441 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u0448\u0435\u0439\u0441\u044f \u0441\u0442\u0440\u043e\u043a\u0438 \u0442\u043e\u043a\u0435\u043d.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<pre><code>\u0422\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\u043d\u0435\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\"  ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0447\u0430\u0441\u0442\u0438 \u0441\u043b\u043e\u0432: \"\u043d\u0435\" = 24 \"\u0432\u0435\u0440\u043e\u044f\u0442\" = 126 \"\u043d\u043e\" = 36 \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 ID \u0442\u043e\u043a\u0435\u043d\u043e\u0432: [\"\u043d\u0435\", \"\u0432\u0435\u0440\u043e\u044f\u0442\", \"\u043d\u043e\"] = [24, 126, 36]  \u041b\u0438\u0431\u043e \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0442\u043e\u0440\u043a\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442:  (\"\u043d\u0435\u00bb\", \"\u0432\u0435\u0440\", \"##\u043e\u044f\u0442\u043d\u043e\")<\/code><\/pre>\n<p><strong>\u0420\u0430\u0437\u043d\u044b\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0441\u043b\u043e\u0432\u0430 \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u00ab\u043f\u0440\u0438\u0432\u0435\u0442\u00bb \u0438 \u00ab\u043f\u0440\u0438\u043c\u0435\u0440\u00bb \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043e\u0431\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u00ab\u043f\u0440\u0438\u00bb:<\/strong><\/p>\n<p>\u0425\u043e\u0442\u044f \u00ab\u043f\u0440\u0438\u00bb \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u043e\u0432\u0430\u0445, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u043e\u0442 \u043a\u0443\u0441\u043e\u0447\u0435\u043a, \u043d\u043e \u0438 \u043d\u0430 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438 \u043d\u0430 \u0432\u0441\u044e \u0444\u0440\u0430\u0437\u0443 (\u043e\u0431 \u044d\u0442\u043e\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435).<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u00ab\u043f\u0440\u0438\u00bb \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0431\u043e\u0440 \u0447\u0438\u0441\u0435\u043b, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u044d\u0442\u0443 \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430.<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 (\u043c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u0430\u044f \u0441\u0435\u0442\u044c) \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u00ab\u0432\u0435\u0442\u00bb \u0438\u043b\u0438 \u00ab\u043c\u0435\u0440\u00bb) \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u043e\u0435 \u00ab\u043f\u0440\u0438\u00bb \u0432 \u00ab\u043f\u0440\u0438\u0432\u0435\u0442\u00bb \u0443\u0436\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u00ab\u043f\u0440\u0438\u00bb \u0432 \u00ab\u043f\u0440\u0438\u043c\u0435\u0440\u00bb, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0442\u0443\u0434\u0430 \u00ab\u043f\u043e\u0434\u043c\u0435\u0448\u0430\u043b\u0441\u044f\u00bb \u0440\u0430\u0437\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u0449\u0438\u0439 \u043a\u0443\u0441\u043e\u0447\u0435\u043a \u00ab\u043f\u0440\u0438\u00bb \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439, \u0430 \u0441\u043c\u044b\u0441\u043b \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0441\u043b\u043e\u044f\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u044b, \u0430 \u043d\u0435 \u0441\u043b\u043e\u0432\u0430:<\/strong><br \/>\u041c\u0435\u043d\u044c\u0448\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044c = \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438.<br \/>\u041b\u0443\u0447\u0448\u0435 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0440\u0435\u0434\u043a\u0438\u0435 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430.<br \/>\u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u201c\u0443\u0447\u0438\u0442\u044c\u0441\u044f\u201d \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0441\u043b\u043e\u0432.<\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f, \u0438\u043b\u0438 \u201cvocab_size\u201d, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c.<br \/>\u0411\u043e\u043b\u044c\u0448\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044c = \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0431\u044a\u0451\u043c embedding-\u0441\u043b\u043e\u044f.<\/p>\n<p>\u0421\u043b\u043e\u0432\u043e \u00ab\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u00bb \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043e\u0434\u043d\u0438\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u043a\u0440\u0443\u043f\u043d\u044b\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0451\u043c,<br \/>\u0430 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u0431\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u0447\u0430\u0441\u0442\u0438 (\u00ab\u043f\u0440\u00bb, \u00ab\u043e\u0433\u0440\u0430\u043c\u00bb, \u00ab\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u00bb) \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0451\u043c.<\/p>\n<p><strong>\u0420\u0430\u0437\u043c\u0435\u0440\u044b \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432:<\/strong><\/p>\n<pre><code>\u041c\u043e\u0434\u0435\u043b\u044c                 | \u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f | -----------------------|----------------| LLaMA 1\/2              | 32\u202f000         | LLaMA 3                | 128\u202f000        | Gemini 1.0\/1.5         | ~4 \u041c\u0411          | Gemma 1\/2              | 256\u202f000        | Gemma 3                | 262\u202f000        | Qwen 1.5               | 151\u202f936        | Qwen 2                 | 152\u202f064        | Qwen 2.5               | 152\u202f064        | DeepSeek LLM           | 102\u202f400        | DeepSeek-Coder         | 32\u202f256         | DeepSeek V2\/V3         | 102\u202f400        | DeepSeek-R1            | 129\u202f280        |<\/code><\/pre>\n<h3>\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439:<\/h3>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 (\u0433\u0434\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u044d\u0442\u043e \u0441\u043b\u043e\u0432\u0430, \u0441\u0430\u0431\u0432\u043e\u0440\u0434\u044b, \u0441\u0438\u043c\u0432\u043e\u043b\u044b), \u0432 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u044d\u0442\u043e \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u041d\u0438\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b.<\/p>\n<p>\u0414\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0441\u0440\u0430\u0437\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 (\u0438\u043b\u0438 \u0442\u0435\u043d\u0437\u043e\u0440) \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0412 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 (CNN) \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0443\u0447\u0430\u0441\u0442\u043a\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 3\u00d73 \u0438\u043b\u0438 5\u00d75 \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439) \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0442 \u043f\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044e, \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0443\u0447\u0430\u0441\u0442\u043a\u0430 \u0441\u0432\u0451\u0440\u0442\u043a\u0430 \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432 \u0432\u044b\u0434\u0430\u0451\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u042d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432 \u043a\u0430\u0440\u0442\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<p>\u0412 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445 \u0434\u043b\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 (Vision Transformer) \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442 \u043d\u0430 \u00ab\u043f\u044d\u0447\u0438\u00bb (\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b, \u0441\u043a\u0430\u0436\u0435\u043c, 16\u00d716 \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439), \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u044d\u0442\u0447 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438 \u0442\u043e\u0436\u0435 \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440-\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u0442\u043e\u043a\u0435\u043d \u0432 NLP.<\/p>\n<p><strong>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439:<\/strong><\/p>\n<p><strong>Patch Embedding (\u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0430\u0442\u0447\u0438) \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 ViT:<\/strong><br \/>\u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0435\u0442\u043a\u0443 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u044b\u0445 \u043f\u0430\u0442\u0447\u0435\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 16\u00d716 \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439.<br \/>\u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0442\u0447 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 (flatten), \u043f\u043e\u0442\u043e\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 768).<br \/>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432: \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d \u043d\u0430 \u043f\u0430\u0442\u0447.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><br \/>224\u00d7224 RGB \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441 \u043f\u0430\u0442\u0447\u0430\u043c\u0438 16\u00d716 \u2192 14\u00d714 = 196 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 + [CLS] \u0442\u043e\u043a\u0435\u043d.<br \/>\u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d: \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 768.<\/p>\n<p><strong>CNN Feature Maps \u043a\u0430\u043a \u0442\u043e\u043a\u0435\u043d\u044b:<\/strong><br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 (ResNet, ConvNext) \u0434\u043b\u044f \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<br \/>\u041f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 (feature map) \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0442\u043e\u043a\u0435\u043d\u044b, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0441\u0435\u0442\u043a\u0438 \u2014 \u0432\u0435\u043a\u0442\u043e\u0440.<br \/>\u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 CLIP \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445.<\/p>\n<p><strong>VQ-VAE \/ VQ-GAN \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f (\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u0430\u044f):<\/strong><br \/>\u041a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a (\u044d\u043d\u043a\u043e\u0434\u0435\u0440) \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432 \u043a\u0430\u0440\u0442\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0437\u0430\u0442\u0435\u043c \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442 \u0435\u0451 \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b (\u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0438\u0437 \u0441\u043b\u043e\u0432\u0430\u0440\u044f).<br \/>\u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u2014 \u044d\u0442\u043e \u0438\u043d\u0434\u0435\u043a\u0441 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0442\u0447\u0435\u0439.<br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 DALL\u00b7E, Imagen, LLaVA \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445.<br \/>\u041f\u043b\u044e\u0441\u044b: \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u00ab\u0441\u043b\u043e\u0432\u0430\u043c\u0438\u00bb \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430.<br \/>\u041c\u0438\u043d\u0443\u0441\u044b: \u043f\u043e\u0442\u0435\u0440\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u043d\u0435\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f.<\/p>\n<p><strong>Segment\/Region-based \u0442\u043e\u043a\u0435\u043d\u044b (DETR, Region Attention):<\/strong><br \/>\u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0440\u0435\u0433\u0438\u043e\u043d\u044b (\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f, \u043e\u0431\u044a\u0435\u043a\u0442\u044b).<br \/>\u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0435\u0433\u0438\u043e\u043d \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043a\u0435\u043d \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b (VQA).<\/p>\n<p><strong>Patch + Positional Encoding:<\/strong><br \/>\u041a\u0430\u043a \u0438 \u0432 NLP, \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u0430\u0442\u0447\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f (\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u0430\u044f, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u043b\u0438 learnable), \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f.<\/p>\n<h3>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430:<\/h3>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u2014 \u044d\u0442\u043e \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438, \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u044d\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0441\u043b\u043e\u0432, \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0438\u043b\u0438 \u0438\u0445 \u0447\u0430\u0441\u0442\u0435\u0439), \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0437\u0430 \u043e\u0434\u0438\u043d \u0437\u0430\u043f\u0440\u043e\u0441.<br \/>\u042d\u0442\u043e \u00ab\u043e\u0431\u044a\u0451\u043c \u043f\u0430\u043c\u044f\u0442\u0438\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442. \u0412\u0441\u0451, \u0447\u0442\u043e \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u044d\u0442\u043e\u0433\u043e \u043e\u043a\u043d\u0430, \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u0442 \u0438\u043b\u0438 \u043d\u0435 \u0432\u0438\u0434\u0438\u0442 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e.<\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u0434\u0438\u0430\u043b\u043e\u0433\u0435.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439 \u0434\u043e\u043b\u0433\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u2014 \u043e\u043d\u0430 \u043d\u0435 \u00ab\u043f\u043e\u043c\u043d\u0438\u0442\u00bb \u0432\u0430\u0441 \u043a\u0430\u043a \u0447\u0435\u043b\u043e\u0432\u0435\u043a. \u041e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0434\u0438\u0430\u043b\u043e\u0433 \u043a\u0430\u043a \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043a\u0441\u0442 (\u0442\u043e\u043a\u0435\u043d\u044b), \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0439 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435. \u042d\u0442\u043e \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<p><strong>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/strong><\/p>\n<pre><code>| \u041c\u043e\u0434\u0435\u043b\u044c                  | \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 | |-------------------------|------------------------------| | LLaMA 1\/2               |2 048 \/ 4 096                 | | LLaMA 3                 |8 192                         | | Gemma 1\/2               |8 192                         | | Gemma 3                 |128 000                       | | Qwen 1.5                |32 768                        | | Qwen 2                  |32 768                        | | Qwen 2.5                |131 072                       | | DeepSeek LLM            |4 096                         | | DeepSeek-Coder          |16 384                        | | DeepSeek V2\/V3          |128 000                       | | DeepSeek-R1             |131 072                       | | Gemini 1.0\/1.5          |32 768 \/ 1 000 000            |<\/code><\/pre>\n<h3>\u0428\u0430\u0433 2:\u00a0Token embedding (\u0438\u0437 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440)<\/h3>\n<p>\u0412 LLM \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u043e\u0433\u043e ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f Token Embedding, \u0438\u043b\u0438 \u043c\u0430\u0441\u0441\u0438\u0432 \u0446\u0438\u0444\u0440. \u042d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u0442\u043e\u043a\u0435\u043d, \u043a\u0430\u043a \u0435\u0441\u043b\u0438 \u0431\u044b \u0442\u044b \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043b \u0441\u043b\u043e\u0432\u043e \u0432 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0444\u043e\u0440\u043c\u0443.<\/p>\n<p>\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e token embedding \u0438\u043c\u0435\u0435\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u043d\u043e \u0437\u0430\u0442\u0435\u043c \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u043c\u0435\u0440\u0435 \u043f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 Token Embedding \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0451\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043e\u043d \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c: \u043e\u043d \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 \u0444\u0440\u0430\u0437\u044b. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u201c\u0441\u043c\u044b\u0441\u043b\u201d \u0441\u043b\u043e\u0432\u0430 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>\u0421\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u0432\u0435\u0441\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0441\u043b\u043e\u044f\u043c\u0438.<\/p>\n<p>\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u044d\u0442\u0438 \u0432\u0435\u0441\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0438\u043b\u0438 \u043f\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0443 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Xavier \u0438\u043b\u0438 He), \u0430 \u043f\u043e\u0442\u043e\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u0442\u0435\u0440\u0438 (\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0448\u0438\u0431\u043a\u0430 \u0440\u0430\u0441\u0442\u0451\u0442 \u0438\u043b\u0438 \u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u0438 \u0435\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438).<\/p>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f (\u201cbackpropagation\u201d) \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443, \u0430 \u0437\u0430\u0442\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c (\u0438\u043b\u0438 \u0435\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u043c\u0438) \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u0438 \u0432\u0435\u0441\u0430.<\/p>\n<p>\u0422\u0430\u043a \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0434\u0430\u044e\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0438 \u043e\u0441\u043b\u0430\u0431\u0435\u0432\u0430\u044e\u0442 \u0432\u0441\u0435 \u043d\u0435\u043d\u0443\u0436\u043d\u044b\u0435 \u2014 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<h3>\u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 (Embedding Size, d_model) \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430:<\/h3>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0443 token embedding \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0435\u0451 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<pre><code>\u0422\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\u041f\u0440\u0438\u0432\u0435\u0442\"  ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u043b\u043e\u0432\u0430: \"\u041f\u0440\u0438\u0432\u0435\u0442\" = 1123  Token embedding \u0434\u043b\u044f ID \u0442\u043e\u043a\u0435\u043d\u0430 1123 = \u043c\u0430\u0441\u0441\u0438\u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0447\u0438\u0441\u043b\u0430 \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0438\u0437 d_model= 4096 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432: [0.034, 0.120, 0.905, ..., 0.028]<\/code><\/pre>\n<p><strong>\u0420\u0430\u0437\u043c\u0435\u0440 embedding size \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/strong>  <\/p>\n<pre><code>\u041c\u043e\u0434\u0435\u043b\u044c                 | d_model | -----------------------|---------| LLaMA 1 (7B)           | 4096    | LLaMA 2 (13B)          | 5120    | LLaMA 2 (70B)          | 8192    | LLaMA 3 (8B)           | 4096    | LLaMA 3 (70B)          | 8192    | Gemini 1.0 Pro         | 6144    | Gemini 1.0 Ultra       | 8192    | Gemini 1.5 Pro         | 8192    | Gemma 1 (2B)           | 2048    | Gemma 1 (7B)           | 3072    | Gemma 2 (9B)           | 4096    | Gemma 2 (27B)          | 6144    | Gemma 3 (12B)          | 5120    | Gemma 3 (27B)          | 8192    | Qwen 1.5 (7B)          | 4096    | Qwen 2 (7B)            | 4096    | Qwen 2.5 (7B)          | 4096    | DeepSeek LLM (7B)      | 4096    | DeepSeek LLM (67B)     | 8192    | DeepSeek-Coder (6.7B)  | 4096    | DeepSeek-Coder (33B)   | 8192    | DeepSeek-R1            | 8192    |<\/code><\/pre>\n<p><strong>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043c\u044b\u0441\u043b\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430:<\/strong>\u0411\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c = \u0431\u043e\u043b\u044c\u0448\u0435 \u201c\u043c\u0435\u0441\u0442\u0430\u201d \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0438, \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0430, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u043d\u043a\u0438\u0435 \u0441\u043c\u044b\u0441\u043b\u044b \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438.\u0420\u0430\u0437\u043c\u0435\u0440 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0441\u0435\u0445 \u0432\u0435\u0441\u043e\u0432 \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0440\u0430\u0441\u0442\u0451\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e \u0441 embedding size.  <\/p>\n<pre><code>embedding size = d_model = 4096  \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 4 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438, \u0447\u0435\u043c  embedding size = d_model = 2048<\/code><\/pre>\n<h3>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430:<\/h3>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0447\u0438\u0441\u043b\u0430 \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u0435\u043a\u0442\u043e\u0440, \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c:<br \/>\u041c\u0435\u043d\u044c\u0448\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443.<\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 FP32 (float32), \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0447\u0438\u0441\u0435\u043b \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 32 \u0431\u0438\u0442\u0430.<\/p>\n<h3>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 (Quantization):<\/h3>\n<p>\u0434\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u2014\u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0447\u0438\u0441\u0435\u043b \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, FP32) \u0432 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435 \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, INT8), \u0441 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<br \/>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043e\u043d\u0430 \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0432\u043e\u0434\u0430.<\/p>\n<pre><code>\u0424\u043e\u0440\u043c\u0430\u0442: FP32 (float32), 32 \u0431\u0438\u0442\u0430 = 4 \u0431\u0430\u0439\u0442\u0430 \u041f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u041f\u043e\u043b\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438 \u0442\u043e\u0447\u043d\u043e\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435. \u041e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432. \u0411\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 01000000 01001001 00001111 11011011 \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 3.14159 \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f: \u041d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u2014 \u044d\u0442\u043e \u043f\u043e\u043b\u043d\u044b\u0439 (\u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0439) \u0444\u043e\u0440\u043c\u0430\u0442.  \u0424\u043e\u0440\u043c\u0430\u0442: FP16 (float16), 16 \u0431\u0438\u0442 = 2 \u0431\u0430\u0439\u0442\u0430 \u041f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u041f\u043e\u043b\u043e\u0432\u0438\u043d\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u043e\u0434\u0430 \u043d\u0430 GPU (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, NVIDIA Tensor Cores). \u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0432 2 \u0440\u0430\u0437\u0430 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u043d\u0435\u0435 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP32. \u0411\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 01000000 10010000 \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u2248 3.1406 \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f: QFloat16 (\u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0435 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u0432 mixed precision).   \u0424\u043e\u0440\u043c\u0430\u0442: BF16 (bfloat16), 16 \u0431\u0438\u0442 = 2 \u0431\u0430\u0439\u0442\u0430 \u041f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 FP16, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0432 TPU \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 GPU. \u0418\u043c\u0435\u0435\u0442 \u0442\u0443 \u0436\u0435 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0443, \u0447\u0442\u043e \u0438 FP32, \u043d\u043e \u0443\u043a\u043e\u0440\u043e\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u0430\u043d\u0442\u0438\u0441\u0441\u0443. \u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0435\u0435, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d FP32. \u0411\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 01000000 10010000 \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u2248 3.140625 \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f: QBFloat16 (\u0440\u0435\u0434\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 TPU-\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435).  \u0424\u043e\u0440\u043c\u0430\u0442: INT8 (8 \u0431\u0438\u0442), scale = 0.125 \u041f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0446\u0435\u043b\u043e\u0435 \u0447\u0438\u0441\u043b\u043e. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 CPU \u0438 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445. \u0422\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 (scale) \u0438 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f (zero_point). \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 25 \u0411\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 00011001 \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 25 \u00d7 0.125 = 3.125 \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f: Q8_0, Q8_1, Int8Affine, PerChannelQuant (ONNX), dynamic\/int8 (TensorFlow Lite)  \u0424\u043e\u0440\u043c\u0430\u0442: INT4 (Q4), 4 \u0431\u0438\u0442\u0430, scale = 0.5 (2 \u0447\u0438\u0441\u043b\u0430 \u0432 1 \u0431\u0430\u0439\u0442\u0435) \u041f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u041e\u0447\u0435\u043d\u044c \u0441\u0436\u0430\u0442\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u043b\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 llama.cpp, GGUF \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445. \u041e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f (\u0434\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f) \u043f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435. \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 7 (\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f signed 4-\u0431\u0438\u0442\u043d\u043e\u0433\u043e int: -8\u2026+7) \u0411\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 0111 \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 7 \u00d7 0.5 = 3.5 \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f: Q4_0, Q4_1, Q4_K, Q4_G, Q4_M (llama.cpp, GGUF)  \u0424\u043e\u0440\u043c\u0430\u0442: INT2 (Q2), 2 \u0431\u0438\u0442\u0430, scale = 1.0 (4 \u0447\u0438\u0441\u043b\u0430 \u0432 1 \u0431\u0430\u0439\u0442\u0435) \u041f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u042d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 LLM \u043d\u0430 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445 GGUF, MLC, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0441 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 1 (\u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0441\u0440\u0435\u0434\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439: -2\u2026+1) \u0411\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 01 \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 1 \u00d7 1.0 = 1.0 \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f: Q2_K (llama.cpp, GGUF)  \u0424\u043e\u0440\u043c\u0430\u0442: INT1 (Q1), 1 \u0431\u0438\u0442, scale = 2.0 (8 \u0447\u0438\u0441\u0435\u043b \u0432 1 \u0431\u0430\u0439\u0442\u0435) \u041f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u0438 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0430\u0445. \u041e\u0431\u044b\u0447\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f -1 \u0438\u043b\u0438 +1. \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0440\u0435\u0434\u043a\u043e \u0432 LLM, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432 BNN (Binary Neural Networks). \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 1 \u0411\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 1 \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: 1 \u00d7 2.0 = 2.0 \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f: Q1, BinaryNet, XNOR-Net (\u0447\u0430\u0449\u0435 \u0432 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445\/\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 BNN)<\/code><\/pre>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f:  <\/p>\n<pre><code>_K - \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \"K-\u0431\u043b\u043e\u0447\u043d\u0443\u044e\" \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e (K-Block Quantization). - \u0412\u0435\u0441\u0430 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\u043b\u043e\u043a\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e 32 \u0438\u043b\u0438 64 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f). - \u0412\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0449\u0438\u0439 scale \u0438 zero_point. - \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439. - \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432: Q2_K, Q4_K, Q6_K, Q8_K  _0, _1 - \u041f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u043a\u0430\u043a\u0443\u044e \u0441\u0445\u0435\u043c\u0443 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442:   - _0: \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u0441\u0445\u0435\u043c\u0430, \u0431\u0435\u0437 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0439 (bias), \u043e\u0434\u0438\u043d scale \u043d\u0430 \u0431\u043b\u043e\u043a   - _1: \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430, \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 bias \u0438\u043b\u0438 scale-\u0441\u0434\u0432\u0438\u0433\u0430\u043c\u0438 - \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u0445: Q4_0, Q4_1, Q5_0, Q5_1, Q8_0, Q8_1 - \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, _1 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430  \u041c\u0435\u0442\u043a\u0438 \u0443\u0440\u043e\u0432\u043d\u044f \u0441\u0436\u0430\u0442\u0438\u044f\/\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438: K_L, K_M, K_S, K_G  K_L - Kvantization Low - \u041d\u0438\u0437\u043a\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438, \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c - \u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432 \u0441 \u043a\u0440\u0430\u0439\u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438 - \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f  K_M - Kvantization Medium - \u0421\u0440\u0435\u0434\u043d\u0438\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u043e\u0431\u044a\u0451\u043c\u043e\u043c - \u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447  K_S - Kvantization Small - \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u0430 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443, \u0434\u0430\u0436\u0435 \u0432 \u0443\u0449\u0435\u0440\u0431 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 - \u0427\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441 \u0434\u043b\u044f \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f  K_G - Kvantization General - \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c - \u0425\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 CPU  \u041f\u0440\u0438\u043c\u0435\u0440 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438: \"mistral-7b.Q4_K_M.gguf\" \u2014 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442: - \u041c\u043e\u0434\u0435\u043b\u044c Mistral 7B - \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 Q4_K (4-\u0431\u0438\u0442\u043d\u0430\u044f K-\u0431\u043b\u043e\u0447\u043d\u0430\u044f) - \u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u0430: Medium<\/code><\/pre>\n<h3>\u041f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 (Product Quantization)<\/h3>\n<p>\u041c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438), \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044f \u0438\u0445 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438 \u0438 \u043a\u043e\u0434\u0438\u0440\u0443\u044f \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u0448\u0430\u0431\u043b\u043e\u043d (\u043a\u043b\u0430\u0441\u0442\u0435\u0440).<\/p>\n<p><strong>\u041a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442:<\/strong><\/p>\n<p>\u0415\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 128 \u0447\u0438\u0441\u0435\u043b). \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u043b\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043e\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438.<\/p>\n<p>\u0420\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430 \u043a\u0443\u0441\u043a\u0438 \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 8 \u0447\u0430\u0441\u0442\u0435\u0439 \u043f\u043e 16 \u0447\u0438\u0441\u0435\u043b (128 \/ 8 = 16).<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043a\u0443\u0441\u043a\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u0441\u0432\u043e\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a (\u043a\u0432\u0430\u043d\u0442\u0430\u0439\u0437\u0435\u0440) \u2014 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f, \u043a\u0430\u043a\u0438\u0435 \u00ab\u0448\u0430\u0431\u043b\u043e\u043d\u044b\u00bb (\u0446\u0435\u043d\u0442\u0440\u044b \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432) \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043a\u0443\u0441\u043a\u0438.<br \/>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<br \/>\u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u0443\u0441\u043e\u043a \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u0448\u0430\u0431\u043b\u043e\u043d \u211612,<br \/>\u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u043d\u0430 \u0448\u0430\u0431\u043b\u043e\u043d \u21163,<br \/>\u0442\u0440\u0435\u0442\u0438\u0439 \u2014 \u043d\u0430 \u0448\u0430\u0431\u043b\u043e\u043d \u211688,<br \/>\u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p>\u0421\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u043e\u043c\u0435\u0440\u0430 \u044d\u0442\u0438\u0445 \u0448\u0430\u0431\u043b\u043e\u043d\u043e\u0432. \u0412\u043c\u0435\u0441\u0442\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f 128 \u0447\u0438\u0441\u0435\u043b (float32 = 512 \u0431\u0430\u0439\u0442), \u0445\u0440\u0430\u043d\u0438\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 8 \u0447\u0438\u0441\u0435\u043b (\u043f\u043e 1 \u0431\u0430\u0439\u0442\u0443 \u043d\u0430 \u0448\u0430\u0431\u043b\u043e\u043d) \u2014 \u0432\u0441\u0435\u0433\u043e 8 \u0431\u0430\u0439\u0442.<\/p>\n<p><strong>QAT (Quantization-Aware Training) \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435:<\/strong>\u044d\u0442\u043e \u043c\u0435\u0442\u043e\u0434 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u041e\u043d \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u043a\u0430\u043a \u0438 \u0443 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 float-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435 int8 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u0437\u0440\u044f\u0434\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b, \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u044b\u0435 \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u0430 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u0430\u0445 \u0438\u043b\u0438 \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430\u0445).<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 QAT \u2014 \u043f\u043e\u044d\u0442\u0430\u043f\u043d\u043e:<\/strong><\/p>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c \u0432 float32:<\/strong><br \/>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0435\u0439 \u0447\u0438\u0441\u043b\u0430 \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 (\u043e\u0431\u044b\u0447\u043d\u043e float32). \u042d\u0442\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<br \/><strong>\u0418\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u044f forward pass (fake quantization):<\/strong><br \/>\u041f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u0432\u043f\u0435\u0440\u0451\u0434 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (\u0432\u0435\u0441\u0430, \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438) \u044d\u043c\u0443\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435, \u0442.\u0435. \u043e\u043d\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0432 int8, \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 float32. \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u00ab\u0443\u0432\u0438\u0434\u0435\u0442\u044c\u00bb \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0449\u0451 \u043d\u0430 \u0441\u0442\u0430\u0434\u0438\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<pre><code>float32 \u2192 int8 \u2192 float32<\/code><\/pre>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f (backpropagation) \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u043e float32-\u0432\u0435\u0440\u0441\u0438\u0438, \u043d\u043e \u043e\u0448\u0438\u0431\u043a\u0438 \u0438\u0437-\u0437\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p><strong>\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (backward pass):<\/strong><\/p>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e, \u043d\u043e \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0438\u0441\u043a\u0430\u0436\u0435\u043d\u0438\u0439 \u043e\u0442 fake quantization. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432\u0435\u0441\u0430 \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0443\u0442 \u0432\u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u043d\u0438\u0437\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><strong>\u042d\u043a\u0441\u043f\u043e\u0440\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 int8:<\/strong><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0432 int8, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0438 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0438.<\/p>\n<p><strong>\u0427\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442\u0441\u044f:<\/strong><\/p>\n<p>\u0412\u0435\u0441\u0430 (weights) \u2014 float32 \u2192 int8<br \/>\u0410\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 (activations) \u2014 float32 \u2192 int8<br \/>(\u0418\u043d\u043e\u0433\u0434\u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0438 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043d\u043e \u044d\u0442\u043e \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c.)<\/p>\n<p><strong>\u0417\u0430\u0447\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c QAT:<\/strong><\/p>\n<p>\u0412\u044b\u0448\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0447\u0435\u043c \u0443 post-training quantization (PTQ)<br \/>\u041d\u0438\u0437\u043a\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438<br \/>\u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 CPU\/GPU\/NPUs \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 int8<br \/>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0438 embedded-\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Android)<\/p>\n<p><strong>\u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440.<\/strong><\/p>\n<h3>\u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u00a0(Transformer):<\/h3>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0442\u0430\u043b\u0430 \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a ChatGPT, BERT, LLaMA, Gemma \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435.<br \/>\u041e\u043d \u0431\u044b\u043b \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d \u0432 \u043d\u0430\u0443\u0447\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 2017 \u0433\u043e\u0434\u0430 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c \u201cAttention is All You Need\u201d.<br \/>\u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u2014 \u044d\u0442\u043e \u201c\u0443\u043c\u043d\u0430\u044f \u043c\u0430\u0448\u0438\u043d\u0430\u201d, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0443\u043c\u0435\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442, \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044f \u0432\u0441\u0435 \u0441\u043b\u043e\u0432\u0430 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u0430 \u043d\u0435 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443, \u043a\u0430\u043a \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, RNN, LSTM).<\/p>\n<h3>\u0421\u043b\u043e\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u00a0(Transformer Layers):<\/h3>\n<p>\u044d\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0438\u0435\u0441\u044f \u0431\u043b\u043e\u043a\u0438, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p><strong>\u041e\u0434\u0438\u043d \u0441\u043b\u043e\u0439 (\u0438\u043b\u0438 \u00ab\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u2011\u0431\u043b\u043e\u043a\u00bb) \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f:<\/strong><\/p>\n<p><strong>Self-Attention:<\/strong>\u0442\u043e\u043a\u0435\u043d \u201c\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u201d \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438 \u0440\u0435\u0448\u0430\u0435\u0442, \u043a\u0442\u043e \u0432\u0430\u0436\u0435\u043d.<\/p>\n<p><strong>Feed-Forward Network:<\/strong><br \/>\u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<p><strong>Layer Normalization \u0438\u043b\u0438 LayerNorm:<\/strong><br \/>\u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p><strong>Residual Connections:<\/strong><br \/>\u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u201c\u0437\u0430\u0431\u044b\u043b\u0430\u201d \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p>LayerNorm \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e \u0438\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 Residual (Pre-LN vs Post-LN).<\/p>\n<p>\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u044d\u0442\u0430\u043f\u044b.<\/p>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 (Transformer Block) \u2014 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435:<br \/>\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f,<br \/>\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043a \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c,<br \/>\u0434\u0430\u044e\u0442 \u0432\u0441\u0451 \u0431\u043e\u043b\u0435\u0435 \u201c\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0435\u201d \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u043c\u044b\u0441\u043b\u0430 \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p><strong>\u0427\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u00ab32\u00a0\u0441\u043b\u043e\u044f\u00bb:<\/strong><br \/>\u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 32 \u0442\u0430\u043a\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438, \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0434\u043d\u0443 \u0437\u0430 \u0434\u0440\u0443\u0433\u043e\u0439, \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0442\u043e\u043a\u0435\u043d \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0451 \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c, \u0442.\u0435. \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 (\u0432\u0435\u043a\u0442\u043e\u0440) \u0432\u0441\u0451 \u0433\u043b\u0443\u0431\u0436\u0435 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<p><strong>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (transformer layers):<\/strong><\/p>\n<pre><code>| \u041c\u043e\u0434\u0435\u043b\u044c                | \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0451\u0432 | |-----------------------|------------------| | LLaMA 1 (7B)          | 32               | | LLaMA 2 (7B)          | 32               | | LLaMA 2 (13B)         | 40               | | LLaMA 2 (70B)         | 80               | | LLaMA 3 (8B)          | 32               | | LLaMA 3 (70B)         | 80               | | Gemini 1.0 Pro        | 32               | | Gemini 1.0 Ultra      | 64               | | Gemini 1.5 Pro        | 64               | | Gemma 1 (2B)          | 18               | | Gemma 1 (7B)          | 28               | | Gemma 2 (9B)          | 32               | | Gemma 2 (27B)         | 40               | | Gemma 3 (12B)         | 36               | | Gemma 3 (27B)         | 48               | | Qwen 1.5 (7B)         | 32               | | Qwen 2 (7B)           | 28               | | Qwen 2.5 (7B)         | 28               | | DeepSeek LLM (7B)     | 30               | | DeepSeek LLM (67B)    | 95               | | DeepSeek-Coder (6.7B) | 32               | | DeepSeek-Coder (33B)  | 64               | | DeepSeek-R1| 95               |<\/code><\/pre>\n<h3>\u0410\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f (Activation):<\/h3>\n<p>\u044d\u0442\u043e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u044b\u0445\u043e\u0434\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0438 \u0441\u043b\u043e\u0435\u0432).<br \/>\u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u044d\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u201c\u0436\u0438\u0432\u0443\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0442\u0438\u201d \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0430 \u0432\u0445\u043e\u0434\u0430 \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<h3>\u0422\u0435\u043d\u0437\u043e\u0440 (Tensor)<\/h3>\n<p>\u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 \u0447\u0438\u0441\u0435\u043b, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441\u043b\u043e\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<br \/><strong>\u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:<\/strong><br \/>\u0422\u0435\u043a\u0441\u0442 \u2192 \u0442\u043e\u043a\u0435\u043d\u044b \u2192 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u2192 \u0442\u0435\u043d\u0437\u043e\u0440 batch_size \u00d7 seq_len \u00d7 embedding_dim.<br \/><strong>\u0412\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438:<\/strong><br \/>\u0412\u0435\u0441\u043e\u0432\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0432 \u0441\u043b\u043e\u044f\u0445 \u2014 \u0442\u043e\u0436\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b.<br \/><strong>\u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f (\u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438):<\/strong><br \/>\u0412\u044b\u0445\u043e\u0434 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, LayerNorm, Attention) \u2014 \u0442\u0435\u043d\u0437\u043e\u0440.<br \/><strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b:<\/strong><br \/>\u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b (\u0442\u0435\u043d\u0437\u043e\u0440\u044b) \u0434\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432.<\/p>\n<h3>\u0428\u0430\u0433 3: Positional Encoding \/ Embeddings<\/h3>\n<p>\u0411\u0435\u0437\u00a0\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0444\u0440\u0430\u0437\u044b:<br \/>\u00ab\u041a\u043e\u0442 \u0435\u0441\u0442 \u0440\u044b\u0431\u0443\u00bb<br \/>\u00ab\u0420\u044b\u0431\u0443 \u0435\u0441\u0442 \u043a\u043e\u0442\u00bb<br \/>\u043c\u043e\u0433\u043b\u0438\u00a0\u0431\u044b \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e, \u0432\u0435\u0434\u044c \u043d\u0430\u0431\u043e\u0440 \u0441\u043b\u043e\u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 (\u0441\u043b\u043e\u0432\u0443 \u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u0438 \u0441\u043b\u043e\u0432\u0430) \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u2014 \u043d\u0430\u0431\u043e\u0440 \u0447\u0438\u0441\u0435\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0441\u043b\u043e\u0432\u0430.<\/p>\n<pre><code>Token embedding + Positional Encoding \/ Embeddings = \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440<\/code><\/pre>\n<p><strong>Positional Encoding \/ Embedding \u044d\u0442\u043e:<\/strong><br \/>\u0412\u0435\u043a\u0442\u043e\u0440 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043a\u0430\u043a \u0443 \u0442\u043e\u043a\u0435\u043d\u0430 (d)<br \/>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u044e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<br \/>\u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u0434\u0430\u043d \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 (sin\/cos) \u0438\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c<br \/>\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<p><strong>\u041a\u0430\u043a\u043e\u0439 \u0442\u0438\u043f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u0445:<\/strong><\/p>\n<pre><code>| \u041c\u0435\u0442\u043e\u0434                       | \u041c\u043e\u0434\u0435\u043b\u044c\/\u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e            | \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435                                      | |-----------------------------|-----------------------------|-----------------------------------------------| | Sinusoidal Encoding         | Transformer                 | \u041d\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0441\u0438\u043d\u0443\u0441\u0430\u0445 \u0438           | |                             | (Vaswani et al., 2017)      | \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u0430\u0445 \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439                   | |-----------------------------|-----------------------------|-----------------------------------------------| | Learnable Embeddings        | BERT, GPT-2,                | \u041e\u0431\u0443\u0447\u0430\u0435\u043c\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u0439, \u043f\u043e\u0445\u043e\u0436\u0430 \u043d\u0430          | |                             | DistilBERT, ELECTRA         | \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0441\u043b\u043e\u0432                               | |-----------------------------|-----------------------------|-----------------------------------------------| | Rotary Positional Embedding | GPT-NeoX, LLaMA, LLaMA 2\/3, | \u0412\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u2014 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435   | | (RoPE)                      | ChatGLM, Mistral            | \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438                        | |-----------------------------|-----------------------------|-----------------------------------------------| | ALiBi                       | OPT, BLOOM, Phi-2           | \u041b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 bias, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a attention score, | |                             |                             | \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u0439                   | |-----------------------------|-----------------------------|-----------------------------------------------| | Relative Position Bias      | T5, DeBERTa, Transformer-XL,| \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0432\u043c\u0435\u0441\u0442\u043e     | |                             | Pegasus, LongT5             | \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439                            |<\/code><\/pre>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong>  <\/p>\n<pre><code>\u0422\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\u041f\u0440\u0438\u0432\u0435\u0442, \u043c\u0438\u0440\"  ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u043b\u043e\u0432\u0430: \"\u041f\u0440\u0438\u0432\u0435\u0442\" = 1123  \",\" = 15   \"\u043c\u0438\u0440\" = 345 \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 ID \u0442\u043e\u043a\u0435\u043d\u043e\u0432: [\"\u041f\u0440\u0438\u0432\u0435\u0442\", \",\", \"\u043c\u0438\u0440\"] = [1123, 15, 345]  Token embedding \u0438\u0437 \u0431\u0430\u0437\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f: ID \u0442\u043e\u043a\u0435\u043d\u0430 1123 = [0.034, 0.120, 0.905, ..., 0.028] ID \u0442\u043e\u043a\u0435\u043d\u0430 15 = [0.022, -0.010, -0.313, ..., 0.117] ID \u0442\u043e\u043a\u0435\u043d\u0430 345 = [-0.102, 0.241, 0.543, ..., 0.055]  \u041f\u043e\u0437\u0438\u0446\u0438\u044f ID \u0442\u043e\u043a\u0435\u043da \u0441\u043b\u043e\u0432\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: [1123, 15, 345] = [\u043f\u043e\u0437\u0438\u0446\u0438\u0438 0, \u043f\u043e\u0437\u0438\u0446\u0438\u0438 1, \u043f\u043e\u0437\u0438\u0446\u0438\u0438 2]  \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0437 \u0431\u0430\u0437\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438: \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0 = [0.001, 0.087, -0.432, ..., 0.019] \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 1 = [0.005, -0.013, 0.021, ..., -0.012] \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 2 = [-0.003, 0.099, -0.082, ..., 0.003]  \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u043b\u044f ID 1123: Token embedding [0.034, 0.120, 0.905, ..., 0.028] + \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0 [0.001, 0.087, -0.432, ..., 0.019] = [0.035, 0.207, 0.473, ..., 0.047] \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/code><\/pre>\n<h3>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Sinusoidal Position Encoding:<\/h3>\n<p>\u0421\u0438\u043d\u0443\u0441\u043e\u0438\u0434\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 Transformer-\u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043e \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, Transformer \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0443\u0447\u0435\u0442\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u044f\u0432\u043d\u043e \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<p><strong>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:<\/strong><\/p>\n<pre><code>pos - \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 0) i - \u0438\u043d\u0434\u0435\u043a\u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f (\u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 0) d_model - \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f (\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430) PE(pos, i) - i-\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u0438 pos. 10000 - \u044d\u0442\u043e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440. \u041e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0441\u0438\u043d\u0443\u0441\u043e\u0438\u0434. \u0412\u044b\u0431\u043e\u0440 \u044d\u0442\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0435\u0433\u043a\u043e \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u0442\u0435\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0430.  \u0422\u043e\u0433\u0434\u0430 i-\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u0438 pos: PE(pos, 2i) = sin(pos \/ 10000^(2i\/d_model)) PE(pos, 2i+1) = cos(pos \/ 10000^(2i\/d_model))<\/code><\/pre>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u043e\u0442\u044b (\u0434\u043b\u0438\u043d\u044b \u0432\u043e\u043b\u043d) \u0441\u0438\u043d\u0443\u0441\u043e\u0438\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0427\u0435\u0442\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u0438\u043d\u0443\u0441, \u0430 \u043d\u0435\u0447\u0435\u0442\u043d\u044b\u0435 \u2014 \u043a\u043e\u0441\u0438\u043d\u0443\u0441. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043f\u043e \u0440\u0430\u0437\u043d\u044b\u043c \u0444\u0430\u0437\u0430\u043c \u0438 \u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u0430\u043c.<\/p>\n<p>\u0414\u0435\u043b\u0435\u043d\u0438\u0435 pos \u043d\u0430 10000^(2i\/d_model) \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0441\u0438\u043d\u0443\u0441\u043e\u0438\u0434\u044b \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f i.<\/p>\n<p>\u042d\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043b\u0435\u0431\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<pre><code>pos = 0 (\u043f\u0435\u0440\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d) d_model = 4 (\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f)  \u0422\u043e\u0433\u0434\u0430 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f PE(0) \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c 4.   \u0412\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442:  i = 0: PE(0, 0) = sin(0 \/ 10000^(2*0\/4)) = sin(0) = 0 PE(0, 1) = cos(0 \/ 10000^(2*0\/4)) = cos(0) = 1  i = 1: PE(0, 2) = sin(0 \/ 10000^(2*1\/4)) = sin(0) = 0 PE(0, 3) = cos(0 \/ 10000^(2*1\/4)) = cos(0) = 1  PE(0) = [0, 1, 0, 1]  \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f pos = 1:  i = 0: PE(1, 0) = sin(1 \/ 10000^(2*0\/4)) = sin(1) \u2248 0.8415 PE(1, 1) = cos(1 \/ 10000^(2*0\/4)) = cos(1) \u2248 0.5403  i = 1: PE(1, 2) = sin(1 \/ 10000^(2*1\/4)) = sin(0.01) \u2248 0.01 PE(1, 3) = cos(1 \/ 10000^(2*1\/4)) = cos(0.01) \u2248 1  PE(1) = [0.8415, 0.5403, 0.01, 1]<\/code><\/pre>\n<p><strong>\u0412\u0430\u0436\u043d\u043e:<\/strong><\/p>\n<p>\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 Transformer-\u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0442\u0430\u0431\u043b\u0438\u0446\u0430.<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c, \u043f\u0440\u0438 \u043f\u043e\u0434\u0430\u0447\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0412\u044b\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 10000 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p><strong>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f:<\/strong><\/p>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u0443\u044e \u043f\u043e\u0437\u0438\u0446\u0438\u044e \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u0432\u0432\u043e\u0434\u044f\u0442\u00a0<strong>\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435<\/strong>\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (\u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435) \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0430\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043d\u0435 \u0438\u0445 \u00ab\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0443\u044e\u00bb \u043f\u043e\u0437\u0438\u0446\u0438\u044e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><strong>\u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u043d\u044b \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f:<\/strong><\/p>\n<p>\u041f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0432\u0430\u0436\u043d\u043e, \u043a\u0430\u043a \u0434\u0430\u043b\u0435\u043a\u043e \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u043b\u0435\u0436\u0430\u0442 \u0441\u043b\u043e\u0432\u0430, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0445 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b.<\/p>\n<p>\u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043f\u043b\u043e\u0445\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0447\u0435\u043c \u0442\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c.<\/p>\n<p>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0434\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c: \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u00ab\u0447\u0442\u043e \u043d\u0430 3 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432\u043f\u0440\u0430\u0432\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u00bb, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0442\u043e\u0433\u043e, \u0433\u0434\u0435 \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>Transformer-XL, \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432:<\/p>\n<pre><code>\u0412 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c self-attention \u0441\u0447\u0438\u0442\u0430\u0435\u043c: score_{i,j} = (Q_i \u00b7 K_j) \/ sqrt(d_k)  \u0412 Transformer-XL \u0432\u0432\u043e\u0434\u044f\u0442 \u0434\u0432\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432: E^R[r] \u2014 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0434\u043b\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0434\u0432\u0438\u0433\u0430 r = j - i U, V \u2014 \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430-\u0441\u0434\u0432\u0438\u0433\u0430  \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430:  Q_i\u00b7E^R[j-i] - \u043a\u043e\u043d\u0442\u0435\u043d\u0442-\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0449\u0430\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 V\u00b7E^R[j-i] - \u043a\u043e\u043d\u0442\u0435\u043d\u0442-\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u0447\u0430\u0441\u0442\u044c, \u0437\u0430\u0434\u0430\u044e\u0449\u0430\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0439 bias \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f  score_{i,j} = (1\/\u221ad_k) * (Q_i\u00b7K_j + Q_i\u00b7E^R[j-i] + U\u00b7K_j + V\u00b7E^R[j-i])<\/code><\/pre>\n<h3>\u0428\u0430\u0433 4: Attention, Self-Attention (\u0412\u0435\u043a\u0442\u043e\u0440 \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u044f, Q,K,V-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u0438 \u0420\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u043d\u0430 \u0413\u043e\u043b\u043e\u0432\u044b \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Multi-Head Attention)<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u043c\u0435\u044e\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u201c\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u201d, \u043d\u043e \u0438 \u201c\u043f\u043e\u0437\u0438\u0446\u0438\u044e\u201d, \u043e\u043d\u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c self-attention, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u043e\u0432\u0430, \u0447\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c, \u043d\u0430 \u043a\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445 \u043c\u043d\u0435 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0441\u0432\u043e\u0439 \u0441\u043c\u044b\u0441\u043b.<\/p>\n<p>\u042d\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435: \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c \u0441\u043b\u043e\u0432\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>Self-Attention \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u2014 \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432\u0430\u0436\u043d\u044b \u0434\u0440\u0443\u0433 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0430, \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c, \u043d\u0430 \u0447\u0442\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0441\u043c\u044b\u0441\u043b\u0430.<\/p>\n<h3>Softmax:<\/h3>\n<p>\u044d\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0435\u0440\u0451\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0432\u0435\u043a\u0442\u043e\u0440 \u0447\u0438\u0441\u0435\u043b \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0435\u0433\u043e \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0433\u0434\u0435 \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b \u0438 \u0432 \u0441\u0443\u043c\u043c\u0435 \u0434\u0430\u044e\u0442 1.<\/p>\n<pre><code>softmax(z\u1d62) = exp(z\u1d62) \/ \u2211\u2c7c exp(z\u2c7c)<\/code><\/pre>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0442\u0440\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430:<\/strong><\/p>\n<p><strong>Q (\u0432\u043e\u043f\u0440\u043e\u0441):<\/strong>\u00a0\u0447\u0442\u043e \u044f \u0438\u0449\u0443?<br \/><strong>K (\u043a\u043b\u044e\u0447):<\/strong>\u00a0\u0447\u0442\u043e \u044f \u043c\u043e\u0433\u0443 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c?<br \/><strong>V (\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435):<\/strong>\u00a0\u043a\u0430\u043a\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u044f \u043d\u0435\u0441\u0443?<\/p>\n<p>\u041a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 Q \u0441 K \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u043d\u0430 \u043a\u043e\u0433\u043e \u0441\u0442\u043e\u0438\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u0443\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 V \u0442\u0435\u0445 \u0441\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0432\u0430\u0436\u043d\u044b\u043c\u0438.<\/p>\n<p>\u0414\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0435\u0441\u043e\u0432 \u0441\u043b\u043e\u044f- \u044d\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043d\u0430 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438. \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f, \u043f\u043e\u0442\u043e\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u00ab\u0443\u043c\u043d\u043e\u0439\u00bb \u0437\u0430 \u0441\u0447\u0451\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u041a\u0430\u043a \u043e\u043d\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f:<\/strong><br \/>\u041d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f (backpropagation) \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d) \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 Wq, Wk, Wv \u043f\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u043e\u0448\u0438\u0431\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Adam).<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b Wq, Wk \u0438 Wv \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u0449\u0438\u043c\u0438 \u0438\u043b\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0433\u043e\u043b\u043e\u0432, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p><strong>Wq (Query Projection):<\/strong><br \/>\u0421\u043e\u0437\u0434\u0430\u0451\u0442 \u201c\u0432\u043e\u043f\u0440\u043e\u0441\u201d \u2014 \u0447\u0442\u043e \u0442\u043e\u043a\u0435\u043d \u0445\u043e\u0447\u0435\u0442 \u043d\u0430\u0439\u0442\u0438 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445.<br \/>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<pre><code>Q \u0442\u043e\u043a\u0435\u043d\u0430 = \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0442\u043e\u043a\u0435\u043d\u0430 X * \u0412\u0435\u0441 \u0441\u043b\u043e\u044f Wq<\/code><\/pre>\n<p><strong>Wk (Key Projection): <\/strong>\u0421\u043e\u0437\u0434\u0430\u0451\u0442 \u00ab\u043a\u043b\u044e\u0447\u00bb\u00a0\u2014 \u0447\u0442\u043e\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u0438\u043c. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441\u00a0Q (\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e Q\u1d62 \u00ab\u043f\u043e\u0445\u043e\u0436\u00bb \u043d\u0430\u00a0K\u2c7c). <\/p>\n<pre><code>K \u0442\u043e\u043a\u0435\u043d\u0430 = \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0442\u043e\u043a\u0435\u043d\u0430 X * \u0412\u0435\u0441 \u0441\u043b\u043e\u044f Wk<\/code><\/pre>\n<p><strong>Wv (Value Projection): <\/strong>\u0421\u043e\u0437\u0434\u0430\u0451\u0442 \u00ab\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e\u00bb, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0442\u043e\u043a\u0435\u043d \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u043d\u0430\u00a0\u043d\u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u043b\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. <\/p>\n<pre><code>V \u0442\u043e\u043a\u0435\u043d\u0430 = \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0442\u043e\u043a\u0435\u043d\u0430 X * \u0412\u0435\u0441 \u0441\u043b\u043e\u044f Wv<\/code><\/pre>\n<p><strong>\u0413\u043e\u043b\u043e\u0432\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attention-head):<\/strong><br \/>\u0422\u0430\u043a\u0436\u0435 \u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0413\u043e\u043b\u043e\u0432\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attention-head). \u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attention-head) \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e-\u0441\u0432\u043e\u0435\u043c\u0443, \u0447\u0435\u0440\u0435\u0437 \u0441\u0432\u043e\u0438 Q, K, V \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438, \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u0423 \u043a\u0430\u0436\u0434\u043e\u0439 attention-head \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u044f \u0442\u043e\u0447\u043a\u0430 \u0437\u0440\u0435\u043d\u0438\u044f:<\/strong><br \/>\u043e\u0434\u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0443 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0434\u043b\u0435\u0436\u0430\u0449\u0435\u0435 \u0438 \u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u0435),<br \/>\u0434\u0440\u0443\u0433\u0430\u044f \u2014 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0442\u043e \u043d\u0430 \u0447\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442),<br \/>\u0442\u0440\u0435\u0442\u044c\u044f \u2014 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0442. \u0434.<br \/>\u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0439 \u201c\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f\u201d \u2014 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e.<\/p>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0432\u0438\u0434\u0438\u0442 \u0432\u0435\u0441\u044c \u0442\u0435\u043a\u0441\u0442, \u043d\u043e \u2014 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u043f\u043e-\u0441\u0432\u043e\u0435\u043c\u0443, \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044e \u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><br \/>\u0412 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438<br \/>\u201c\u041c\u0430\u043b\u044c\u0447\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u0440\u0436\u0430\u043b \u043c\u044f\u0447, \u0443\u0431\u0435\u0436\u0430\u043b.\u201d<br \/>\u0420\u0430\u0437\u043d\u044b\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u043c\u043e\u0433\u0443\u0442 \u0432\u0438\u0434\u0435\u0442\u044c<br \/>\u0413\u043e\u043b\u043e\u0432\u0430 1: \u201c\u043c\u0430\u043b\u044c\u0447\u0438\u043a\u201d \u2194 \u201c\u0443\u0431\u0435\u0436\u0430\u043b\u201d \u2192 \u043a\u0442\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435<br \/>\u0413\u043e\u043b\u043e\u0432\u0430 2: \u201c\u043a\u043e\u0442\u043e\u0440\u044b\u0439\u201d \u2194 \u201c\u0434\u0435\u0440\u0436\u0430\u043b\u201d \u2192 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0432\u044f\u0437\u044c<br \/>\u0413\u043e\u043b\u043e\u0432\u0430 3: \u201c\u043c\u044f\u0447\u201d \u2194 \u201c\u0434\u0435\u0440\u0436\u0430\u043b\u201d \u2192 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<br \/>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0432\u044b\u0434\u0430\u0451\u0442 \u0441\u0432\u043e\u0451 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0441\u0432\u043e\u0438\u0445 \u201c\u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439\u201d.<\/p>\n<p><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Multi-Head Attention (MHA):<\/strong>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f self-attention, \u043a\u0430\u043a \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u00a0<em>\u201cAttention is All You Need\u201d<\/em>.<br \/><strong>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442:<\/strong><br \/>\u0415\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043e\u043b\u043e\u0432<br \/>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u0438 Wq, Wk, Wv<br \/>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u043e-\u0441\u0432\u043e\u0435\u043c\u0443 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0441\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<br \/>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u0441\u0435\u0445 \u0433\u043e\u043b\u043e\u0432 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u0449\u0443\u044e Wo<br \/><strong>\u041f\u043b\u044e\u0441\u044b:<\/strong><br \/>\u0413\u0438\u0431\u043a\u043e\u0441\u0442\u044c: \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u201c\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u201d \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e-\u0441\u0432\u043e\u0435\u043c\u0443<br \/>\u041e\u0442\u043b\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u0445<br \/><strong>\u041c\u0438\u043d\u0443\u0441\u044b:<\/strong><br \/>\u041e\u0447\u0435\u043d\u044c \u0434\u043e\u0440\u043e\u0433\u043e \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0433\u043e\u043b\u043e\u0432<br \/>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445<\/p>\n<p><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Multi-Query Attention (MQA):<\/strong>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0432 GPT-3.5, PaLM, Gemma \u0438 \u0434\u0440\u0443\u0433\u0438\u0445, \u0447\u0442\u043e\u0431\u044b \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441.<br \/><strong>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442:<\/strong><br \/>\u041f\u043e \u043e\u0434\u043d\u043e\u0439 Wq \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0443<br \/>\u0422\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d Wk \u0438 \u043e\u0434\u0438\u043d Wv<br \/>\u0412\u0441\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043a\u043b\u044e\u0447\u0438 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f<br \/><strong>\u041f\u043b\u044e\u0441\u044b:<\/strong><br \/>\u041c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438: K \u0438 V \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0435<br \/>\u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f: \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0448\u0430\u0433\u0430\u043c\u0438<br \/><strong>\u041c\u0438\u043d\u0443\u0441\u044b:<\/strong><br \/>\u041c\u0435\u043d\u044c\u0448\u0435 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u0438 (\u0432\u0441\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u201c\u0441\u043c\u043e\u0442\u0440\u044f\u0442\u201d \u043d\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 K \u0438 V)<br \/>\u041c\u043e\u0436\u0435\u0442 \u0441\u043b\u0435\u0433\u043a\u0430 \u0443\u0445\u0443\u0434\u0448\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445<\/p>\n<p><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Grouped Query Attention (GQA):<\/strong><br \/>\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0445\u043e\u0434 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 2\u0445<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><br \/>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 Gemma 3 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Grouped Query Attention (GQA)- \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c Multi-Head Attention (MHA) \u0438 Multi-Query Attention (MQA). \u0412 \u044d\u0442\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b Wq (\u0434\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432) \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043c\u0430\u0442\u0440\u0438\u0446\u044b Wk (\u0434\u043b\u044f \u043a\u043b\u044e\u0447\u0435\u0439) \u0438 Wv (\u0434\u043b\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439) \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u0449\u0438\u043c\u0438 \u0434\u043b\u044f \u0433\u0440\u0443\u043f\u043f \u0433\u043e\u043b\u043e\u0432.<br \/>\u0412 \u044d\u0442\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438:<br \/>Wq: \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u044e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 Wq, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u0435 \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0430\u0441\u043f\u0435\u043a\u0442\u0430\u0445 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<br \/>Wk \u0438 Wv: \u0433\u043e\u043b\u043e\u0432\u044b \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u044b, \u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0449\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 Wk \u0438 Wv. \u042d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u043e\u0431\u044a\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439.<br \/>\u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e 8 \u0433\u043e\u043b\u043e\u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Wq) \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 4 \u0433\u0440\u0443\u043f\u043f\u044b, \u043a\u0430\u0436\u0434\u0430\u044f \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043e\u0431\u0449\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (Wk \u0438 Wv).<\/p>\n<p><strong>\u0412 \u0438\u0442\u043e\u0433\u0435, \u043c\u043e\u0434\u0435\u043b\u044c Gemma 3 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 27B \u0438\u043c\u0435\u0435\u044280 \u0441\u043b\u043e\u0435\u0432 \u0438 64 \u0433\u043e\u043b\u043e\u0432\u044b, \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u0443\u0434\u0443\u0442:<\/strong><br \/>64 \u0440\u0430\u0437\u043d\u044b\u0445 Wq (Query Projection)<br \/>8 \u0440\u0430\u0437\u043d\u044b\u0445 Wk (Key Projection)<br \/>8 \u0440\u0430\u0437\u043d\u044b\u0445 Wv (Value Projection)<br \/>64 \u0440\u0430\u0437\u043d\u044b\u0445 Wo (Output Projection)<br \/>80 MLP \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 (Feed-Forward Network)<br \/>80 LayerNorm \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0433\u0430\u043c\u043c\u0430\/\u0431\u0435\u0442\u0430-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438<\/p>\n<p><strong>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attention heads) \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/strong><\/p>\n<pre><code>| \u041c\u043e\u0434\u0435\u043b\u044c                  | \u041a\u043e\u043b-\u0432\u043e attention heads | |-------------------------|------------------------| | LLaMA 1\/2               | 32                     | | LLaMA 3                 | 32 \/ 64 \/ 128          | | Gemini 1.0\/1.5          | \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e             | | Gemma 1\/2               | 16                     | | Gemma 3                 | 8                      | | Qwen 1.5                | 40 (Q) \/ 8 (KV)        | | Qwen 2                  | 40 (Q) \/ 8 (KV)        | | Qwen 2.5                | 40 (Q) \/ 8 (KV)        | | DeepSeek LLM            | 32 (7B) \/ GQA (67B)    | | DeepSeek-Coder          | 16 \/ 32 \/ 56           | | DeepSeek V2\/V3          | 128                    | | DeepSeek-R1             | 128                    |<\/code><\/pre>\n<p><strong>\u041a\u0430\u0443\u0437\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (Causal Masking):<\/strong>\u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. \u041a\u043e\u0433\u0434\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (LLM) \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442, \u043e\u043d\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043b\u043e\u0432\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u043b\u043e\u0432.<br \/>\u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0422\u043e\u043a\u0435\u043d \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0438\u043c\u0435\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0442\u043e\u043a\u0435\u043d\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0434\u0443\u0442 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0433\u043e.<br \/>\u0427\u0442\u043e\u0431\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u044d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u0443\u0437\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u2014 \u044d\u0442\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u201c\u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442\u201d \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044e \u0432\u0438\u0434\u0435\u0442\u044c \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b.<\/p>\n<p><strong>\u041a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442:<\/strong><br \/>\u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c self-attention \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u201c\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u201d \u043d\u0430 \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0438 \u0431\u0443\u0434\u0443\u0449\u0438\u0435.<br \/>\u041f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u044d\u0442\u043e \u043d\u0435\u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u201c\u0436\u0443\u043b\u044c\u043d\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c\u201d \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0438\u0434\u0438\u0442 \u043e\u0442\u0432\u0435\u0442 \u0437\u0430\u0440\u0430\u043d\u0435\u0435.<br \/>\u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u0442\u044c, \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 attention \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u043c\u0430\u0441\u043a\u0443 \u2014 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e attention mask.<br \/>\u0414\u043b\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u0438\u043d\u044b n \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0430\u044f \u043c\u0430\u0441\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439:<br \/>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0448\u0435 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 -\u221e \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e.<br \/>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f softmax, \u0438 \u044d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432 \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435.<\/p>\n<pre><code>\u041f\u0440\u0438\u043c\u0435\u0440 \u043c\u0430\u0441\u043a\u0438 (\u0434\u043b\u044f n = 4 \u0442\u043e\u043a\u0435\u043d\u043e\u0432): [  [0, -\u221e, -\u221e, -\u221e],  [0,  0, -\u221e, -\u221e],  [0,  0,  0, -\u221e],  [0,  0,  0,  0] ]  \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442: \u0422\u043e\u043a\u0435\u043d 0 \u0432\u0438\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0431\u044f. \u0422\u043e\u043a\u0435\u043d 1 \u0432\u0438\u0434\u0438\u0442 \u0441\u0435\u0431\u044f \u0438 \u0442\u043e\u043a\u0435\u043d 0. \u0422\u043e\u043a\u0435\u043d 2 \u0432\u0438\u0434\u0438\u0442 \u0441\u0435\u0431\u044f, \u0442\u043e\u043a\u0435\u043d 1 \u0438 \u0442\u043e\u043a\u0435\u043d 0. \u0422\u043e\u043a\u0435\u043d 3 \u0432\u0438\u0434\u0438\u0442 \u0432\u0441\u0451, \u0447\u0442\u043e \u0434\u043e \u043d\u0435\u0433\u043e.<\/code><\/pre>\n<p><strong>\u0413\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Causal Masking:<\/strong><br \/>GPT, LLaMA, Mistral, Gemma \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u0430\u0432\u0442\u043e\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043a\u0430\u0443\u0437\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<br \/>BERT, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 bidirectional attention \u2014 \u0442\u043e\u043a\u0435\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u0432\u0435\u0441\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 (\u0432 \u0442.\u0447. \u0431\u0443\u0434\u0443\u0449\u0435\u0435), \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u2014 \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f, \u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435.<\/p>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e, \u0431\u0435\u0437 causal masking:<\/strong><br \/>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u201c\u043f\u043e\u0434\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0442\u044c\u201d \u043d\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 (\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d).<br \/>\u042d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u0442 \u043a \u043f\u043b\u043e\u0445\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 inference, \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e.<\/p>\n<p><strong>\u0420\u043e\u043b\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432 Self-Attention:<\/strong><br \/>\u0411\u0435\u0437 Position Encoding, Self-Attention \u0432\u0438\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043c\u044b\u0441\u043b \u0441\u043b\u043e\u0432, \u043d\u043e \u043d\u0435 \u0438\u0445 \u043f\u043e\u0440\u044f\u0434\u043e\u043a. \u0421 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c Position Encoding, Self-Attention \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e, \u043d\u043e \u0438 \u0433\u0434\u0435 \u044d\u0442\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f:<br \/>\u201c\u041c\u0430\u043b\u044c\u0447\u0438\u043a\u201d \u0440\u0430\u043d\u044c\u0448\u0435 \u201c\u0447\u0438\u0442\u0430\u043b\u201d \u2192 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043e\u043d \u0441\u0443\u0431\u044a\u0435\u043a\u0442<br \/>\u201c\u041a\u043d\u0438\u0433\u0430\u201d \u0440\u044f\u0434\u043e\u043c \u0441 \u201c\u0447\u0438\u0442\u0430\u043b\u201d \u2192 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043e\u0431\u044a\u0435\u043a\u0442<\/p>\n<p><strong>\u0427\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440:<\/strong><br \/>\u041a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438<br \/>\u0427\u0435\u0440\u0435\u0437 self-attention \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u201c\u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u201d \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435:<br \/>\u201c\u0427\u0442\u043e \u0432\u044b \u0437\u043d\u0430\u0447\u0438\u0442\u0435 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0432 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435?\u201d<br \/>\u041c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u043c\u044b\u0441\u043b\u0430 \u0432\u0441\u0435\u0439 \u0444\u0440\u0430\u0437\u044b<br \/>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u044d\u0442\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435 (\u043e\u0431\u044b\u0447\u043d\u043e 12\u201340 \u0440\u0430\u0437), \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u044f \u201c\u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u201d<\/p>\n<pre><code>\u0422\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\u041f\u0440\u0438\u0432\u0435\u0442, \u043c\u0438\u0440\"  ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0438\u0437 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: \"\u041f\u0440\u0438\u0432\u0435\u0442\" = 1123  \",\" = 15  \"\u043c\u0438\u0440\" = 345 \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 ID \u0442\u043e\u043a\u0435\u043d\u043e\u0432: [\"\u041f\u0440\u0438\u0432\u0435\u0442\", \",\", \"\u043c\u0438\u0440\"] = [1123, 15, 345]  Token embedding \u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u0437 \u0431\u0430\u0437\u044b \u043c\u043e\u0434\u0435\u043b\u0438: \"\u041f\u0440\u0438\u0432\u0435\u0442\" = ID 1123 = [0.034, 0.120, 0.905, ..., 0.028] \",\" = ID 15 = [0.022, -0.010, -0.313, ..., 0.117] \"\u043c\u0438\u0440\" = ID 345 = [-0.102, 0.241, 0.543, ..., 0.055]  \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0437 \u0431\u0430\u0437\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438: \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \"\u041f\u0440\u0438\u0432\u0435\u0442\" = [0.001, 0.087, -0.432, ..., 0.019] \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \",\" = [0.005, -0.013, 0.021, ..., -0.012] \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \"\u043c\u0438\u0440\" = [-0.003, 0.099, -0.082, ..., 0.003]  \u0414\u043b\u044f \"\u041f\u0440\u0438\u0432\u0435\u0442\": Token embedding [0.034, 0.120, 0.905, ..., 0.028] + \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 [0.001, 0.087, -0.432, ..., 0.019] = \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 X [0.035, 0.207, 0.473, ..., 0.047]  \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u0435\u0441\u043e\u0432 \u0434\u043b\u044f \u0441\u043b\u043e\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f: Q = X * Wq \u0433\u043e\u043b\u043e\u0432\u044b K  = X * Wk \u0433\u043e\u043b\u043e\u0432\u044b V = X * Wv \u0433\u043e\u043b\u043e\u0432\u044b \u0433\u0434\u0435 X \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u0430 Wq, Wk, Wv - \u043e\u0431\u0449\u0438\u0435 \u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u043e\u0435, \u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b  \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: Wq \u0433\u043e\u043b\u043e\u0432\u044b = [[0.1, 0.2, 0.3], [0.4, 0.5, 0.6], [0.7, 0.8, 0.9], [1.0, 1.1, 1.2]] Wk \u0433\u043e\u043b\u043e\u0432\u044b = [[0.12, 0.22, 0.32], [0.42, 0.52, 0.62], [0.72, 0.82, 0.92], [1.02, 1.12, 1.22]] Wv \u0433\u043e\u043b\u043e\u0432\u044b = [[0.11, 0.21, 0.31], [0.41, 0.51, 0.61], [0.71, 0.81, 0.91], [1.01, 1.11, 1.21]]  \u0422\u043e\u0433\u0434\u0430:  Q \"\u041f\u0440\u0438\u0432\u0435\u0442\" = x * Wq = [0.035, 0.207, 0.473, 0.047] * Wq  Q[0] = 0.035 * 0.1 + 0.207 * 0.4 + 0.473 * 0.7 + 0.047 * 1.0      \u2248 0.0035 + 0.0828 + 0.3311 + 0.047      \u2248 0.4644  Q[1] = 0.035*0.2 + 0.207*0.5 + 0.473*0.8 + 0.047*1.1      = 0.007 + 0.1035 + 0.3784 + 0.0517      \u2248 0.5406  Q[2] = 0.035*0.3 + 0.207*0.6 + 0.473*0.9 + 0.047*1.2      = 0.0105 + 0.1242 + 0.4257 + 0.0564      \u2248 0.6168  Q = [0.4644, 0.5406, 0.6168]  \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0434\u043b\u044f \"\u041f\u0440\u0438\u0432\u0435\u0442\": K = [0.47964, 0.55684, 0.63204] V = [0.47299, 0.54822, 0.62442] \u0438 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/code><\/pre>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Attention Score \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438:<\/strong>\u041d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 Q, K \u0438 V \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u043e\u0434\u043d\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044e attention score \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0435\u0436\u0434\u0443 \u201c\u041f\u0440\u0438\u0432\u0435\u0442\u201d \u0438 \u201c\u043c\u0438\u0440\u201d, \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b:<\/p>\n<p><strong>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:<\/strong><\/p>\n<pre><code>Q - \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (Queries) K - \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u043a\u043b\u044e\u0447\u0435\u0439 (Keys) V - \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 (Values) d_k - \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430  Attention(Q, K, V) = softmax((Q * K\u1d40) \/ \u221ad_k + mask) * V  Q * K\u1d40 - \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 Q \u043d\u0430 \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 K.  \u042d\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \"\u0441\u044b\u0440\u044b\u0435\" \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0436\u0434\u044b\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u043a\u0430\u0436\u0434\u044b\u043c \u043a\u043b\u044e\u0447\u043e\u043c.  \u221ad_k - \u043a\u043e\u0440\u0435\u043d\u044c \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u044b\u0439 \u0438\u0437 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043a\u043b\u044e\u0447\u0430 (dimension of key vectors).  \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f  \u0432 softmax, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c \u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438.  \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Scaled Dot-Product Attention.  mask - \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0412 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f causal mask (\u043a\u0430\u0443\u0437\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435) \u2014 \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u0443 \"\u0432\u0438\u0434\u0435\u0442\u044c \u0432\u043f\u0435\u0440\u0451\u0434\" \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.  \u042d\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d.  softmax(...) - \u0444\u0443\u043d\u043a\u0446\u0438\u044f softmax \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443 \u0434\u0435\u043b\u0435\u043d\u0438\u044f Q \u22c5 K\u1d40  \u043d\u0430 \u221ad_k (\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f mask, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u0435\u0441\u0442\u044c). \u042d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f  \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432 1 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430.  \u0423\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 softmax \u043d\u0430 V \u0434\u0430\u0435\u0442 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439,  \u0433\u0434\u0435 \u0432\u0435\u0441\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f attention score.<\/code><\/pre>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong>  <\/p>\n<pre><code>\u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:   | \u0422\u043e\u043a\u0435\u043d    | Q-\u0432\u0435\u043a\u0442\u043e\u0440                 | K-\u0432\u0435\u043a\u0442\u043e\u0440                 |  V-\u0432\u0435\u043a\u0442\u043e\u0440              | |----------|--------------------------|--------------------------|------------------------| | \"\u041f\u0440\u0438\u0432\u0435\u0442\" | [0.4644, 0.5406, 0.6168] | [0.4796, 0.5568, 0.6320] |  [0.473, 0.548, 0.624] | |----------|--------------------------|--------------------------|------------------------| | \",\"      |[0.2, 0.3, 0.1]           | [0.25, 0.35, 0.15]       |  [0.12, 0.09, 0.04]    | |----------|--------------------------|--------------------------|------------------------| | \"\u043c\u0438\u0440\"    | [0.55, 0.33, 0.77]       | [0.5213, 0.5967, 0.6721] |  [0.55, 0.65, 0.75]    |  \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c d_k \u0434\u043b\u044f Q, K = 3 (\u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430)  \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435:  \u041f\u0440\u0438\u0432\u0435\u0442\u2013\u041f\u0440\u0438\u0432\u0435\u0442: 0.4644*0.4796 + 0.5406*0.5568 + 0.6168*0.6320 \u2248 0.2228 + 0.3011 + 0.3899 = 0.9138 \u041f\u0440\u0438\u0432\u0435\u0442\u2013\",\": 0.4644*0.25 + 0.5406*0.35 + 0.6168*0.15 \u2248 0.1161 + 0.1892 + 0.0925 = 0.3978 \u041f\u0440\u0438\u0432\u0435\u0442\u2013\u043c\u0438\u0440: 0.4644*0.5213 + 0.5406*0.5967 + 0.6168*0.6721 \u2248 0.2422 + 0.3225 + 0.4147 = 0.9794 \",\"\u2013\u041f\u0440\u0438\u0432\u0435\u0442: 0.2*0.4796 + 0.3*0.5568 + 0.1*0.6320 \u2248 0.0959 + 0.1670 + 0.0632 = 0.3261 \",\"\u2013\",\": 0.2*0.25 + 0.3*0.35 + 0.1*0.15 = 0.05 + 0.105 + 0.015 = 0.17 \",\"\u2013\u043c\u0438\u0440: 0.2*0.5213 + 0.3*0.5967 + 0.1*0.6721 \u2248 0.1043 + 0.1790 + 0.0672 = 0.3505 \u043c\u0438\u0440\u2013\u041f\u0440\u0438\u0432\u0435\u0442: 0.55*0.4796 + 0.33*0.5568 + 0.77*0.6320 \u2248 0.2638 + 0.1837 + 0.4876 = 0.9351 \u043c\u0438\u0440\u2013\",\": 0.55*0.25 + 0.33*0.35 + 0.77*0.15 \u2248 0.1375 + 0.1155 + 0.1155 = 0.3685 \u043c\u0438\u0440\u2013\u043c\u0438\u0440: 0.55*0.5213 + 0.33*0.5967 + 0.77*0.6721 \u2248 0.2867 + 0.1969 + 0.5185 = 1.0021 \u0414\u0435\u043b\u0438\u043c \u043d\u0430 \u221ad_k = \u221a3 \u2248 1.732  | From \\ To | \u041f\u0440\u0438\u0432\u0435\u0442                  | \",\"                     | \u043c\u0438\u0440                     | | --------- | ----------------------- | ----------------------- | ----------------------- | | \u041f\u0440\u0438\u0432\u0435\u0442    | 0.9138 \/ 1.732 \u2248 0.5275 | 0.3978 \/ 1.732 \u2248 0.2296 | 0.9794 \/ 1.732 \u2248 0.5652 | | \",\"       | 0.3261 \/ 1.732 \u2248 0.1882 | 0.17 \/ 1.732 \u2248 0.0982   | 0.3505 \/ 1.732 \u2248 0.2023 | | \u043c\u0438\u0440       | 0.9351 \/ 1.732 \u2248 0.5397 | 0.3685 \/ 1.732 \u2248 0.2127 | 1.0021 \/ 1.732 \u2248 0.5786 |    \u041f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u0434\u043b\u044f \"\u041f\u0440\u0438\u0432\u0435\u0442\": exp(0.5275) \u2248 1.694 exp(0.2296) \u2248 1.258 exp(0.5652) \u2248 1.759  \u0421\u0443\u043c\u043c\u0430 \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442 \u0434\u043b\u044f \"\u041f\u0440\u0438\u0432\u0435\u0442\":  1.694 + 1.258 + 1.759 \u2248 4.711  softmax = exp(x) \/ \u0441\u0443\u043c\u043c\u0430 \u0432\u0441\u0435\u0445 exp(x)  Softmax \u0432\u0435\u0441 \u0434\u043b\u044f \"\u041f\u0440\u0438\u0432\u0435\u0442\" \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432:  | \u0422\u043e\u043a\u0435\u043d  | Softmax \u0432\u0435\u0441          | | ------ | -------------------- | | \u041f\u0440\u0438\u0432\u0435\u0442 | 1.694 \/ 4.711 \u2248 0.36 | | \",\"    | 1.258 \/ 4.711 \u2248 0.27 | | \u043c\u0438\u0440    | 1.759 \/ 4.711 \u2248 0.37 |    \u041a\u043e\u0433\u0434\u0430 \"\u041f\u0440\u0438\u0432\u0435\u0442\" \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u0432\u043e\u0451 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 (\u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 attention \u0441\u043b\u043e\u044f), \u043e\u043d: \u0431\u0435\u0440\u0451\u0442 36% \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0435\u0431\u044f, 27% \u043e\u0442 \",\", \u0438 37% \u043e\u0442 \u0441\u043b\u043e\u0432\u0430 \"\u043c\u0438\u0440\".  \u0412\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435:  Output= 0.36 \u2217 V(\"\u041f\u0440\u0438\u0432\u0435\u0442\") + 0.27 \u2217 V(\",\") + 0.37 \u2217 V(\"\u043c\u0438\u0440\")  \u041a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430 1 = 0.36\u22170.473+0.27\u22170.12+0.37\u22170.55\u22480.1703+0.0324+0.2035 \u2248 0.4062 \u041a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430 2 = 0.36\u22170.548+0.27\u22170.09+0.37\u22170.65\u22480.1973+0.0243+0.2405 \u2248 0.4621 \u041a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430 3 = 0.36\u22170.624+0.27\u22170.04+0.37\u22170.75\u22480.2246+0.0108+0.2775 \u2248 0.5129  Attention Score \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u0430 \"\u041f\u0440\u0438\u0432\u0435\u0442\": [0.4062, 0.4621, 0.5129]<\/code><\/pre>\n<p>\u042d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 Attention Score \u2014 \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0447\u0442\u0451\u043d \u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442: \u0438 \u0441\u0430\u043c \u043e\u043d, \u0438 \u0441\u043e\u0441\u0435\u0434\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043f\u043e\u0442\u043e\u043c \u0438\u0434\u0443\u0442\u00a0\u043b\u0438\u0431\u043e \u0432\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 attention\u2011\u0441\u043b\u043e\u0439,\u00a0\u043b\u0438\u0431\u043e \u043d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u0441\u0430\u043c \u0441\u00a0\u0441\u043e\u0431\u043e\u0439 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0432\u00a0self\u2011attention \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u00ab\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u00bb \u043d\u0430\u00a0\u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u0430\u043c \u0441\u0435\u0431\u044f.<br \/>\u042d\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u043b\u044f\u00a0\u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b:<br \/>\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u00a0\u0441\u0430\u043c\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435\u00a0\u2014 \u0438\u043d\u0430\u0447\u0435 \u043e\u043d\u00a0\u0431\u044b \u00ab\u0442\u0435\u0440\u044f\u043b\u0441\u044f\u00bb \u043d\u0430\u00a0\u0444\u043e\u043d\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445.<\/p>\n<p>\u041d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u00ab\u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0442\u044c\u00bb \u0438\u043b\u0438 \u00ab\u043f\u043e\u0434\u0430\u0432\u043b\u044f\u0442\u044c\u00bb \u0441\u0435\u0431\u044f\u00a0\u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u00a0\u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445 \u0442\u043e\u043a\u0435\u043d \u0432\u0430\u0436\u0435\u043d \u0441\u0430\u043c \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,\u00a0\u043b\u0438\u0447\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e\u0438\u043c\u0435\u043d\u0438\u0435), \u0430\u00a0\u0438\u043d\u043e\u0433\u0434\u0430 \u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u0430\u0436\u043d\u0435\u0435.<br \/>\u041e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044e\u00a0\u2014 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u0430\u044f (n \u00d7 n), \u0438 \u043f\u043e\u00a0\u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u0438\u00a0\u2014 \u044d\u0442\u043e \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 self\u2011to\u2011self attention.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e attention\u00a0\u2014 \u044d\u0442\u043e \u0432\u0435\u0441\u0430, \u043f\u043e\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0442\u043e\u043a\u0435\u043d \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u0442\u00a0\u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0432 \u0442.\u0447. \u043e\u0442\u00a0\u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0435\u0431\u044f) \u0438 w1\u00a0\u2014 \u044d\u0442\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u043a\u00a0\u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0435\u0431\u0435. \u0415\u0441\u043b\u0438 \u0435\u0433\u043e \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u0442\u044c\u00a0\u2014 \u0442\u043e\u043a\u0435\u043d \u00ab\u041f\u0440\u0438\u0432\u0435\u0442\u00bb \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435\u00a0\u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u00a0\u0431\u044b \u0432\u00a0\u0441\u0432\u043e\u0435\u043c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u0435.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440:<br \/>\u041e\u043d \u0441\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e\u00a0\u043e\u043d \u043f\u0440\u0438\u0434\u0435\u0442.<br \/>\u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u043e\u043a\u0435\u043d \u00ab\u043e\u043d\u00bb, \u0435\u0439 \u043d\u0443\u0436\u043d\u043e:<br \/>\u00ab\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u00bb \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b\u00a0\u2014 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442,<br \/>\u043d\u043e\u00a0\u0438 \u0441\u0430\u043c \u0442\u043e\u043a\u0435\u043d \u00ab\u043e\u043d\u00bb \u0442\u043e\u0436\u0435 \u0432\u0430\u0436\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u00a0\u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u00a0\u0442\u043e\u043c, \u043e\u00a0\u043a\u043e\u043c \u0438\u0434\u0435\u0442 \u0440\u0435\u0447\u044c.<\/p>\n<h3>\u0428\u0430\u0433 5: \u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Head Concatenation, Concatenated Multi-Head Attention)<\/h3>\n<p>\u041f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u044b \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u0430\u043f\u043e\u043c\u043d\u044e, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0437\u043d\u044b\u0435 \u0438\u0437 \u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 Wq, Wk, Wv \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432.<\/p>\n<p><strong>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:<\/strong><\/p>\n<pre><code>h - \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f d_k - \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 Attention Score \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b AttentionScore_i - \u0432\u0435\u043a\u0442\u043e\u0440 Attention Score \u0434\u043b\u044f i-\u0439 \u0433\u043e\u043b\u043e\u0432\u044b.  Concatenation (\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c):  concat = [AttentionScore_1, AttentionScore_2, ..., AttentionScore_h]<\/code><\/pre>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong>  <\/p>\n<pre><code>\u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:  \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c: 6 (2 \u0433\u043e\u043b\u043e\u0432\u044b \u00d7 \u043f\u043e 3 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f)  \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f h = 2 \u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 d_k = 3 \"\u041f\u0440\u0438\u0432\u0435\u0442\" \u0434\u043b\u044f \u0433\u043e\u043b\u043e\u0432\u044b 1 AttentionScore_1 = [0.4062, 0.4621, 0.5129] \"\u041f\u0440\u0438\u0432\u0435\u0442\" \u0434\u043b\u044f \u0433\u043e\u043b\u043e\u0432\u044b 2 AttentionScore_2 = [0.22, 0.33, 0.44]  \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435:  Concatenation (\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c):  concat[0] = AttentionScore_1[0] = 0.4062 concat[1] = AttentionScore_1[1] = 0.4621 concat[2] = AttentionScore_1[2] = 0.5129 concat[3] = AttentionScore_2[0] = 0.22 concat[4] = AttentionScore_2[1] = 0.33 concat[5] = AttentionScore_2[2] = 0.44  concat = [0.4062, 0.4621, 0.5129, 0.22, 0.33, 0.44]<\/code><\/pre>\n<h3>\u0428\u0430\u0433 6: Output Projection (Wo)<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f attention-\u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u043e\u043b\u043e\u0432, \u043e\u043d\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 (Dense Layer), \u0447\u0442\u043e\u0431\u044b \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0438\u0445 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p><strong>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:<\/strong><\/p>\n<pre><code>concat \u2208 \u211d\u2076 - \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 W\u2092 \u2208 \u211d\u2076\u02e3\u00b3 - \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 output \u2208 \u211d\u00b3 - \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438  \u0423\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435: output = concat \u2022 W\u2092  \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430: output[0] = concat[0]*W_o[0][0] + concat[1]*W_o[1][0] + concat[2]*W_o[2][0] + concat[3]*W_o[3][0] + concat[4]*W_o[4][0] + concat[5]*W_o[5][0]  \u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u043e, \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b: output_j = \u2211_{i=1}^{6} concat_i \u22c5 W_o[i][j]     \u0434\u043b\u044f j = 1, 2, 3  \u041c\u0430\u0442\u0440\u0438\u0447\u043d\u043e: output = concat (1x6) \u22c5 W_o (6x3) = (1x3)<\/code><\/pre>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong>  <\/p>\n<pre><code>\u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:  \u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 d_model = 3  \u0417\u043d\u0430\u0447\u0438\u0442, \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 W_o \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c  \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c (6, 3), \u0442.\u0435. 6 \u0432\u0445\u043e\u0434\u043e\u0432 \u2192 3 \u0432\u044b\u0445\u043e\u0434\u0430 W_o = [   [0.1, 0.2, 0.3],   [0.0, 0.1, 0.0],   [0.2, 0.0, 0.1],   [0.1, 0.2, 0.2],   [0.0, 0.1, 0.3],   [0.3, 0.0, 0.1] ]  \u0412\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0441\u043b\u0435 concat: concat = [0.4062, 0.4621, 0.5129, 0.22, 0.33, 0.44]  \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435:  x = 0.4062*0.1 + 0.4621*0.0 + 0.5129*0.2 + 0.22*0.1 + 0.33*0.0 + 0.44*0.3   = 0.04062 + 0 + 0.10258 + 0.022 + 0 + 0.132   = 0.2972  y = 0.4062*0.2 + 0.4621*0.1 + 0.5129*0.0 + 0.22*0.2 + 0.33*0.1 + 0.44*0.0   = 0.08124 + 0.04621 + 0 + 0.044 + 0.033 + 0   = 0.2045  z = 0.4062*0.3 + 0.4621*0.0 + 0.5129*0.1 + 0.22*0.2 + 0.33*0.3 + 0.44*0.1   = 0.12186 + 0 + 0.05129 + 0.044 + 0.099 + 0.044   = 0.3602  \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 output \u0432\u0435\u043a\u0442\u043e\u0440: output = [0.2972, 0.2045, 0.3602]<\/code><\/pre>\n<h3>\u0428\u0430\u0433 7: \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Residual (\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f)<\/h3>\n<p>\u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u0430 \u0441\u043b\u043e\u044f \u0441 \u0435\u0433\u043e \u0432\u044b\u0445\u043e\u0434\u043e\u043c. \u041c\u044b \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0432\u044b\u0445\u043e\u0434 \u0441 \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434 \u0431\u043b\u043e\u043a\u0430 (input embedding \u0438\u043b\u0438 \u0432\u044b\u0445\u043e\u0434 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u044f).<\/p>\n<p><strong>\u042d\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b:<\/strong><br \/>\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e (\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043b\u0435\u0433\u0447\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u0437\u0430\u0434).<br \/>\u0418\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u201c\u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u044f\u201d \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u0447\u0435\u0440\u0435\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0451\u0432.<br \/>\u041e\u0431\u043b\u0435\u0433\u0447\u0438\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u0430\u0436\u0435 \u043e\u0447\u0435\u043d\u044c \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439.<\/p>\n<pre><code>\u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:  \u0412\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 input = [0.035, 0.207, 0.473]  \u0412\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 output = [0.2972, 0.2045, 0.3602]  \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435:  residual = output + input = residual = [0.3322, 0.4115, 0.8332]<\/code><\/pre>\n<h3>\u0428\u0430\u0433 8: \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u044f (Layer Normalization)<\/h3>\n<p>\u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (feature dimension).<\/p>\n<p><strong>\u0417\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e:<\/strong><br \/>\u0423\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438.<br \/>\u0414\u0435\u043b\u0430\u0435\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c.<br \/>\u0423\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438.<br \/>\u041b\u0443\u0447\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u0440\u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0431\u0430\u0442\u0447\u0430\u0445, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 BatchNorm.<\/p>\n<p><strong>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:<\/strong><\/p>\n<pre><code>\u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (mean): \u03bc = (1\/n) * \u2211 x\u2099  \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 (std): \u03c3 = sqrt((1\/n) * \u2211 (x\u2099 - \u03bc)^2 + \u03b5) \u0413\u0434\u0435 \u03b5 - \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 \u0447\u0438\u0441\u043b\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u043e\u043b\u044c.  \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442: \u0302x\u2099 = (x\u2099 - \u03bc) \/ \u03c3  \u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c \u0438 \u0441\u043c\u0435\u0449\u0430\u0435\u043c (\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b): y\u2099 = \u03b3 * \u0302x\u2099 + \u03b2<\/code><\/pre>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong>  <\/p>\n<pre><code>\u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:  x = [0.5972, 0.3045, 0.5602]  \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435:  \u0412\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435: \u03bc = (0.5972 + 0.3045 + 0.5602) \/ 3 = 1.4619 \/ 3 \u2248 0.4873  \u0412\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435: \u03c3 = sqrt(((0.5972 - 0.4873)^2 + (0.3045 - 0.4873)^2 + (0.5602 - 0.4873)^2) \/ 3)    = sqrt((0.0121 + 0.0334 + 0.0053) \/ 3)    = sqrt(0.0169) \u2248 0.13  \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u043c: \u0302x\u2081 = (0.5972 - 0.4873) \/ 0.13 \u2248 0.845 \u0302x\u2082 = (0.3045 - 0.4873) \/ 0.13 \u2248 -1.405 \u0302x\u2083 = (0.5602 - 0.4873) \/ 0.13 \u2248 0.561  \u041f\u043e\u0441\u043b\u0435 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u044f \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f (\u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c): \u2248 [0.87, -1.13, 0.26]<\/code><\/pre>\n<h3>\u0428\u0430\u0433 9: FFN\u00a0(Feed-Forward Network) \u0438\u00a0MLP (Multilayer Perceptron)<\/h3>\n<p><strong>FFN (Feed-Forward Network):<\/strong><br \/>\u044d\u0442\u043e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u043e\u0432\u043e (\u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d) \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0431\u0435\u0437 \u0443\u0447\u0435\u0442\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u041e\u043d \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u043f\u043e\u0441\u043b\u0435 \u0441\u043b\u043e\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0434\u0432\u0443\u0445\u0441\u043b\u043e\u0439\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0441 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438.<\/p>\n<p>\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<p><strong>MLP (Multilayer Perceptron):<\/strong><br \/>\u044d\u0442\u043e \u0442\u0438\u043f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u043e\u0435\u0432 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432. \u0412 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 LLM \u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 MLP \u0447\u0430\u0441\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0442\u0443 \u0436\u0435 \u0441\u0430\u043c\u0443\u044e Feed-Forward Network (FFN).<\/p>\n<p>MLP = \u043e\u0431\u0449\u0435\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b,<br \/>FFN = \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 MLP, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p><strong>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:<\/strong><\/p>\n<pre><code>x - \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 d W1-\u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0435\u0441\u043e\u0432 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 (d_ff \u00d7 d) b1-\u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 d_ff W2-\u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0435\u0441\u043e\u0432 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 (d \u00d7 d_ff) b2-\u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 d f-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ReLU \u0438\u043b\u0438 GELU) d-\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0432\u0445\u043e\u0434\u0430\/\u0432\u044b\u0445\u043e\u0434\u0430 d_ff-\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f (\u043e\u0431\u044b\u0447\u043d\u043e d_ff = 4 \u00d7 d)  \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 FFN: FFN(x) = W2 \u00b7 f(W1 \u00b7 x + b1) + b2  \u041f\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435:  \u041b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c z1: (d_ff \u00d7 1): z1 = W1 \u00b7 x + b1  \u041d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e, \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f: z2 = f(z1)  \u0412\u0442\u043e\u0440\u043e\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0442\u043e \u0438 x: (d \u00d7 1): y = W2 \u00b7 z2 + b2<\/code><\/pre>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong>  <\/p>\n<pre><code>\u0412\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:  \u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f d = 4, \u0412\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c d_ff = 8, \u0410\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f: ReLU, \u0412\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440:  x = [x[0], x[1], x[2], x[3]] = [1.0, -2.0, 0.5, 3.0]  \u043c\u0430\u0442\u0440\u0438\u0446\u0430 8x4 W1 =  [   [1, 0, 0, 0],   [0, 1, 0, 0],   [0, 0, 1, 0],   [0, 0, 0, 1],   [1, 1, 1, 1],   [1, -1, 1, -1],   [0.5, 0.5, 0.5, 0.5],   [-1, -1, -1, -1] ]  \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435:  y[0] = 1 * x[0] + 0 * x[1] + 0 * x[2] + 0 * x[3] = 1.0 + 0 + 0 + 0 = 1.0 y[1] = 0 * x[0] + 1 * x[1] + 0 * x[2] + 0 * x[3] = 0 - 2.0 + 0 + 0 = -2.0 y[2] = 0 * x[0] + 0 * x[1] + 1 * x[2] + 0 * x[3] = 0 + 0 + 0.5 + 0 = 0.5 y[3] = 0 * x[0] + 0 * x[1] + 0 * x[2] + 1 * x[3] = 0 + 0 + 0 + 3.0 = 3.0 y[4] = 1 * x[0] + 1 * x[1] + 1 * x[2] + 1 * x[3] = 1.0 - 2.0 + 0.5 + 3.0 = 2.5 y[5] = 1 * x[0] + (-1) * x[1] + 1 * x[2] + (-1) * x[3] = 1.0 + 2.0 + 0.5 - 3.0 = 0.5 y[6] = 0.5 * x[0] + 0.5 * x[1] + 0.5 * x[2] + 0.5 * x[3] = 0.5 - 1.0 + 0.25 + 1.5 = 1.25 y[7] = -1 * x[0] + (-1) * x[1] + (-1) * x[2] + (-1) * x[3] = -1.0 + 2.0 - 0.5 - 3.0 = -2.5  \u0412\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0441\u043b\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f (\u0434\u043e \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438): y = [1.0, -2.0, 0.5, 3.0, 2.5, 0.5, 1.25, -2.5]  \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c ReLU: ReLU(y[i]) = max(0, y[i])  ReLU(y) = [1.0, 0.0, 0.5, 3.0, 2.5, 0.5, 1.25, 0.0]<\/code><\/pre>\n<h3>\u0428\u0430\u0433 10: Residual + LayerNorm (\u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438)<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 FFN \u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443 \u0441\u043d\u043e\u0432\u0430 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0432\u0445\u043e\u0434 \u044d\u0442\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 (\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0448\u0430\u0433\u0430 6) \u0438 \u0441\u043d\u043e\u0432\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u2014 \u044d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0447\u0451\u0442\u044b<\/p>\n<h3>\u0428\u0430\u0433 11: \u041f\u043e\u0434\u0430\u0447\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0431\u043b\u043e\u043a\u0430 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440-\u0431\u043b\u043e\u043a<\/h3>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u0435\u0433\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0431\u043b\u043e\u043a\u0443. \u0422\u0430\u043a\u0438\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0441\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u00ab\u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u00bb \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<h3>\u0428\u0430\u0433 12: \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f LayerNorm \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u043b\u043e\u043a\u0430<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043b\u043e\u044f \u0435\u0449\u0451 \u0440\u0430\u0437 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 LayerNorm \u2014 \u044d\u0442\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0448\u0442\u0440\u0438\u0445 \u043f\u0435\u0440\u0435\u0434 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u043b\u043e\u0433\u0438\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0441\u0433\u043b\u0430\u0434\u0438\u0442\u044c \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/p>\n<h3>\u0428\u0430\u0433 13: \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432 \u043b\u043e\u0433\u0438\u0442\u044b (Logits Projection) + Softmax<\/h3>\n<p>\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043b\u043e\u044f \u0443\u043c\u043d\u043e\u0436\u0430\u044e\u0442 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u0438\u043b\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043b\u043e\u0439), \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u00ab\u0441\u044b\u0440\u044b\u0435\u00bb \u043e\u0446\u0435\u043d\u043a\u0438 (logits) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u044f. \u0417\u0430\u0442\u0435\u043c \u044d\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Softmax \u0438\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442 \u0432 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b \u0434\u043b\u044f \u043e\u0442\u0431\u043e\u0440\u043a\u0438 \u0442\u043e\u043a\u0435\u043d\u0430<\/p>\n<p><strong>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 logits:<\/strong><br \/>\u00ab\u0441\u044b\u0440\u044b\u0435\u00bb \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0435\u0449\u0451 \u043d\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<br \/>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 50\u202f000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u043e logits \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e 50\u202f000 \u0447\u0438\u0441\u0435\u043b, \u043e\u0434\u043d\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 (hidden state).<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0434\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e\u0442 hidden state \u0432 \u043b\u043e\u0433\u0438\u0442\u044b \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e \u2014 \u043e\u0446\u0435\u043d\u043a\u0443 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<p><strong>\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 Linear Layer:<\/strong><\/p>\n<pre><code>logits = hidden_state @ W\u1d40 + b  hidden_state: \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 (\u0438\u043b\u0438 \u0432\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u2014 \u043d\u043e \u0447\u0430\u0449\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0442\u043e\u043a\u0435\u043d), W\u1d40: \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (\u0440\u0430\u0437\u043c\u0435\u0440 [vocab_size, hidden_dim]), b: \u0441\u0434\u0432\u0438\u0433 (bias), \u0447\u0430\u0441\u0442\u043e \u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438.<\/code><\/pre>\n<p>\u043f\u043e\u0447\u0442\u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 LLM \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f weight tying \u2014 \u0442\u043e \u0435\u0441\u0442\u044c W\u1d40 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u0438\u0437 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043b\u043e\u044f, \u0447\u0442\u043e \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435. \u042d\u0442\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h3>\u0428\u0430\u0433 14: \u0412\u044b\u0431\u043e\u0440 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (sampling)<\/h3>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 logits \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u043e\u0432: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0448\u0442\u0440\u0430\u0444\u044b \u0437\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u044f \u0438 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430, \u0437\u0430\u0442\u0435\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u044b (top-k, top-p \u0438 \u0434\u0440.), \u0430 \u0432 \u043a\u043e\u043d\u0446\u0435 \u2014 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u043c\u043f\u043b\u0435\u0440 (\u043c\u0438\u0440\u043e\u0441\u0442\u0430\u0442, \u0436\u0430\u0434\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u0438\u043b\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435) . \u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u0442\u043e\u043a\u0435\u043d \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0441 \u0448\u0430\u0433\u0430 1 \u0434\u043e \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0446\u0430 \u0438\u043b\u0438 \u043d\u0443\u0436\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b.<\/p>\n<p>\u0412 \u0431\u0435\u043a\u0435\u043d\u0434\u0435\u00a0<strong>LLama.cpp<\/strong>\u00a0\u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u043e\u0432, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435, \u0437\u0430\u0442\u0435\u043c \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u0442\u044c\u0441\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u043e\u043c.<br \/>\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u043e\u0432 \u0432 llama.cpp:<\/p>\n<pre><code>1. \u0428\u0442\u0440\u0430\u0444\u044b \u0437\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044b:    - repeat_penalty    - frequency_penalty    - presence_penalty  2. \u041c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u043e\u0433\u0438\u0442\u043e\u0432:    - temperature  3. \u0424\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432:    - top_k    - top_p    - min_p    - typical_p    - tfs_z  4. \u0413\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f:    - grammar  5. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u0442\u043e\u043a\u0435\u043d\u0430:    - mirostat (v1 \u0438\u043b\u0438 v2) \u0438\u043b\u0438    - greedy \/ random sampling<\/code><\/pre>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 LLama.cpp (\u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432):  <\/p>\n<pre><code>\/\/ \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 struct llama_sampler_chain_params sparams = llama_sampler_chain_default_params(); llama_sampler * smpl = llama_sampler_chain_init(sparams);  \/\/ \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b: llama_sampler_chain_add(smpl, llama_sampler_init_top_k (50)); \/\/ Top-K llama_sampler_chain_add(smpl, llama_sampler_init_top_p (0.9f, 1)); \/\/ Top-P (nucleus) llama_sampler_chain_add(smpl, llama_sampler_init_min_p (0.8f, 1)); \/\/ Min-P llama_sampler_chain_add(smpl, llama_sampler_init_typical (0.95f, 1)); \/\/ Locally Typical llama_sampler_chain_add(smpl, llama_sampler_init_temp (0.7f)); \/\/ Temperature llama_sampler_chain_add(smpl, llama_sampler_init_temp_ext (0.7f, 0.1f, 1.5f));  \/\/ Extended temp llama_sampler_chain_add(smpl, llama_sampler_init_xtc (0.9f, 1.0f, 1, LLAMA_DEFAULT_SEED)); \/\/ XTC llama_sampler_chain_add(smpl, llama_sampler_init_top_n_sigma(1.5f)); \/\/ Top-n\u03c3  llama_sampler_chain_add(smpl, llama_sampler_init_grammar(vocab, grammar, \"root\")); llama_sampler_chain_add(smpl,llama_sampler_init_grammar_lazy_patterns(vocab, grammar, \"root\", patterns, 2, tokens, N));  \/\/ \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u043c\u043f\u043b\u0435\u0440, \u0442\u043e\u043b\u044c\u043a\u043e 1 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438\u0437: llama_sampler_chain_add(smpl, llama_sampler_init_mirostat(32000, LLAMA_DEFAULT_SEED, 5.0f, 0.1f, 100)); \/\/ Mirostat V1 llama_sampler_chain_add(smpl, llama_sampler_init_mirostat_v2(LLAMA_DEFAULT_SEED, 5.0f, 0.1f)); \/\/ Mirostat V2 llama_sampler_chain_add(smpl, llama_sampler_init_greedy()); \/\/ Greedy llama_sampler_chain_add(smpl, llama_sampler_init_dist(LLAMA_DEFAULT_SEED)); \/\/ Dist  \/\/ \u043f\u043e\u0441\u043b\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0435 \u0437\u0430\u0431\u044b\u0442\u044c \u043e\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0442\u044c \u0446\u0435\u043f\u043e\u0447\u043a\u0443: llama_sampler_free(smpl);<\/code><\/pre>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u043e\u0432 \u0438\u0437 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f  <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/86a\/9dd\/574\/86a9dd5744a412279c97344ff35e502c.png\" width=\"768\" height=\"1707\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/86a\/9dd\/574\/86a9dd5744a412279c97344ff35e502c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/86a\/9dd\/574\/86a9dd5744a412279c97344ff35e502c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/af2\/25c\/c4c\/af225cc4c89568d3577240fb49f6d936.png\" width=\"691\" height=\"1536\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/af2\/25c\/c4c\/af225cc4c89568d3577240fb49f6d936.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/af2\/25c\/c4c\/af225cc4c89568d3577240fb49f6d936.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b<\/h3>\n<h3>Temperature (temp):<\/h3>\n<p>\u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u044c\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0441\u0443\u0436\u0430\u0435\u0442 \u0438\u043b\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442 \u00ab\u0432\u043e\u0440\u043e\u043d\u043a\u0443 \u0432\u044b\u0431\u043e\u0440\u0430\u00bb \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u0432\u0430. \u0427\u0435\u043c \u043e\u043d\u0430 \u043d\u0438\u0436\u0435 \u2014 \u0442\u0435\u043c \u0443\u0436\u0435 \u0432\u043e\u0440\u043e\u043d\u043a\u0430, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u2014 \u0442\u0435\u043c \u0448\u0438\u0440\u0435.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043b\u0430 \u043b\u043e\u0433\u0438\u0442\u044b (\u0441\u044b\u0440\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439) \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043e\u043d\u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 softmax-\u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e:<\/p>\n<pre><code>P(token) = softmax(logits \/ temperature)<\/code><\/pre>\n<p><strong>\u042d\u0444\u0444\u0435\u043a\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 temperature:<\/strong>T = 1 \u043b\u043e\u0433\u0438\u0442\u044b \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0435\u0441\u0442\u044c.T &lt; 1 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 0.7) \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u043c\u0438. \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u043c.T &gt; 1 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 1.5) \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u2014 \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u0448\u0430\u043d\u0441 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043c\u0435\u043d\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d. \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c \u0438 \u0440\u0438\u0441\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u043c.T \u2192 0 softmax \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 argmax, \u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0441\u0430\u043c\u044b\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d.  <\/p>\n<pre><code>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u043b\u043e\u0433\u0438\u0442\u044b: Token A: 3.0 Token B: 2.5 Token C: 1.0  \u041f\u043e\u0441\u043b\u0435 softmax \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f (temp = 1.0): A: 64% B: 24% C: 12%      \u0421 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u043d\u043e\u0439 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u043e\u0439 (temp = 0.5): A: 85% B: 13% C: 2%    \u0421 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u043d\u043e\u0439 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u043e\u0439 (temp = 1.5): A: 47% B: 31% C: 22%<\/code><\/pre>\n<h3>Top-k:<\/h3>\n<p>\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 k \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0445. \u0412\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0438\u0445 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<pre><code>\u0435\u0441\u0442\u044c 6 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438: A: 0.35 B: 0.30 C: 0.15 D: 0.10 E: 0.06 F: 0.04  \u0415\u0441\u043b\u0438 top_k = 3, \u0442\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e: A: 0.35 B: 0.30 C: 0.15<\/code><\/pre>\n<h3>Top-p (nucleus sampling):<\/h3>\n<p>\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438, \u0441\u0443\u043c\u043c\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 p. \u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0442\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0438\u043c\u0435\u043b\u0438 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u0440\u0430\u043d\u0433.<\/p>\n<pre><code>\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u043b\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432: A: 0.50   B: 0.25   C: 0.15   D: 0.08   E: 0.02  \u041f\u0440\u0438 min_p = 0.1, \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e: A, B, C D \u0438 E \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0431\u0440\u043e\u0448\u0435\u043d\u044b, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0431\u0449\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u0435\u043d\u044c\u0448\u0435 1.0 \u2014 \u043f\u043e\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f.<\/code><\/pre>\n<h3>Min-p:<\/h3>\n<p>\u043e\u0442\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0438\u0436\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430\u00a0<code>p<\/code>. \u041e\u043d \u0436\u0451\u0441\u0442\u043a\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0431\u043e\u0440, \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0438\u0445 \u0440\u0430\u043d\u0433\u0430 \u0438\u043b\u0438 \u043e\u0431\u0449\u0435\u0439 \u0441\u0443\u043c\u043c\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u043a\u0430\u043a \u0432 top-p.<\/p>\n<h3>Typical sampling:<\/h3>\n<p>\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u044b, \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043a \u00ab\u0442\u0438\u043f\u0438\u0447\u043d\u043e\u043c\u0443\u00bb \u0443\u0440\u043e\u0432\u043d\u044e \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e\u0441\u0442\u0438 (surprisal), \u043e\u0442\u0441\u0435\u043a\u0430\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0435 \u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0440\u0435\u0434\u043a\u0438\u0435. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 top-k \u0438 top-p, \u043e\u043d \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 surprisal, \u0430 \u043d\u0435 \u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<h3>Repetition penalties, Frequency penalty, Presence penalty:<\/h3>\n<p>\u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0448\u0430\u043d\u0441\u044b \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u0443\u0436\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u044b. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043d\u0430\u0432\u044f\u0437\u0447\u0438\u0432\u044b\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u044b\u0432\u043e\u0434 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c.<\/p>\n<h3>Logit bias:<\/h3>\n<p>\u043c\u0435\u0442\u043e\u0434, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0435\u0440\u0435\u0434 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c softmax, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0438\u043b\u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u043e\u0432. \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c: \u043c\u043e\u0436\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u0438\u043b\u0438, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0447\u0430\u0449\u0435 \u0438\u0445 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c.<\/p>\n<h3>Tail Free Sampling (TFS):<\/h3>\n<p>\u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u00ab\u0445\u0432\u043e\u0441\u0442\u00bb \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<p>\u0438 \u0434\u0440\u0443\u0433\u0438\u0435<\/p>\n<h3>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u044b<\/h3>\n<h3>Greedy:<\/h3>\n<p>\u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u043e\u043a\u0435\u043d \u0441 \u043d\u0430\u0438\u0432\u044b\u0441\u0448\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e (\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u0433\u0438\u0442). \u041e\u043d \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439, \u043d\u043e \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043e\u0434\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u043c\u0443 \u0442\u0435\u043a\u0441\u0442\u0443.<\/p>\n<h3>Random:<\/h3>\n<p>\u0432\u044b\u0431\u043e\u0440 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0435\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0441\u0435\u043c\u043f\u043b\u0435\u0440\u043e\u0432 (top-k, top-p \u0438 \u0442.\u0434.). \u042d\u0442\u043e \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0436\u0430\u0434\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 (greedy), \u0433\u0434\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u0442\u043e\u043a\u0435\u043d \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<h3>Dist:<\/h3>\n<p>\u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0449\u0438\u0445 \u0443\u0436\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0432\u0448\u0438\u0435\u0441\u044f n-\u0433\u0440\u0430\u043c\u043c\u044b, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u043e\u0441\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u0430. \u041e\u043d \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u044b, \u0434\u0435\u043b\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e\u0439.<\/p>\n<h3>Mirostat v1:<\/h3>\n<p>\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u00ab\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u044f\u00bb (\u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438), \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u044f \u0432\u044b\u0431\u043e\u0440 \u0441\u043b\u043e\u0432. \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0447\u0440\u0435\u0437\u043c\u0435\u0440\u043d\u044b\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 (\u043b\u043e\u0432\u0443\u0448\u043a\u0430 \u0441\u043a\u0443\u043a\u0438) \u0438 \u0431\u0435\u0441\u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u0438 (\u043b\u043e\u0432\u0443\u0448\u043a\u0430 \u043f\u0443\u0442\u0430\u043d\u0438\u0446\u044b), \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044f \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<h3>Mirostat v2:<\/h3>\n<p>\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e\u0441\u0442\u0438 (\u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u0438) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0447\u0435\u043c Mirostat v1. \u041e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0431\u043e\u0440 \u0441\u043b\u043e\u0432 \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<h3>Grammar:<\/h3>\n<p>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0438 (\u043e\u0431\u044b\u0447\u043d\u043e \u0432 \u0432\u0438\u0434\u0435 CFG) \u0434\u043b\u044f \u0436\u0451\u0441\u0442\u043a\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u0412\u043c\u0435\u0441\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043b\u043e\u0433\u0438\u0442\u043e\u0432, \u043e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u043a\u0438, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434.<\/p>\n<p>\u0438 \u0434\u0440\u0443\u0433\u0438\u0435<\/p>\n<h3>\u0428\u0430\u0433 15: \u0418\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0440\u0430\u043b\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u043e\u043d \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0435\u0446 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442\u0441\u044f: \u0442\u0435\u043f\u0435\u0440\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u201c\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e\u201d \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043b\u044e\u0441 \u043d\u043e\u0432\u043e\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439.<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a \u0448\u0430\u0433\u0443 1 (\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f), \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043f\u0440\u0435\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0446\u0438\u043a\u043b \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0441\u044e \u0432\u044b\u0445\u043e\u0434\u043d\u0443\u044e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c.<\/p>\n<h3>\u0423\u0441\u043b\u043e\u0432\u0438\u044f \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f:<\/h3>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043a\u043e\u043d\u0446\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f (EOS) \u0438\u043b\u0438 \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u042d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u0438\u043b\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b.<\/p>\n<p>\u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u0445 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0435\u0449\u0451 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u043f\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u043c\u0443 \u043f\u043e\u0440\u043e\u0433\u0443: \u0435\u0441\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0438\u0436\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u043e\u0436\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<h3>\u0428\u0430\u0433 16: \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u043b\u043e\u0432\u0430<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432 \u0442\u0435\u043a\u0441\u0442 \u2014 \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0435\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f. \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u0431\u0435\u0440\u0451\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0438\u0441\u0435\u043b (\u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0438\u0445 \u0432 \u0441\u043b\u043e\u0432\u0430 \u0438 \u0437\u043d\u0430\u043a\u0438 \u043f\u0440\u0435\u043f\u0438\u043d\u0430\u043d\u0438\u044f. \u041e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u044e\u0442 \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043f\u043e \u0445\u043e\u0434\u0443, \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u00ab\u043d\u0430 \u043b\u0435\u0442\u0443\u00bb.<\/p>\n<h3>TODO: \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u043d\u043e\u0433\u043e \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0435\u0439, \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043f\u043e \u043c\u0435\u0440\u0435 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u044f<\/h3>\n<h3>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f<\/h3>\n<h3>\u0421\u043f\u043e\u0441\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430 (\u0431\u044d\u043a\u0435\u043d\u0434\u044b) \u0434\u043b\u044f LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/h3>\n<p><strong>ONNX Runtime:<\/strong><br \/>\u041a\u0440\u043e\u0441\u0441\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 ONNX.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442 \u0444\u0430\u0439\u043b\u0430:\u00a0<\/strong>.onnx<\/p>\n<p><strong>TensorFlow (Inference API):<\/strong><br \/>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 TensorFlow, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 SavedModel \u0438 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0444.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0\u043f\u0430\u043f\u043a\u0430 SavedModel (saved_model.pb + variables\/), \u0435\u0434\u0438\u043d\u044b\u0439 \u0444\u0430\u0439\u043b .pb<\/p>\n<p><strong>TensorFlow Lite:<\/strong><br \/>\u041b\u0451\u0433\u043a\u0438\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0438 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:<\/strong>\u00a0.tflite<\/p>\n<p><strong>PyTorch (TorchScript):<\/strong><br \/>\u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u0437 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 Python, \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 JIT.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0.pt, .pth<\/p>\n<p><strong>NVIDIA TensorRT:<\/strong><br \/>\u0410\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u043e-\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f GPU NVIDIA, \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0437 ONNX) \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0443.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:\u00a0<\/strong>\u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a .engine (\u0438\u043b\u0438 \u043f\u043b\u0430\u043d UFF\/ONNX \u2192 .engine)<\/p>\n<p><strong>Intel OpenVINO:<\/strong><br \/>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0441\u0435\u0442\u0438 \u043d\u0430 CPU \u0438 Intel GPU\/VPU, \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 IR-\u0444\u043e\u0440\u043c\u0430\u0442.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0.xml (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430) + .bin (\u0432\u0435\u0441\u0430)<\/p>\n<p><strong>Apple Core ML:<\/strong><br \/>\u0424\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 iOS\/macOS, \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 Xcode \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 Core ML Runtime.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:\u00a0<\/strong>.mlmodel<\/p>\n<p><strong>Microsoft <\/strong><a href=\"http:\/\/ML.NET\" rel=\"noopener noreferrer nofollow\"><strong>ML.NET<\/strong><\/a><strong>:<\/strong><br \/>.NET-\u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 CPU, \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f C# \u0438 F#.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:<\/strong>\u00a0\u0430\u0440\u0445\u0438\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 .zip<\/p>\n<p><strong>Apache TVM:<\/strong><br \/>\u041a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u0442 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e, \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 Relay-\u043c\u043e\u0434\u0443\u043b\u044c \u0438\u043b\u0438 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 (.so, .dll)<\/p>\n<p><strong>Alibaba MNN:<\/strong><br \/>\u041c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0441 \u0448\u0438\u0440\u043e\u043a\u0438\u043c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u0434\u043b\u044f ARM, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:<\/strong>\u00a0.mnn<\/p>\n<p><strong>Tencent NCNN:<\/strong><br \/>\u041a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 CPU\/GPU, \u0431\u0435\u0437 \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:\u00a0<\/strong>.param (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430) + .bin (\u0432\u0435\u0441\u0430)<\/p>\n<p><strong>OpenCV DNN:<\/strong><br \/>\u041c\u043e\u0434\u0443\u043b\u044c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 (ONNX, Caffe, TensorFlow, Darknet).<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u2014 .onnx, .pb, .caffemodel + .prototxt, .weights<\/p>\n<p><strong>Unity Barracuda:<\/strong><br \/>\u0414\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0432 \u0438\u0433\u0440\u0430\u0445 Unity, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 ONNX-\u043c\u043e\u0434\u0435\u043b\u0438.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:<\/strong>\u00a0.nn<\/p>\n<p><strong>MLC LLM:<\/strong><br \/>ML-\u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 \u0438 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f LLM, \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0441\u0430 \u0432 \u0441\u0432\u043e\u0439 IR \u0438 \u0448\u0430\u0440\u0434\u0438\u0440\u0443\u0435\u0442 \u0438\u0445.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:<\/strong>\u00a0\u043a\u0430\u0442\u0430\u043b\u043e\u0433 \u2026-MLC \u0441 .bin-\u0448\u0430\u0440\u0434\u0430\u043c\u0438 \u0438 JSON-\u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, mlc-chat-config.json)<\/p>\n<p><strong>MediaPipe:<\/strong><br \/>\u0424\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432 (\u0434\u0435\u0442\u0435\u043a\u0446\u0438\u044f, \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0438 \u0434\u0440.), \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 TFLite.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:\u00a0<\/strong>.tflite (\u043c\u043e\u0434\u0435\u043b\u044c) + .pbtxt (\u0433\u0440\u0430\u0444)<\/p>\n<p><strong>llama.cpp:<\/strong><br \/>C++-\u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f LLaMA-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 CPU\/GPU.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0GGML-\u043c\u043e\u0434\u0435\u043b\u0438 (.bin, .gguf)<\/p>\n<p><strong>GGML:<\/strong><br \/>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043e\u0441\u043d\u043e\u0432\u0430 llama.cpp \u0438 \u0434\u0440.).<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:\u00a0<\/strong>.gguf, .bin<\/p>\n<p><strong>NeuralMagic DeepSparse:<\/strong><br \/>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u043d\u0430 CPU.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442:<\/strong>\u00a0.onnx<\/p>\n<p><strong>AWS Neuron SDK:<\/strong><br \/>\u0414\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043d\u0430 AWS Inferentia, \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 Neuron.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0Neuron-\u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b (.nef \u0438\u043b\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430)<\/p>\n<p><strong>Glow:<\/strong><br \/>\u041a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 \u0438 \u0440\u0430\u043d\u0442\u0430\u0439\u043c \u043e\u0442 Facebook \u0434\u043b\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 ONNX.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0\u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0444\u0430\u0439\u043b .bc \u0438\u043b\u0438 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 .so<\/p>\n<p><strong>Apache MXNet:<\/strong><br \/>\u0424\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0441 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0442\u0430\u0439\u043c\u043e\u043c \u0434\u043b\u044f CPU\/GPU, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 Docker-\u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0.params (\u0432\u0435\u0441\u0430) + .json (\u0441\u0435\u0442\u044c)<\/p>\n<p><strong>Caffe:<\/strong><br \/>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f CV-\u0441\u0435\u0442\u0435\u0439, \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b:<\/strong>\u00a0.caffemodel (\u0432\u0435\u0441\u0430) + .prototxt (\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0438)<\/p>\n<h3>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/h3>\n<p><strong>LM Studio:<\/strong><br \/>\u0414\u0435\u0441\u043a\u0442\u043e\u043f-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f Windows \u0438 macOS \u0441 GUI \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 LLM (GPT-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445).<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439:\u00a0<\/strong>.gguf, .bin<\/p>\n<p><strong>Ollama:<\/strong><br \/>\u041b\u0451\u0433\u043a\u0438\u0439 CLI\/GUI-\u043a\u043b\u0438\u0435\u043d\u0442 \u0434\u043b\u044f Windows \u0438 macOS, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb \u0441 LLM.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/strong>\u00a0.gguf, .bin<\/p>\n<p><strong>Automatic1111 Stable Diffusion WebUI:<\/strong><br \/>\u0421\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 Windows\/macOS\/Linux.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439:\u00a0<\/strong>.ckpt, .safetensors<\/p>\n<p><strong>DiffusionBee:<\/strong><br \/>\u041d\u0430\u0441\u0442\u043e\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f macOS (\u0435\u0441\u0442\u044c \u0431\u0435\u0442\u0430-\u0441\u0431\u043e\u0440\u043a\u0438 \u0434\u043b\u044f Windows), \u00ab\u0432\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c\u00bb \u0434\u043b\u044f Stable Diffusion.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439:\u00a0<\/strong>.ckpt, .safetensors<\/p>\n<p><strong>InvokeAI:<\/strong><br \/>\u041a\u0440\u043e\u0441\u0441\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435\u043d\u043d\u044b\u0439 \u043f\u0430\u043a\u0435\u0442 \u0441 CLI \u0438 WebUI \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 \u0431\u0430\u0437\u0435 Stable Diffusion.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439:\u00a0<\/strong>.ckpt, .safetensors<\/p>\n<p><strong>llama.cpp (prebuilt binaries):<\/strong><br \/>\u0413\u043e\u0442\u043e\u0432\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u043c\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0434\u043b\u044f Windows\/macOS\/Linux, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c LLaMA-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u0437 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439.<br \/><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/strong>\u00a0.bin, .gguf<\/p>\n<h3>\u0424\u043e\u0440\u043c\u0430\u0442 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/h3>\n<p><strong>.pt \/ .pth<\/strong><br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0432 PyTorch \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<p>\u0425\u0440\u0430\u043d\u044f\u0442 \u0432\u0435\u0441\u0430 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430).<br \/>\u041e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 Python (pickle), \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u0445 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u043c\u0438.<br \/>\u041f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<br \/>\u041d\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u043b\u044f \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430 \u0438\u043b\u0438 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430<br \/>\u041c\u043e\u0433\u0443\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438 (FP32).<\/p>\n<p><strong>.safetensors<\/strong><br \/>\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 .pt, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u043b\u044f PyTorch.<\/p>\n<p>\u041d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 pickle, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u0435\u043d \u043f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435.<br \/>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443, \u0447\u0442\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443.<br \/>\u0422\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e).<br \/>\u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<br \/>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f HuggingFace, PyTorch, JAX.<\/p>\n<p><strong>.bin<\/strong><br \/>\u0423\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u043d\u044b\u0439 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u043b\u044f \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 HuggingFace \u0438 \u0441\u0442\u0430\u0440\u043e\u043c GGML.<\/p>\n<p>\u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d (\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430).<br \/>\u041c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438\u043b\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<br \/>\u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0432 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0435 \u0434\u0432\u0438\u0436\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, llama.cpp).<br \/>\u0422\u0440\u0435\u0431\u0443\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u043d\u0438\u044f, \u043a\u0430\u043a \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435.<br \/>\u0427\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0441\u0442\u0430\u0440\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u0438\u043b\u0438 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430\u0445.<\/p>\n<p><strong>.gguf<\/strong><br \/>\u041d\u043e\u0432\u044b\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u043e\u0442 GGML \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 LLM \u0432 llama.cpp, Ollama, MLC LLM.<\/p>\n<p>\u0412\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435: \u0432\u0435\u0441\u0430, \u0441\u043b\u043e\u0432\u0430\u0440\u044c, \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438.<br \/>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f (Q2_K, Q4_0, Q8_1 \u0438 \u0442.\u0434.).<br \/>\u0425\u043e\u0440\u043e\u0448\u043e \u0441\u0436\u0430\u0442 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e\u0434 \u0437\u0430\u043f\u0443\u0441\u043a \u043d\u0430 CPU, GPU, Android.<br \/>\u0411\u044b\u0441\u0442\u0440\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0438 \u043b\u0435\u0433\u043a\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f C++ \u043a\u043e\u0434\u043e\u043c.<br \/>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440 \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 LLM (Gemma, LLaMA, Mistral).<\/p>\n<p><strong>.onnx<\/strong><br \/>\u041a\u0440\u043e\u0441\u0441-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0440\u0435\u0434\u0430\u0445 (Windows, Web, C#, Java \u0438 \u0434\u0440.).<\/p>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u043c\u0438 (PyTorch, TF, Keras).<br \/>\u0423\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c\u0438.<br \/>\u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 (\u043d\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f).<br \/>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430\u043c\u0438 ONNX Runtime (\u0441\u0436\u0430\u0442\u0438\u0435, \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435).<br \/>\u041e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 embedded-\u0441\u0440\u0435\u0434\u0430\u0445 \u0438 .NET.<\/p>\n<p><strong>.tflite<\/strong><br \/>\u0424\u043e\u0440\u043c\u0430\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 TensorFlow \u043d\u0430 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 (Android, iOS).<\/p>\n<p>\u041e\u0447\u0435\u043d\u044c \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u044b\u0439.<br \/>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 INT8 \u0438 FP16 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435.<br \/>\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 TensorFlow Lite Interpreter, \u043b\u0435\u0433\u043a\u043e \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 Android.<br \/>\u041d\u0435\u043b\u044c\u0437\u044f \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0438\u043b\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0443\u0441\u043a.<br \/>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 CNN, RNN, Seq2Seq, \u043d\u043e \u043d\u0435 LLM.<\/p>\n<p><strong>.mlc<\/strong><br \/>\u0424\u043e\u0440\u043c\u0430\u0442 \u0434\u043b\u044f MLC LLM \u2014 \u0437\u0430\u043f\u0443\u0441\u043a LLM \u043d\u0430 Android\/iOS\/GPU \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044e.<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0431\u0430\u0439\u0442\u043a\u043e\u0434.<br \/>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 Vulkan\/Metal\/OpenCL \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f.<br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f Gemma, Mistral, LLaMA \u043d\u0430 \u0442\u0435\u043b\u0435\u0444\u043e\u043d\u0435.<br \/>\u0422\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 (TVM, \u0441\u043a\u0440\u0438\u043f\u0442\u044b, \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430).<br \/>\u041e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0431\u0435\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/936178\/\"> https:\/\/habr.com\/ru\/articles\/936178\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p><strong>\u041f\u0440\u0438\u0432\u0435\u0442!<\/strong><\/p>\n<p>\u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u043d\u043e \u0442\u0435, \u0447\u0442\u043e \u043c\u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438\u0441\u044c, \u0431\u044b\u043b\u0438 \u043b\u0438\u0431\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b \u0438 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432, \u043b\u0438\u0431\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u044b.<\/p>\n<p>\u041f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0431\u044b \u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u044b, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b.<\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430 10 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0438\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439, \u043d\u0430 30 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u043e\u0432 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 LLM \u0438 \u043d\u0430 60 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u201c\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043e\u0442 \u0440\u0443\u043a\u0438\u201d \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0442\u0430\u0442\u0435\u0439 \u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u043e\u043f\u0438\u0441\u0430\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c?<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0432 LLM \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0434\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442, \u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441?<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f LLM \u043c\u043e\u0434\u0435\u043b\u044c, \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u044e\u0442, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b?<\/p>\n<\/li>\n<li>\n<p> \u041a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c LLM \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438?<\/p>\n<\/li>\n<li>\n<p> \u0428\u0430\u0433 1: \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f (\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \/ \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u043a\u0435\u043d\u044b)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 2: Token embedding (\u0438\u0437 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 3: Positional Encoding \/ Embeddings<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 4: Attention, Self-Attention (\u0412\u0435\u043a\u0442\u043e\u0440 \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u044f, Q,K,V-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438) \u0438 \u0420\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u043d\u0430 \u0413\u043e\u043b\u043e\u0432\u044b \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Multi-Head Attention)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 5: \u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0433\u043e\u043b\u043e\u0432 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (Head Concatenation, Concatenated Multi-Head Attention)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 6: Output Projection (Wo)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 7: \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Residual (\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 8: \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u044f (Layer Normalization)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 9: FFN (Feed-Forward Network) \u0438 MLP (Multilayer Perceptron)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 10: Residual + LayerNorm (\u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 11: \u041f\u043e\u0434\u0430\u0447\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0431\u043b\u043e\u043a\u0430 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440-\u0431\u043b\u043e\u043a<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 12: \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f LayerNorm \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u043b\u043e\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 13: \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432 \u043b\u043e\u0433\u0438\u0442\u044b (Logits Projection) + Softmax<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 14: \u0412\u044b\u0431\u043e\u0440 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (sampling)<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 15: \u0418\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/p>\n<\/li>\n<li>\n<p>\u0428\u0430\u0433 16: \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u043b\u043e\u0432\u0430<\/p>\n<\/li>\n<li>\n<p>\u0421\u043f\u043e\u0441\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430 (\u0431\u044d\u043a\u0435\u043d\u0434\u044b) \u0434\u043b\u044f LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f LLM \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<h2>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b<\/h2>\n<h4>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u043e\u043f\u0438\u0441\u0430\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c?<\/h4>\n<p>\u041f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0438\u0437 \u0441\u043e\u0442\u0435\u043d \u0442\u044b\u0441\u044f\u0447 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u0442\u044b\u0441\u044f\u0447\u0438\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430, \u0443\u0447\u0430\u0441\u0442\u043a\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043b\u044e\u0431\u043e\u0439 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d \u0441\u0432\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. \u0412\u0435\u043a\u0442\u043e\u0440\u044b, \u0438\u043c\u0435\u044e\u0449\u0438\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u044c, \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0432\u0435\u0442\u043e\u043c.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u0432 LLM \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0434\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441, \u0430 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442, \u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441?<\/h4>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u00ab\u0432\u043e\u043f\u0440\u043e\u0441\u2192\u043e\u0442\u0432\u0435\u0442\u00bb, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u0432\u0438\u0434\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043d\u0435 \u0441\u043b\u043e\u0432\u0430 \u0441\u0430\u043c\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430, \u0430 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u2014 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (SFT) \u0438 RLHF \u0435\u0451 \u00ab\u043f\u043e\u043e\u0449\u0440\u044f\u044e\u0442\u00bb \u0437\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b, \u0430 \u043d\u0435 \u0437\u0430 \u043f\u043e\u0432\u0442\u043e\u0440 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0434\u0432\u0438\u0433\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<p>\u0412 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439: \u0434\u043b\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430-\u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430, \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0435\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441, \u0438 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0433\u043e.<\/p>\n<h4>\u0414\u0430\u043d\u043d\u044b\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f LLM \u043c\u043e\u0434\u0435\u043b\u044c, \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u044e\u0442, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b?<\/h4>\n<p><strong>Retrieval-Augmented Generation (RAG):<\/strong><br \/>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438\u0449\u0435\u0442 \u0432 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0431\u0430\u0437\u0435 (\u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c\u0443 \u0438\u043b\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441\u0443) \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0438\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0441\u0432\u0435\u0436\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0435\u0442\u0438<\/p>\n<p><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440-\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (LoRA, Adapters):<\/strong><br \/>\u0412\u043c\u0435\u0441\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044e\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u044b \u0438\u043b\u0438 low-rank \u043c\u0430\u0442\u0440\u0438\u0446\u044b (LoRA), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u043d\u0435\u0434\u043e\u0440\u043e\u0433\u043e \u00ab\u043d\u0430\u0443\u0447\u0438\u0442\u044c\u00bb \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u043e\u0432\u044b\u043c \u0444\u0430\u043a\u0442\u0430\u043c \u0438\u043b\u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u043c<\/p>\n<p><strong>\u0426\u0435\u043b\u0435\u0432\u043e\u0435 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 (Model Editing):<\/strong><br \/>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0442\u0438\u043f\u0430 MEMIT\/ROME \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u044e\u0442 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0432, \u043d\u0435 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u0439<\/p>\n<p><strong>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0437\u043d\u0430\u043d\u0438\u0439 \u0438 \u0433\u0440\u0430\u0444\u044b:<\/strong><br \/>\u0412\u043c\u0435\u0441\u0442\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 LLM \u0432\u044b\u043d\u043e\u0441\u0438\u0442\u0435 \u0438\u0445 \u0432 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 KB \u0438\u043b\u0438 \u0433\u0440\u0430\u0444\u044b \u0437\u043d\u0430\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0438\u0448\u044c \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442 \u0443 \u043d\u0438\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e<\/p>\n<p><strong>\u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0441 \u0432\u0435\u0431-\u043f\u043e\u0438\u0441\u043a\u043e\u043c \u0438 API:<\/strong><br \/>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0447\u0435\u0440\u0435\u0437 \u0432\u0435\u0431-\u0431\u0440\u0430\u0443\u0437\u0435\u0440\u043d\u044b\u0435 \u043f\u043b\u0430\u0433\u0438\u043d\u044b, \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0435 API \u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e\u0438\u0441\u043a\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ChatGPT Plugins, Bing Search API) \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u0432\u0435\u0436\u0435\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435.<\/p>\n<h4>\u041a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c LLM \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438?<\/h4>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u201c\u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u201d \u0440\u0430\u0437\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u043c\u043d\u043e\u0433\u0438\u0445 \u0438\u0437 \u043d\u0438\u0445 \u0438 \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u044f\u0437\u044b\u043a\u0430. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b:<\/p>\n<p><strong>\u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u043a\u043e\u0440\u043f\u0443\u0441:<\/strong><br \/>\u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442 \u0442\u0435\u043a\u0441\u0442\u044b (\u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f, \u043a\u043d\u0438\u0433\u0438, \u0432\u0435\u0431-\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438\u0437 Common Crawl \u0438 \u043f\u0440\u043e\u0447\u0438\u0435) \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u0438 \u0441\u043e\u0442\u043d\u044f\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 BLOOM \u0431\u044b\u043b\u043e \u043e\u043a\u043e\u043b\u043e 46 \u044f\u0437\u044b\u043a\u043e\u0432, \u043f\u0440\u0438\u0447\u0451\u043c \u0434\u043e\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0431\u044a\u0451\u043c\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<p><strong>\u041e\u0431\u0449\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f subword:<\/strong><br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u0440\u043e\u0434\u0435 BPE \u0438\u043b\u0438 SentencePiece, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442 \u0441\u043b\u043e\u0432\u0430 \u043d\u0430 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b (subword) \u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0430\u043b\u0444\u0430\u0432\u0438\u0442\u043e\u0432. \u0422\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0435\u0434\u0438\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044f\u0437\u044b\u043a\u043e\u0432<\/p>\n<p><strong>\u0423\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430:<\/strong><br \/>\u0412 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0432\u0435\u0441\u0430 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u0440\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043b\u044e\u0431\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u0449\u0438\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b (\u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441, \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0430) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u043a\u0440\u0451\u0441\u0442\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u043d\u0438\u0439 (cross-lingual transfer)<\/p>\n<p><strong>\u041d\u0435 \u0432\u0441\u0435 \u044f\u0437\u044b\u043a\u0438 \u0438 \u043d\u0435 \u0432\u043e \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0451\u043c\u0430\u0445:<\/strong><br \/>\u041e\u0431\u0443\u0447\u0430\u044e\u0442 \u043b\u0438\u0448\u044c \u043d\u0430 \u0442\u0435\u0445 \u044f\u0437\u044b\u043a\u0430\u0445, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0420\u0435\u0434\u043a\u0438\u0435 \u0438\u043b\u0438 \u043d\u0438\u0437\u043a\u043e\u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0434\u043e\u043b\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043d\u0438\u0445 \u043d\u0438\u0436\u0435<\/p>\n<p><strong>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u044b:<\/strong><br \/>\u0427\u0442\u043e\u0431\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u0435 \u043c\u0430\u043b\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (continual pretraining) \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u044b (adapters, LoRA), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u043d\u043a\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u044e\u0442 \u0437\u043d\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<h3>\u0412\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/h3>\n<p>\u041d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0432\u0438\u0440\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041a \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0449\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u0415\u0441\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 RAG (Retrieval-Augmented Generation), \u0442\u043e \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u0430\u043a\u0436\u0435:<\/p>\n<ul>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u0430\u0437\u044b, \u0435\u0441\u043b\u0438 \u0432 \u043d\u0435\u0435 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u043e\u043b\u0435\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>\u0418\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438\u043b\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430- \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440, \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f embedding \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c, \u043e\u043d\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u043a\u0443\u0441\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a embedding \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u043b\u044f Chrome \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f Page Assist<\/p>\n<figure class=\"full-width\"><\/figure>\n<h3>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 RAG<\/h3>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432<\/p>\n<p><strong>Retrieval (\u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435):<\/strong><br \/>\u0418\u0449\u0435\u0442 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0431\u0430\u0437\u044b \u0437\u043d\u0430\u043d\u0438\u0439 (\u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u2014 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, FAISS, Qdrant, Weaviate). \u042d\u0442\u0430 \u0431\u0430\u0437\u0430 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 (pdf, markdown, html \u0438 \u0434\u0440.), \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, BERT, Instructor, \u0438\u043b\u0438 SentenceTransformer).<\/p>\n<p><strong>Generation (\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f):<\/strong><br \/>LLM (GPT, LLaMA, Mistral \u0438 \u0434\u0440.) \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 + \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p>\u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 RAG \u0438 \u043e\u0431\u0449\u0435\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<p><strong>context:<\/strong><br \/>\u044d\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 embedding \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438\u043b\u0438 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044e score \u043f\u043e \u043c\u0435\u0440\u0435 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f<\/p>\n<pre><code>{   \"context\": [     \"\u041f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d \u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0430\u043d\u0442\u0438\u0431\u0438\u043e\u0442\u0438\u043a, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0439 \u0438\u0437 \u043f\u043b\u0435\u0441\u043d\u0435\u0432\u043e\u0433\u043e \u0433\u0440\u0438\u0431\u043a\u0430 \u0440\u043e\u0434\u0430 Penicillium. \u041e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0431\u0430\u043a\u0442\u0435\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0444\u0435\u043a\u0446\u0438\u0439, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0430\u043d\u0433\u0438\u043d\u0430, \u0441\u0438\u0444\u0438\u043b\u0438\u0441 \u0438 \u043f\u043d\u0435\u0432\u043c\u043e\u043d\u0438\u044f. \u041f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u0435\u0442 \u043a\u043b\u0435\u0442\u043e\u0447\u043d\u0443\u044e \u0441\u0442\u0435\u043d\u043a\u0443 \u0431\u0430\u043a\u0442\u0435\u0440\u0438\u0439, \u0447\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0438\u0445 \u0433\u0438\u0431\u0435\u043b\u0438.\",     \"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u044e\u0434\u0438 \u0438\u043c\u0435\u044e\u0442 \u0430\u043b\u043b\u0435\u0440\u0433\u0438\u044e \u043d\u0430 \u043f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u044b\u0435 \u0440\u0435\u0430\u043a\u0446\u0438\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0430\u043d\u0430\u0444\u0438\u043b\u0430\u043a\u0441\u0438\u044e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u043f\u0430\u0440\u0430\u0442\u0430 \u0432\u0430\u0436\u043d\u043e \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0430\u043b\u043b\u0435\u0440\u0433\u0438\u0438 \u0443 \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430.\"   ],   \"instructions\": \"\u041e\u0442\u0432\u0435\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0415\u0441\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0435\u0442 \u2014 \u043d\u0430\u043f\u0438\u0448\u0438 '\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u0430'.\",   \"question\": \"\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043f\u0435\u043d\u0438\u0446\u0438\u043b\u043b\u0438\u043d \u0438 \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u043e\u043d \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f?\" }<\/code><\/pre>\n<h2>\u0428\u0430\u0433\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438<\/h2>\n<h3>\u0428\u0430\u0433 1:\u00a0\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f (\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \/ \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u043a\u0435\u043d\u044b)<\/h3>\n<h3>\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430:<\/h3>\n<p>LLM \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u2014 \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 (\u0447\u0430\u0441\u0442\u044f\u043c\u0438 \u0441\u043b\u043e\u0432 \u0438\u043b\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u0430\u043c\u0438), \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u0447\u0438\u0441\u043b\u0430.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<pre><code>\u0422\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\u041f\u0440\u0438\u0432\u0435\u0442, \u043c\u0438\u0440\"  ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u043b\u043e\u0432\u0430: \"\u041f\u0440\u0438\u0432\u0435\u0442\" = 1123 \",\" = 15 \"\u043c\u0438\u0440\" = 345  \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 ID \u0442\u043e\u043a\u0435\u043d\u043e\u0432: [\"\u041f\u0440\u0438\u0432\u0435\u0442\", \",\", \"\u043c\u0438\u0440\"] = [1123, 15, 345]<\/code><\/pre>\n<p><strong>\u041a\u0430\u043a \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f:<\/strong><br \/>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u0440\u043e\u0434\u0435 Byte Pair Encoding (BPE), Unigram, WordPiece \u0438\u043b\u0438 SentencePiece.<br \/>BPE-\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0447\u0430\u0441\u0442\u044b\u0435 \u043f\u0430\u0440\u044b \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.<br \/>WordPiece \u0441\u0442\u0440\u043e\u0438\u0442 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0439.<br \/>\u0427\u0430\u0441\u0442\u043e \u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u044d\u0442\u043e \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430, \u0430 \u0447\u0430\u0441\u0442\u0438 \u0441\u043b\u043e\u0432.<\/p>\n<p>\u0412 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0440\u043a\u0435\u0440\u044b \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043b\u043e\u0432\u0430 (\u043f\u0440\u043e\u0431\u0435\u043b, \u201c##\u201d \u0438 \u0442. \u043f.), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0438 \u043e\u0434\u0438\u043d \u0441\u0443\u0431\u0442\u043e\u043a\u0435\u043d \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432.<br \/>\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u0434\u0451\u0442 \u00ab\u0436\u0430\u0434\u043d\u043e\u00bb \u2014 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u0441 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u0448\u0435\u0439\u0441\u044f \u0441\u0442\u0440\u043e\u043a\u0438 \u0442\u043e\u043a\u0435\u043d.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440:<\/strong><\/p>\n<pre><code>\u0422\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\u043d\u0435\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\"  ID \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0447\u0430\u0441\u0442\u0438 \u0441\u043b\u043e\u0432: \"\u043d\u0435\" = 24 \"\u0432\u0435\u0440\u043e\u044f\u0442\" = 126 \"\u043d\u043e\" = 36 \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 ID \u0442\u043e\u043a\u0435\u043d\u043e\u0432: [\"\u043d\u0435\", \"\u0432\u0435\u0440\u043e\u044f\u0442\", \"\u043d\u043e\"] = [24, 126, 36]  \u041b\u0438\u0431\u043e \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0442\u043e\u0440\u043a\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442:  (\"\u043d\u0435\u00bb\", \"\u0432\u0435\u0440\", \"##\u043e\u044f\u0442\u043d\u043e\")<\/code><\/pre>\n<p><strong>\u0420\u0430\u0437\u043d\u044b\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0441\u043b\u043e\u0432\u0430 \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u00ab\u043f\u0440\u0438\u0432\u0435\u0442\u00bb \u0438 \u00ab\u043f\u0440\u0438\u043c\u0435\u0440\u00bb \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043e\u0431\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u00ab\u043f\u0440\u0438\u00bb:<\/strong><\/p>\n<p>\u0425\u043e\u0442\u044f \u00ab\u043f\u0440\u0438\u00bb \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u043e\u0432\u0430\u0445, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0430\u0437\u0443 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u043e\u0442 \u043a\u0443\u0441\u043e\u0447\u0435\u043a, \u043d\u043e \u0438 \u043d\u0430 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438 \u043d\u0430 \u0432\u0441\u044e \u0444\u0440\u0430\u0437\u0443 (\u043e\u0431 \u044d\u0442\u043e\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435).<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u00ab\u043f\u0440\u0438\u00bb \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0431\u043e\u0440 \u0447\u0438\u0441\u0435\u043b, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u044d\u0442\u0443 \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430.<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 (\u043c\u043d\u043e\u0433\u043e\u0441\u043b\u043e\u0439\u043d\u0430\u044f \u0441\u0435\u0442\u044c) \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u00ab\u0432\u0435\u0442\u00bb \u0438\u043b\u0438 \u00ab\u043c\u0435\u0440\u00bb) \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u043e\u0435 \u00ab\u043f\u0440\u0438\u00bb \u0432 \u00ab\u043f\u0440\u0438\u0432\u0435\u0442\u00bb \u0443\u0436\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u00ab\u043f\u0440\u0438\u00bb \u0432 \u00ab\u043f\u0440\u0438\u043c\u0435\u0440\u00bb, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0442\u0443\u0434\u0430 \u00ab\u043f\u043e\u0434\u043c\u0435\u0448\u0430\u043b\u0441\u044f\u00bb \u0440\u0430\u0437\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u0449\u0438\u0439 \u043a\u0443\u0441\u043e\u0447\u0435\u043a \u00ab\u043f\u0440\u0438\u00bb \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439, \u0430 \u0441\u043c\u044b\u0441\u043b \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0441\u043b\u043e\u044f\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u044b, \u0430 \u043d\u0435 \u0441\u043b\u043e\u0432\u0430:<\/strong><br \/>\u041c\u0435\u043d\u044c\u0448\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044c = \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438.<br \/>\u041b\u0443\u0447\u0448\u0435 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0440\u0435\u0434\u043a\u0438\u0435 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430.<br \/>\u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u201c\u0443\u0447\u0438\u0442\u044c\u0441\u044f\u201d \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0441\u043b\u043e\u0432.<\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f,<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-470410","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/470410","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=470410"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/470410\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=470410"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=470410"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=470410"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}