{"id":371153,"date":"2024-05-21T04:41:36","date_gmt":"2024-05-21T04:41:36","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=371153"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=371153","title":{"rendered":"<span>\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 LLM<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b87\/0bc\/bf3\/b870bcbf3099d5a9b015899df332aef7.png\" width=\"1551\" height=\"881\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b87\/0bc\/bf3\/b870bcbf3099d5a9b015899df332aef7.png\"\/><\/figure>\n<p>\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u043e\u043c ML-\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0435\u0451 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u044b \u0440\u0430\u0437\u0433\u043e\u043d\u044f\u0435\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043b\u0438 \u043e\u0442 \u0436\u0435\u043b\u0435\u0437\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0442\u044f\u0436\u0451\u043b\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u0441\u0442\u0440\u043e \u043e\u0449\u0443\u0449\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (LLM) \u0442\u0430\u043a \u043e\u0441\u0442\u0440\u043e, \u043a\u0430\u043a \u043d\u0438 \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445.<\/p>\n<p>\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0420\u043e\u043c\u0430\u043d \u0413\u043e\u0440\u0431, \u044f \u0441\u0442\u0430\u0440\u0448\u0438\u0439 ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 YandexGPT. \u0422\u0435\u043c\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 LLM \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b\u0430 \u043c\u0435\u043d\u044f, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f R&amp;D \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0435\u0442\u043e\u043a \u0434\u043b\u044f CV-\u0437\u0430\u0434\u0430\u0447. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u0431\u0435\u0437\u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u0421\u043f\u0435\u0440\u0432\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f, \u0437\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e, \u0430 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u043c\u043e\u0447\u044c.\u00a0<\/p>\n<blockquote>\n<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u043c\u043e\u0435\u0439 <a href=\"https:\/\/www.youtube.com\/watch?v=AnAR1QcP-QQ\"><u>\u043b\u0435\u043a\u0446\u0438\u0438<\/u><\/a> \u043d\u0430 GPT Week, \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 <a href=\"https:\/\/shad.yandex.ru\/\"><u>\u0428\u043a\u043e\u043b\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/u><\/a>.\u00a0<\/p>\n<\/blockquote>\n<h2>\u0427\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u0437\u0430\u0447\u0435\u043c \u0435\u0451 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c<\/h2>\n<p>\u0418\u0442\u0430\u043a, \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u0421\u0430\u043c\u044b\u0439 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u2014<strong> \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong>: Encoder Only, Decoder Only, Encoder-Decoder. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 GPT like-\u043c\u043e\u0434\u0435\u043b\u044c \u0438 T5 like-\u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0431\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438, \u043d\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u2014 \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u2014 \u043f\u043e\u043b\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0431\u0430\u0442\u0447\u0430, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u0442\u043e\u0436\u0435 \u0438\u043c\u0435\u044e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.\u00a0<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0444\u0430\u043a\u0442\u043e\u0440 \u2014 <strong>\u0442\u0438\u043f \u0437\u0430\u0434\u0430\u0447\u0438<\/strong>. \u0417\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u0438\u043b\u0438 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438. \u041a \u043f\u0435\u0440\u0432\u044b\u043c \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f Questioning and Answering \u0438 Summarization, \u0430 \u043a\u043e \u0432\u0442\u043e\u0440\u044b\u043c \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f. \u041a\u0430\u0436\u0434\u044b\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432: \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0430, \u0433\u0434\u0435 \u043c\u044b \u0442\u043e\u043a\u0435\u043d \u0437\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043e\u0442\u0432\u0435\u0442. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u044d\u0442\u0430\u043f\u043e\u0432 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443.\u00a0<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0436\u0435\u043b\u0435\u0437\u043d\u043e\u043c\u0443 \u0434\u0440\u0443\u0433\u0443 <strong>GPU<\/strong>. \u041f\u043e \u0441\u0443\u0442\u0438, \u044d\u0442\u043e \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u044c \u0441 \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u044f\u0434\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432. \u041c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0435\u0441\u0442\u044c \u0448\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0433\u043e\u043d\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0415\u0441\u043b\u0438 \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u043c\u044b \u0443\u043f\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432 \u0435\u0451 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0438 \u044f\u0434\u0440\u0430 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0434\u043e\u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b, \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u0433\u043e\u043b\u043e\u0434\u0430\u043d\u0438\u0435 (memory-bound). \u0418\u0437-\u0437\u0430 \u043d\u0435\u0433\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c: \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u043c\u0438. \u041d\u0443\u0436\u043d\u043e \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044f\u0434\u0440\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e.\u00a0<\/p>\n<h3>\u0412\u0437\u0433\u043b\u044f\u0434 \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: RPS \u0438 latency<\/h3>\n<p>\u0412\u0441\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u043e\u043f\u0438\u0441\u0430\u043b \u0432\u044b\u0448\u0435, \u0432\u0441\u0451 \u0436\u0435 \u0432\u0430\u0436\u043d\u0435\u0435 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432. \u0414\u043b\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: RPS \u0438 latency. RPS (requests per second) \u2014 \u044d\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0435\u0440\u0432\u0438\u0441 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0430 latency \u2014 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0441\u0435\u0440\u0432\u0438\u0441\u0430. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c RPS \u0431\u044b\u043b \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0430 latency \u2014 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ad2\/0bc\/644\/ad20bc644dc7824402aac4eff008fe51.png\" alt=\"\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f RPS \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e. \u041d\u043e\u0447\u044c\u044e \u043b\u044e\u0434\u0438 \u0441\u043f\u044f\u0442, \u0438 \u043d\u0438\u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0435\u0440\u0432\u0438\u0441\u0443 \u043d\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442, \u0430 \u0434\u043d\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0435\u0441\u0442\u044c, \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0451\u0442\" title=\"\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f RPS \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e. \u041d\u043e\u0447\u044c\u044e \u043b\u044e\u0434\u0438 \u0441\u043f\u044f\u0442, \u0438 \u043d\u0438\u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0435\u0440\u0432\u0438\u0441\u0443 \u043d\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442, \u0430 \u0434\u043d\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0435\u0441\u0442\u044c, \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0451\u0442\" width=\"1208\" height=\"434\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad2\/0bc\/644\/ad20bc644dc7824402aac4eff008fe51.png\"\/><\/p>\n<div><figcaption>\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f RPS \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e. \u041d\u043e\u0447\u044c\u044e \u043b\u044e\u0434\u0438 \u0441\u043f\u044f\u0442, \u0438 \u043d\u0438\u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0435\u0440\u0432\u0438\u0441\u0443 \u043d\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442, \u0430 \u0434\u043d\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0435\u0441\u0442\u044c, \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0451\u0442<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043a\u0430\u043a \u044d\u0442\u043e \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043e. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0441\u0435\u0440\u0432\u0438\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c 2000 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0430 20% \u0438\u0437 \u043d\u0438\u0445 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0432 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u041e\u0441\u0442\u0430\u0451\u0442\u0441\u044f 1600 RPS, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u043e\u0447\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430, \u0432\u0435\u0434\u044c \u043d\u0430 \u043f\u0438\u043a\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 RPS \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0438 \u0434\u043e 1800. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043e\u0436\u0438\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043f\u0440\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0442\u0440\u0451\u0445 \u0441\u0435\u043a\u0443\u043d\u0434 \u2014 \u044d\u0442\u043e \u0446\u0435\u043b\u0435\u0432\u0430\u044f latency.<\/p>\n<p>\u0422\u0435\u0441\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043e\u0434\u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0434\u0435\u0440\u0436\u0430\u0442\u044c 6 RPS, \u0432\u043f\u0440\u0438\u0442\u044b\u043a \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044f\u0441\u044c \u0432 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0442\u0440\u0438 \u0441\u0435\u043a\u0443\u043d\u0434\u044b. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u043d\u0443\u0436\u043d\u043e 300 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442, \u043d\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e 200. \u042d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438, \u0443\u0441\u043a\u043e\u0440\u0438\u0432 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0443\u0441\u043a\u043e\u0440\u044f\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0431\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043c\u0435\u043d\u044c\u0448\u0438\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bd7\/f34\/73c\/bd7f3473c65be99ec3ad5888b85fdc9c.png\" alt=\"\" title=\"\" width=\"3294\" height=\"1784\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd7\/f34\/73c\/bd7f3473c65be99ec3ad5888b85fdc9c.png\"\/><\/figure>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0436\u0435\u043b\u0430\u0435\u043c\u043e\u0433\u043e, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u043e\u0439\u0442\u0438 \u043d\u0430 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0435\u0451 \u0440\u0430\u0431\u043e\u0442\u044b. \u0412\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0433\u0440\u0430\u0444\u0438\u043a \u043d\u0438\u0436\u0435. \u041d\u0430 \u043e\u0441\u0438 X \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445, \u043d\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c RPS, \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u041d\u0430 \u043e\u0441\u0438 Y \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u0435\u0441\u0442\u044c diff \u043e\u0442 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>\u0422\u043e\u0447\u043a\u0438 \u2014 \u044d\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c. \u041e\u0442\u043a\u0443\u0434\u0430 \u0432\u0437\u044f\u0442\u044c \u044d\u0442\u0438 \u0442\u043e\u0447\u043a\u0438? \u041c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043d\u0430\u043d\u0435\u0441\u0442\u0438 \u0438\u0445 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0432\u0441\u0451 \u043d\u043e\u0432\u044b\u0435 \u0438 \u043d\u043e\u0432\u044b\u0435. \u0422\u0430\u043a \u043d\u0430 \u043a\u0440\u0438\u0432\u043e\u0439 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u0447\u0435\u043a, \u0430 \u0443 \u043d\u0430\u0441 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ce9\/4b8\/d82\/ce94b8d822eb0ac519b9e6760169accb.png\" width=\"1200\" height=\"735\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce9\/4b8\/d82\/ce94b8d822eb0ac519b9e6760169accb.png\"\/><\/figure>\n<h2>\u041c\u0435\u0442\u043e\u0434\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\u00a0<\/h2>\n<h3>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f<\/h3>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0432 \u044d\u0442\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044c (teacher), \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435 \u2014 \u0441\u0442\u0443\u0434\u0435\u043d\u0442 (student). \u0425\u043e\u0440\u043e\u0448\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0431\u0443\u0434\u0435\u0442 <a href=\"https:\/\/ya.ru\/ai\/gpt-3\">YandexGPT 3<\/a> \u2014 \u0431\u043e\u043b\u044c\u0448\u0430\u044f LLM, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c, \u043d\u043e \u043e\u043d\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u0435 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u0448 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442. \u0415\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435, \u0432\u0440\u043e\u0434\u0435 \u04225, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043d\u043e \u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0442\u0430\u043a \u0436\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043a\u0430\u043a YandexGPT 3. \u0417\u0430\u0434\u0430\u0447\u0430 Knowledge Distillation \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u0438 (loss) \u043c\u0435\u0436\u0434\u0443 \u0444\u0438\u0447\u0430\u043c\u0438 \u2014 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0438 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430.\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Teacher=p(y|x)\" alt=\"Teacher=p(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50a\/7ac\/fde\/50a7acfde5a31c97d2bec3d41541023b.svg\" width=\"149\" height=\"22\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Student= q(y|x)\" alt=\"Student= q(y|x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ae\/4e0\/a23\/9ae4e0a23b8179f49cb04d7e7cedea28.svg\" width=\"146\" height=\"22\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"L=(p(y|x),q_{\\theta}(y|x))\\to \\min_{\\theta}\" alt=\"L=(p(y|x),q_{\\theta}(y|x))\\to \\min_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e5e\/b43\/92d\/e5eb4392d4f4abe17d3eb68329b6abe3.svg\" width=\"237\" height=\"33\"\/><\/p>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 hard-label. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0442\u0430\u0440\u0433\u0435\u0442\u044b \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u043d\u0438\u0445 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435. \u041d\u0438\u0447\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e.\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\underset{p(y)}{\\mathbb{E}}\\log{q}_{\\theta}(y)\\to \\max_{\\theta}\" alt=\"\\underset{p(y)}{\\mathbb{E}}\\log{q}_{\\theta}(y)\\to \\max_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1d0\/406\/e85\/1d0406e85e3d180b423833522e27de04.svg\" width=\"166\" height=\"37\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"y^{(1)},...y^{(N)}\\sim p(y)\" alt=\"y^{(1)},...y^{(N)}\\sim p(y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/725\/975\/e16\/725975e164c76c97cbed98c87436218f.svg\" width=\"160\" height=\"26\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac{1}{N}\\sum_{n=1}^{N}\\sum_{t=1}^{T_{n}}\\log{q}_{\\theta}(y_{t}^{(n)}|y_{\\lt t}^{(n)})\" alt=\"\\frac{1}{N}\\sum_{n=1}^{N}\\sum_{t=1}^{T_{n}}\\log{q}_{\\theta}(y_{t}^{(n)}|y_{\\lt t}^{(n)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea4\/b9f\/4c2\/ea4b9f4c2098430b405dea23e8106d5e.svg\" width=\"218\" height=\"61\"\/><\/p>\n<p>\u041f\u0440\u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 soft-label, \u043d\u043e \u0432 objective \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0451 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043e\u0442 \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041f\u043e\u0434 \u043d\u0438\u0445 \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043c\u0438\u043a\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0443\u0434\u0435\u043d\u0442.\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac{1}{N}\\sum_{n=1}^{N}\\sum_{t=1}^{T_{n}}\\sum_{v\\in\\mathcal{V}}p(y_{t}^{(n)}=\\upsilon|y_{\\lt t}^{(n)})\\log{q}_{\\theta}(y_{t}^{(n)}=\\upsilon|y_{\\lt t}^{(n)})\" alt=\"\\frac{1}{N}\\sum_{n=1}^{N}\\sum_{t=1}^{T_{n}}\\sum_{v\\in\\mathcal{V}}p(y_{t}^{(n)}=\\upsilon|y_{\\lt t}^{(n)})\\log{q}_{\\theta}(y_{t}^{(n)}=\\upsilon|y_{\\lt t}^{(n)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a7\/b59\/013\/4a7b5901351ead9d2ad0323141589a44.svg\" width=\"419\" height=\"62\"\/><\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u043c\u0435\u043d\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e loss \u043d\u0430 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e \u2014 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438, \u043d\u043e \u0435\u0451 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0412\u043e\u0442 \u043a\u0430\u043a \u0435\u0451 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c.\u00a0\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"D_{\\mathrm{KL}}(p(y)\\parallel q_{\\theta}(y))\\to \\min_{\\theta}\" alt=\"D_{\\mathrm{KL}}(p(y)\\parallel q_{\\theta}(y))\\to \\min_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fbd\/a45\/2ad\/fbda452ad1f131164a6b8dcd977f3322.svg\" width=\"214\" height=\"33\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\underset{p(y)}{\\mathbb{E}}\\log{\\frac{p(y)}{q_{\\theta}(y)}}=-\\underset{p(y)}{\\mathbb{E}}\\log{q}_{\\theta}(y)+\\mathrm{const}\\to \\min_{\\theta}\" alt=\"\\underset{p(y)}{\\mathbb{E}}\\log{\\frac{p(y)}{q_{\\theta}(y)}}=-\\underset{p(y)}{\\mathbb{E}}\\log{q}_{\\theta}(y)+\\mathrm{const}\\to \\min_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97c\/ca4\/5b8\/97cca45b8e15c180c466dfb67ca7ec8b.svg\" width=\"377\" height=\"51\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"D_{\\mathrm{KL}}(p(y)\\parallel q_{\\theta}(y))=\\underset{p(y)}{\\mathbb{E}}\\log{\\frac{p(y)}{q_{\\theta}(y)}}\" alt=\"D_{\\mathrm{KL}}(p(y)\\parallel q_{\\theta}(y))=\\underset{p(y)}{\\mathbb{E}}\\log{\\frac{p(y)}{q_{\\theta}(y)}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f6\/23b\/836\/4f623b836fe8ff34800d900525252da1.svg\" width=\"282\" height=\"51\"\/><\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0435\u0451 \u043d\u0443\u0436\u043d\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043e <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9C%D0%BE%D0%BD%D1%82%D0%B5-%D0%9A%D0%B0%D1%80%D0%BB%D0%BE\"><u>\u043c\u0435\u0442\u043e\u0434\u0443 \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e<\/u><\/a>. \u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u043b\u043e \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438, \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u043c \u043e\u0442 \u043d\u0443\u043b\u044f, \u0435\u0441\u043b\u0438 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u043d\u0435 \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 \u0434\u043e\u043b\u0436\u043d\u043e \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u044f.\u00a0<\/p>\n<p>\u041d\u043e, \u043a\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0441\u0442\u0443\u0434\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u0430\u0431\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0435\u0451 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0430\u043a\u0438\u043c \u0436\u0435 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0435\u0451 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0438 \u043f\u043b\u043e\u0445\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u044f.\u00a0<\/p>\n<p>\u0420\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043f\u0440\u0438\u0437\u0432\u0430\u043d\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0443\u0436\u0435 \u043f\u043e \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0443 \u0432 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0438, \u043c\u0435\u043d\u044f\u044f \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c, \u043d\u043e \u0441 \u044d\u0442\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u0440\u043e\u0442\u044c\u0441\u044f, \u043f\u0440\u0438\u0447\u0451\u043c \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u041e\u0434\u0438\u043d \u0438\u0437 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 <a href=\"https:\/\/www.youtube.com\/redirect?event=video_description&amp;redir_token=QUFFLUhqa0doUXVyMUtWRktxYUtzR2pNTXVJQ0xpa2F4Z3xBQ3Jtc0tsZHNNVDVNT3pCLWNFWmdRQnR2SmpGY01rMXJhUXl1eUVNTDlKelNzRlo0WnpmeE8xYXNfMmNHZkZEbXZQbmpIaDNYWFo1aUx6ZUEyaTFPSzRtVkJ1M2g3b2tVSksweWJ4NXdZX1BFMmpHMG1RZ2R4Zw&amp;q=https%3A%2F%2Farxiv.org%2Fabs%2F2002.10957&amp;v=AnAR1QcP-QQ\"><u>MiniLLM<\/u><\/a>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{q_{\\theta}(y)}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y)}{p(y)}\\nabla_{\\theta}\\log q_{\\theta}(y)\" alt=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{q_{\\theta}(y)}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y)}{p(y)}\\nabla_{\\theta}\\log q_{\\theta}(y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bee\/f56\/708\/beef5670854bcbf963da74df34c28bcc.svg\" width=\"273\" height=\"51\"\/><\/p>\n<p>\u0414\u043b\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u0446\u0438\u0438 \u043f\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 \u0437\u0434\u0435\u0441\u044c \u0435\u0449\u0451 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0438 reinforce-\u0442\u0440\u044e\u043a, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u0432 \u043a\u0443\u0440\u0441\u0435 <a href=\"https:\/\/github.com\/yandexdataschool\/Practical_RL\"><u>Practical RL \u0432 \u0428\u0410\u0414\u0435<\/u><\/a>. \u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0442\u043e MiniLLM \u0432\u0432\u043e\u0434\u044f\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, \u043d\u043e \u0442\u0435 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e. \u0420\u0435\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/huggingface.co\/learn\/deep-rl-course\/unit8\/introduction\"><u>PPO (Proximal policy optimization)<\/u><\/a> \u2014 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u043e\u0432.\u00a0<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435\u043c, \u0432\u0435\u0434\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0443\u043c\u0435\u044e\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u0442\u0440\u044e\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c PPO.<\/p>\n<p><strong>\u041f\u0435\u0440\u0432\u044b\u0439 \u0442\u0440\u044e\u043a.<\/strong> \u041d\u0443\u0436\u043d\u043e \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0438\u0436\u0435. \u0422\u0430\u043a\u0436\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u043e \u0448\u0430\u0433\u0430\u043c, \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0443 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0432\u0430 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445. \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430 \u0430\u0432\u0442\u043e\u0434\u0438\u0444\u0444\u043e\u043c.\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"R_{t} \u2014  reward\" alt=\"R_{t} \u2014  reward\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7db\/712\/513\/7db71251316fe076a50ecd002fe00e45.svg\" width=\"0\" height=\"0\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{q_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}R_{t+1}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\sum_{t=1}^{T}\\underset{q_{\\theta}(y_{\\lt t}|x)}{\\mathbb{E}}\\nabla_{\\theta}\\underset{\\text{compute exactly}}{\\underbrace{\\underset{q_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})}}}\" alt=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{q_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}R_{t+1}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\sum_{t=1}^{T}\\underset{q_{\\theta}(y_{\\lt t}|x)}{\\mathbb{E}}\\nabla_{\\theta}\\underset{\\text{compute exactly}}{\\underbrace{\\underset{q_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})}}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a99\/342\/946\/a993429461dc372ad29b6e893757df29.svg\" width=\"631\" height=\"88\"\/><\/p>\n<p><strong>\u0412\u0442\u043e\u0440\u043e\u0439 \u0442\u0440\u044e\u043a.<\/strong> \u041c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c NLP \u0447\u0430\u0441\u0442\u043e \u043b\u044e\u0431\u044f\u0442 \u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u0442\u044c reward \u2014 \u0432\u0437\u043b\u0430\u043c\u044b\u0432\u0430\u0442\u044c \u0435\u0433\u043e. \u041d\u0430\u0433\u0440\u0430\u0434\u044b \u0432\u044b\u0441\u043e\u043a\u0438\u0435, \u043d\u043e \u0441\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0443\u043c\u043d\u044b\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0443\u0442 \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044e, \u0441\u043c\u0435\u0448\u0430\u0432 \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0432\u0435\u0441\u0430 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 \u0438 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u043e\u0432\u0443\u044e q, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a-\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e. \u041f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u0440\u0438\u0431\u0435\u0433\u043d\u0443\u0442\u044c \u043a \u0445\u0430\u043a\u0443 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Importance_sampling\"><u>Importance Sampling<\/u><\/a>.\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{\\widetilde{q}_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}w_{t}R_{t+1}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\sum_{t=1}^{T}\\underset{\\widetilde{q}_{\\theta}(y_{\\lt t}|x)}{\\mathbb{E}}w_{t}\\nabla _{\\theta}\\underset{{q}_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})}\" alt=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{\\widetilde{q}_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}w_{t}R_{t+1}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\sum_{t=1}^{T}\\underset{\\widetilde{q}_{\\theta}(y_{\\lt t}|x)}{\\mathbb{E}}w_{t}\\nabla _{\\theta}\\underset{{q}_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44d\/cfc\/f18\/44dcfcf1871d09956008632d56ec0305.svg\" width=\"678\" height=\"60\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{t}\\approx \\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{\\widetilde{q}_{\\theta}(y_{t}|y_{\\lt t})}\" alt=\"w_{t}\\approx \\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{\\widetilde{q}_{\\theta}(y_{t}|y_{\\lt t})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f7\/e3f\/0ff\/8f7e3f0ffe0f1b840522623278094b98.svg\" width=\"167\" height=\"50\"\/><\/p>\n<p><strong>\u0422\u0440\u0435\u0442\u0438\u0439 \u0442\u0440\u044e\u043a.<\/strong> \u041e\u043d \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u2014 \u043d\u0443\u0436\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u0438\u043d\u0443. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0448\u0430\u044e\u0442 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041d\u0438\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 reward \u0434\u043b\u044f \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0422\u0443\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0422 \u2014 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430.\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{\\widetilde{q}_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}w_{t}R_{t+1}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\sum_{t=1}^{T}\\underset{\\widetilde{q}_{\\theta}(y_{\\lt t}|x)}{\\mathbb{E}}w_{t}\\nabla _{\\theta}\\underset{{q}_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})}\" alt=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{\\widetilde{q}_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}w_{t}R_{t+1}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\sum_{t=1}^{T}\\underset{\\widetilde{q}_{\\theta}(y_{\\lt t}|x)}{\\mathbb{E}}w_{t}\\nabla _{\\theta}\\underset{{q}_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ad\/9ee\/959\/1ad9ee959d44ddf820c89d24ce374473.svg\" width=\"678\" height=\"60\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"{R}_{t+1}^{\\text{Norm}}=\\frac{1}{T-t-1}\\sum_{k=t}^{T}\\log\\frac{q_{\\theta}(y_{k}|y_{\\lt k})}{p(y_{k}|y_{\\lt k})}\" alt=\"{R}_{t+1}^{\\text{Norm}}=\\frac{1}{T-t-1}\\sum_{k=t}^{T}\\log\\frac{q_{\\theta}(y_{k}|y_{\\lt k})}{p(y_{k}|y_{\\lt k})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f46\/62b\/8c7\/f4662b8c79b3aae0fce574d3a951152d.svg\" width=\"319\" height=\"60\"\/><\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u0412\u0435\u0441\u044c\u043c\u0430 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044e soft-label.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{\\widetilde{q}_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}w_{t}\\left[ {R}_{t+1}^{\\text{Norm}}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\nabla _{\\theta}\\underset{{q}_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})} \\right]\" alt=\"\\nabla_{\\theta}\\mathcal{L}=\\underset{\\widetilde{q}_{\\theta}(y)}{\\mathbb{E}}\\sum_{t=1}^{T}w_{t}\\left[ {R}_{t+1}^{\\text{Norm}}\\nabla_{\\theta}\\log q_{\\theta}(y_{t}|y_{\\lt t})+\\nabla _{\\theta}\\underset{{q}_{\\theta}(y_{t}|x,y_{\\lt t})}{\\mathbb{E}}\\log\\frac{q_{\\theta}(y_{t}|y_{\\lt t})}{p(y_{t}|y_{\\lt t})} \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/28a\/4ea\/600\/28a4ea600e8593287c39205dbdfabc3e.svg\" width=\"604\" height=\"60\"\/><\/p>\n<p>MiniLLM \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0431\u044d\u0439\u0437\u043b\u0430\u0439\u043d\u044b, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 KL \u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044e hard-label, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0447\u0438\u0441\u043b\u0430, \u0442\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 13B-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432 1.3B-\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 60,7, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 2.7B-\u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0451\u0442 \u043d\u0430\u043c 55,4. \u0422\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0434\u0430\u0451\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0434\u0430\u0436\u0435 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438!\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7d0\/a33\/fd4\/7d0a33fd4d0f5348810828737fe2b1a2.png\" alt=\"\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \" title=\"\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \" width=\"1200\" height=\"1214\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d0\/a33\/fd4\/7d0a33fd4d0f5348810828737fe2b1a2.png\"\/><\/p>\n<div><figcaption>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d20\/a51\/669\/d20a51669f8a282bd33595473c1b10e1.png\" alt=\"\" title=\"\" width=\"1200\" height=\"649\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d20\/a51\/669\/d20a51669f8a282bd33595473c1b10e1.png\"\/><\/figure>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u044b \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e.\u00a0<\/p>\n<ul>\n<li>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1:<\/strong> \u041f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 ECE \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 SST2 \u0438 BoolQ. \u041b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0436\u0438\u0440\u043d\u044b\u043c \u0448\u0440\u0438\u0444\u0442\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2:<\/strong> \u041e\u0442\u0447\u0451\u0442\u043b\u0438\u0432\u044b\u0435 4-\u0433\u0440\u0430\u043c\u043c\u044b (Dist-4) \u0438 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u044f\u0437\u044b\u043a\u0430 (loss) \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 LLaMA. MiniLLM \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 3:<\/strong> \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u043c \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u043f\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0442\u0440\u044e\u043a\u043e\u0432 \u0432 MiniLLM.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/816\/a2b\/1f4\/816a2b1f4e387155c62721cd26581e55.png\" alt=\"KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0438 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f MiniLLM \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0442\u0440\u044e\u043a\u043e\u0432\" title=\"KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0438 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f MiniLLM \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0442\u0440\u044e\u043a\u043e\u0432\" width=\"1200\" height=\"730\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/816\/a2b\/1f4\/816a2b1f4e387155c62721cd26581e55.png\"\/><\/p>\n<div><figcaption>KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0438 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f MiniLLM \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0442\u0440\u044e\u043a\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u0441\u0435 \u0442\u0440\u0438 \u0442\u0440\u044e\u043a\u0430 \u0432\u0430\u0436\u043d\u044b. \u0423\u0431\u0435\u0440\u0438\u0442\u0435 \u043e\u0434\u0438\u043d \u2014 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0442\u0430\u043d\u0435\u0442 \u0445\u0443\u0436\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0442\u0440\u044e\u043a\u0438 \u043d\u0435 \u0432\u0440\u0435\u0434\u044f\u0442 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044e \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0431\u0435\u0434\u043d\u0435\u0435\u0442 \u0432 \u043f\u043b\u0430\u043d\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0430\u0441\u0430.<\/p>\n<h3>\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u2014 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f. \u0413\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u2014 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0432\u0435\u0441\u043e\u0432 \u0438\u0437 \u0442\u0438\u043f\u043e\u0432 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u0440\u043e\u0434\u0435 FP16 \u0438\u043b\u0438 FP32 \u0432 \u0442\u0438\u043f\u044b \u043d\u0438\u0437\u043a\u043e\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, INT1\/2\/4\/8 \u0438\u043b\u0438, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, FP8. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u044a\u0451\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0442\u0435\u0442 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u0412\u0441\u0451 \u0438\u0437-\u0437\u0430 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043d\u0438\u0437\u043a\u043e\u0431\u0438\u0442\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439: \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442, \u0442\u043e \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446 \u0442\u0430\u043c \u0441\u0442\u043e\u044f\u0442 \u043a\u0440\u0430\u0442\u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435.\u00a0<\/p>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0438\u0436\u0435. X \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u043c\u044b \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043c \u0432 INT \u043f\u043e \u0445\u0438\u0442\u0440\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435. \u0420\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0435\u0433\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 scale, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u043c \u043f\u043e\u0437\u0436\u0435, \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0446\u0435\u043b\u0443\u044e \u0447\u0430\u0441\u0442\u044c, \u0434\u043e\u0431\u0430\u0432\u0438\u043c zero point, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0434\u0432\u0438\u0433, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u043e\u0441\u044c \u043d\u0430\u0448\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u0434\u0435\u043b\u0430\u0435\u043c clip \u0432 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0438\u0437 \u0440\u0430\u0437\u0440\u0435\u0448\u0451\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u2014 \u0438\u0445 \u0432\u0441\u0435\u0433\u043e \u0434\u0432\u0430 \u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0438\u0442\u043e\u0432.\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"{\\mathrm{x}}^{\\mathbb{(z)}}=\\text{clip}(\\left\\lfloor\\frac{\\mathrm{x}}{s}\\right\\rceil+z;0,2^{b}-1)\" alt=\"{\\mathrm{x}}^{\\mathbb{(z)}}=\\text{clip}(\\left\\lfloor\\frac{\\mathrm{x}}{s}\\right\\rceil+z;0,2^{b}-1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc6\/6be\/383\/fc66be383fa51ef6f51b4ebbc997077c.svg\" width=\"251\" height=\"39\"\/><\/p>\n<p>\u041f\u043e \u0442\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430, \u043d\u043e \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u2014 \u0434\u043e\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 scale \u0438 \u0432\u044b\u0447\u0435\u0441\u0442\u044c zero point \u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e, \u043d\u043e, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0441 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u042d\u0442\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438 \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0438 \u0441 \u0438\u0445 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\widehat{{\\mathrm{x}}}:=q({\\mathrm{x}};s,z,b)=s({\\mathrm{x}}^\\mathbb{{(z)}}-z)\\approx \\mathrm{x}\" alt=\"\\widehat{{\\mathrm{x}}}:=q({\\mathrm{x}};s,z,b)=s({\\mathrm{x}}^\\mathbb{{(z)}}-z)\\approx \\mathrm{x}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dbd\/94e\/8eb\/dbd94e8eb69a383dfc61747d3557fe37.svg\" width=\"279\" height=\"26\"\/><\/p>\n<p>\u0412\u0438\u0434\u043e\u0432 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043c\u043e\u0436\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430, \u0430 \u043c\u043e\u0436\u043d\u043e \u0432\u0435\u0441\u0430 \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f. \u041d\u0430\u0448\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u2014 \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u043e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u0418\u043d\u0442\u043e\u0432\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u043d\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u0448\u0430\u0433\u043e\u043c, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u0438\u0445 \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u2014 \u0442\u0430\u043a\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Non-Uniform.\u00a0<\/p>\n<p>\u0421\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f\u00a0 \u043e\u0442 \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0439 \u043d\u0430\u043b\u0438\u0447\u0438\u0435\u043c zero point. \u0418\u043c\u0435\u043d\u043d\u043e \u0435\u0433\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u0451\u0442 \u0441\u0434\u0432\u0438\u0433 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u043b\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u0434 \u043d\u0435\u0433\u043e scale \u0438 zero point, \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0446\u0435\u043b\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u043e\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e \u0441\u0442\u0440\u043e\u0447\u043a\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0438\u043b\u0438 \u0432\u0441\u0435\u043c \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u043c. \u0412\u0441\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 int-\u044b, \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0438 \u043e\u0431\u0437\u0430\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u0435\u0442\u0430\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0422\u0430\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0443\u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.\u00a0<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0447\u0430\u0441\u0442\u0438. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0440\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0442\u0435\u0440\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0432\u0440\u043e\u0434\u0435 \u0442\u043e\u0439, \u0447\u0442\u043e \u043d\u0438\u0436\u0435, \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435. \u042d\u0442\u0438 \u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430 \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0443\u043c\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u043c\u0438 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043b\u044e\u0434\u0438.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ead\/c9a\/4e2\/eadc9a4e21f3e7f25c7453981a4cd8b8.png\" width=\"1200\" height=\"467\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ead\/c9a\/4e2\/eadc9a4e21f3e7f25c7453981a4cd8b8.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/7f6\/16f\/3c1\/7f616f3c1f115748d53586544a83071f.jpeg\" alt=\"\u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f LLM \u043d\u0430 8 GPU \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c GPU \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438\" title=\"\u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f LLM \u043d\u0430 8 GPU \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c GPU \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438\" width=\"1600\" height=\"1188\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f6\/16f\/3c1\/7f616f3c1f115748d53586544a83071f.jpeg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f LLM \u043d\u0430 8 GPU \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c GPU \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u043e\u043e\u0431\u0449\u0435, \u043c\u0435\u0442\u043e\u0434\u044b \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0434\u0432\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0430. \u041f\u0435\u0440\u0432\u044b\u0439 \u2014 \u044d\u0442\u043e Post-training quantization (PTQ). \u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u0431\u043e\u0440 scale \u0438 zero point \u0447\u0435\u0440\u0435\u0437 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0443 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u0414\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u0443\u0434\u0435\u0442 1000 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041e\u043d \u0441\u0442\u043e\u0438\u0442 \u043d\u0435\u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u043c\u043d\u043e\u0433\u043e GPU-\u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0432\u0435\u0441 \u0435\u043c\u0443 \u0438\u0434\u0451\u0442 Quantization-aware training (QAT). \u041d\u0430 \u043d\u0435\u0433\u043e \u0442\u0440\u0430\u0442\u0438\u0442\u0441\u044f \u043a\u043e\u043b\u043e\u0441\u0441\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0441\u043e\u0442\u043d\u0438 \u0438 \u0442\u044b\u0441\u044f\u0447\u0438 GPU-\u0447\u0430\u0441\u043e\u0432, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0448\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/7e2\/ff6\/99b\/7e2ff699b15e2268dcd17f2ba21983e5.jpeg\" alt=\"PTQ vs QAT\" title=\"PTQ vs QAT\" width=\"1200\" height=\"708\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7e2\/ff6\/99b\/7e2ff699b15e2268dcd17f2ba21983e5.jpeg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>PTQ vs QAT<\/figcaption><\/div>\n<\/figure>\n<h2>\u0411\u043e\u0440\u044c\u0431\u0430 \u0437\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e<\/h2>\n<p>\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u0441 BERT like-\u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041b\u044e\u0434\u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430, \u0438 \u0432\u0441\u0451 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u043e\u0441\u044c. \u0410 \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0435\u0449\u0451 \u0438 \u043a \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c, \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432. \u0412 \u043d\u0430\u0448\u0435\u043c \u0442\u0435\u043d\u0437\u043e\u0440\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u0430\u0434\u0430\u044e\u0442 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041f\u0440\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0435 \u043e\u043d\u0438 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u0445, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e scale \u0441 zero point \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e. \u0412\u0441\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043b\u044c\u0448\u0435, \u0441 \u044d\u0442\u0438\u043c \u0431\u043e\u0440\u044e\u0442\u0441\u044f.\u00a0<\/p>\n<h3>LLM.int8()<\/h3>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0442\u0435\u043c\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432 \u2014 <a href=\"https:\/\/www.youtube.com\/redirect?event=video_description&amp;redir_token=QUFFLUhqbVFIb20zSnJ1VVk0WW56dS1kSHdkUW9kdXpiQXxBQ3Jtc0tscWp5a1g1ZlhneGNZQjJVWDl2RkpSYURXY3VqY0ZWZ2w0dUtLVWpNdkxMX3JZYkNhWDFSaXgyNzdlSS1idlVMeFUwbE1oRVNhVkhZR3NQMGY0S3VUSzZhbGR0QnJ4UHBYLTVOeTBHSkYzNFlveXEzYw&amp;q=https%3A%2F%2Farxiv.org%2Fabs%2F2208.07339&amp;v=AnAR1QcP-QQ\"><u>LLM.int8()<\/u><\/a>. \u0410\u0432\u0442\u043e\u0440\u044b \u0432 \u043d\u0435\u0439 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438, \u0447\u0442\u043e \u0432\u044b\u0431\u0440\u043e\u0441\u044b \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430. \u041f\u0440\u0438\u0447\u0451\u043c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0430 \u044d\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043f\u0430\u0434\u0430\u044e\u0449\u0430\u044f \u043f\u0435\u0440\u043f\u043b\u0435\u043a\u0441\u0438\u044f \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430.\u00a0<\/p>\n<p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432\u0438\u0434\u043d\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0435\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c \u0432\u044b\u0431\u0440\u043e\u0441\u044b.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ba7\/94f\/7f8\/ba794f7f8d0474baadf6468d4e57b710.png\" alt=\"\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445 top-1 \u043f\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u0430 \u0441 \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c\u0438\/\u0431\u0435\u0437 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432\" title=\"\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445 top-1 \u043f\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u0430 \u0441 \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c\u0438\/\u0431\u0435\u0437 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432\" width=\"1200\" height=\"504\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba7\/94f\/7f8\/ba794f7f8d0474baadf6468d4e57b710.png\"\/><\/p>\n<div><figcaption>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445 top-1 \u043f\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u0430 \u0441 \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c\u0438\/\u0431\u0435\u0437 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<h3>SmoothQuant<\/h3>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2211.10438\"><u>SmoothQuant<\/u><\/a> \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043a \u043f\u043e\u0434\u043a\u043b\u0430\u0441\u0441\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0443\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438 \u0432\u0435\u0441\u0430. \u041a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u043b\u0438, \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0438\u0437-\u0437\u0430 \u0432\u044b\u0431\u0440\u043e\u0441\u043e\u0432. \u0420\u0430\u0437\u0443\u043c\u043d\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u043b\u043e\u0436\u0438\u0442\u044c \u044d\u0442\u0443 \u0437\u0430\u0431\u043e\u0442\u0443 \u0432 \u0432\u0435\u0441\u0430, \u0442\u043e\u0433\u0434\u0430 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0441\u0442\u0430\u043d\u0435\u0442 \u0447\u0443\u0442\u044c \u043f\u0440\u043e\u0449\u0435, \u0430 \u0432\u0435\u0441\u043e\u0432 \u2014 \u0447\u0443\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u043d\u043e \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u0431\u0430\u043b\u0430\u043d\u0441\u0443 \u0432 \u0438\u0442\u043e\u0433\u0435 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/26e\/16e\/4f2\/26e16e4f2f7d21991b52efcb95de47c5.png\" width=\"1201\" height=\"387\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/26e\/16e\/4f2\/26e16e4f2f7d21991b52efcb95de47c5.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e7a\/477\/417\/e7a4774178b65d9525873c3a155dc401.png\" width=\"1600\" height=\"1104\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7a\/477\/417\/e7a4774178b65d9525873c3a155dc401.png\"\/><\/figure>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0432 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0439 LLM. \u0421\u043b\u0435\u0432\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0451\u043d \u0442\u0435\u043d\u0437\u043e\u0440 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u0438\u0434\u043d\u044b \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043f\u0438\u043b\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u2014 \u0442\u0435 \u0441\u0430\u043c\u044b\u0435 \u0432\u044b\u0431\u0440\u043e\u0441\u044b. \u041e\u043d\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u043d\u0435\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e \u0432 \u043a\u0430\u043d\u0430\u043b\u0430\u0445 \u0442\u0435\u043d\u0437\u043e\u0440\u0430 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0445 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0440\u0430\u0437 \u0438 \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0439\u0442\u0438 \u043a \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0451\u043d\u043d\u043e\u0439 \u0441\u043b\u0435\u0432\u0430, \u043d\u0443\u0436\u043d\u043e \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u0435 (smoothing). \u041a\u0430\u043a \u0436\u0435 \u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u043d\u0443\u0442\u044c?<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/a86\/268\/e05\/a86268e05094160186408119b17cd642.jpeg\" width=\"1600\" height=\"658\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a86\/268\/e05\/a86268e05094160186408119b17cd642.jpeg\" data-blurred=\"true\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/8f4\/e36\/ffa\/8f4e36ffa8324986fa7e1174dc13108d.jpeg\" width=\"1201\" height=\"623\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f4\/e36\/ffa\/8f4e36ffa8324986fa7e1174dc13108d.jpeg\" data-blurred=\"true\"\/><\/figure>\n<p>\u041d\u0443\u0436\u043d\u043e \u0432\u043e \u0432\u0441\u0435 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u0432 \u0441\u0435\u0442\u0438 \u2014 \u0441\u0438\u043d\u0438\u0435 \u0431\u043b\u043e\u043a\u0438 \u043d\u0430 \u0441\u0445\u0435\u043c\u0435, \u043a\u0440\u043e\u043c\u0435 ReLU, \u2014 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u041e\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0434\u043e\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0438 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u043a \u043d\u0435\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u0435\u0441\u043e\u0432. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0438 \u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u043c \u0441\u043b\u043e\u0435 \u044d\u0442\u0438 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0438 \u0432\u0435\u0441\u043e\u0432 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0441\u043e \u0441\u043b\u0430\u0439\u0434\u0430. \u0410\u043b\u044c\u0444\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u043e\u043c. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c84\/51c\/15b\/c8451c15b2cca7819e4851e740ae77f3.png\" alt=\"\u041f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0430\u044f \u0441\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u03b1 (\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043b\u0435\u0433\u043a\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u0442\u0430\u043a \u0438 \u0432\u0435\u0441\u0430. \u0415\u0441\u043b\u0438 \u03b1 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0432\u0435\u043b\u0438\u043a\u0430, \u0442\u043e \u0442\u0440\u0443\u0434\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0443\u0434\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430, \u0435\u0441\u043b\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0430 \u2014 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438\" title=\"\u041f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0430\u044f \u0441\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u03b1 (\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043b\u0435\u0433\u043a\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u0442\u0430\u043a \u0438 \u0432\u0435\u0441\u0430. \u0415\u0441\u043b\u0438 \u03b1 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0432\u0435\u043b\u0438\u043a\u0430, \u0442\u043e \u0442\u0440\u0443\u0434\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0443\u0434\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430, \u0435\u0441\u043b\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0430 \u2014 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438\" width=\"1200\" height=\"882\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c84\/51c\/15b\/c8451c15b2cca7819e4851e740ae77f3.png\"\/><\/p>\n<div><figcaption>\u041f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0430\u044f \u0441\u0438\u043b\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u03b1 (\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043b\u0435\u0433\u043a\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u0442\u0430\u043a \u0438 \u0432\u0435\u0441\u0430. \u0415\u0441\u043b\u0438 \u03b1 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0432\u0435\u043b\u0438\u043a\u0430, \u0442\u043e \u0442\u0440\u0443\u0434\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0443\u0434\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430, \u0435\u0441\u043b\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0430 \u2014 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u043e\u0441\u0430\u0434\u043a\u0438 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u0431\u0443\u0434\u0443\u0442, \u043d\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0445 \u043d\u0438\u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u044b \u0437\u0430\u043c\u0435\u0440\u044b \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0430\u0440\u0445\u0430\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041d\u0430\u0448\u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0438 \u043d\u0430 \u0441\u0432\u0435\u0436\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0432\u0440\u043e\u0434\u0435 YandexGPT.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/80a\/b87\/5d2\/80ab875d24cc13fca0b0544efb609e8d.png\" width=\"1200\" height=\"1041\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/80a\/b87\/5d2\/80ab875d24cc13fca0b0544efb609e8d.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/521\/96e\/28a\/52196e28a685aaca428d64113ac4eb5c.png\" width=\"1201\" height=\"742\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/96e\/28a\/52196e28a685aaca428d64113ac4eb5c.png\"\/><\/figure>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439 SmoothQuant, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438 \u041e1, \u041e2 \u0438 \u041e3. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u0435\u0441\u043e\u0432 per-tensor (\u0441 \u043e\u0434\u043d\u0438\u043c\u0438 scale \u043d\u0430 \u0432\u0435\u0441\u044c \u0442\u0435\u043d\u0437\u043e\u0440) \u0438 per-token \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0432 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u0445. \u041c\u0435\u0442\u0430\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0449\u0435.\u00a0<\/p>\n<p>\u041c\u044b \u0432 \u042f\u043d\u0434\u0435\u043a\u0441\u0435 \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u0438 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438, \u0447\u0442\u043e, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u041e1-\u0432\u0435\u0440\u0441\u0438\u044f \u2014 \u0441\u0430\u043c\u0430\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0438 <strong>\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f<\/strong> \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c. \u0412 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043f\u043e\u0442\u0435\u0440\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435. \u041f\u043e\u0437\u0436\u0435 \u044d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0438 \u0438 \u0430\u0432\u0442\u043e\u0440\u044b <a href=\"https:\/\/arxiv.org\/abs\/2211.10438\"><u>\u0441\u0442\u0430\u0442\u044c\u0438<\/u><\/a> \u0438\u0437 \u041a\u043e\u0440\u043d\u0435\u043b\u043b\u044c\u0441\u043a\u043e\u0433\u043e \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434.\u00a0<\/p>\n<p>\u041f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432 \u044d\u0442\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e \u00d71,3 (\u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438) \u00d71,5 (\u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438) \u043f\u043e latency \u0438 \u00d72 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438. \u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u043f\u043e latency \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0438\u0441\u0430\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0434\u043b\u044f CUDA-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/876\/592\/795\/8765927955eab39aba0936931d615d95.png\" alt=\"\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 GPU (\u043c\u0441) \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0445\u0435\u043c \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438. \u0427\u0435\u043c \u0433\u0440\u0443\u0431\u0435\u0435 \u0441\u0445\u0435\u043c\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430. SmoothQuant \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16 \u043f\u0440\u0438 \u0432\u0441\u0435\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a LLM.int8() \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0440\u0430\u0432\u0435\u043d 4\" title=\"\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 GPU (\u043c\u0441) \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0445\u0435\u043c \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438. \u0427\u0435\u043c \u0433\u0440\u0443\u0431\u0435\u0435 \u0441\u0445\u0435\u043c\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430. SmoothQuant \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16 \u043f\u0440\u0438 \u0432\u0441\u0435\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a LLM.int8() \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0440\u0430\u0432\u0435\u043d 4\" width=\"1200\" height=\"353\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/876\/592\/795\/8765927955eab39aba0936931d615d95.png\"\/><\/p>\n<div><figcaption>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 GPU (\u043c\u0441) \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0445\u0435\u043c \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438. \u0427\u0435\u043c \u0433\u0440\u0443\u0431\u0435\u0435 \u0441\u0445\u0435\u043c\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430. SmoothQuant \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16 \u043f\u0440\u0438 \u0432\u0441\u0435\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a LLM.int8() \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0440\u0430\u0432\u0435\u043d 4<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cca\/b79\/4f5\/ccab794f5efc36d09c1261ff68bbf818.png\" alt=\"\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f SmoothQuant-O3 \u0432 PyTorch \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u00d71,51 \u0438 \u0432 1,96 \u0440\u0430\u0437\u0430 \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u0435\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u0443\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u044c \u0434\u043b\u044f OPT-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435 NVIDIA A100-80GB, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a LLM.int8() \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\" title=\"\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f SmoothQuant-O3 \u0432 PyTorch \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u00d71,51 \u0438 \u0432 1,96 \u0440\u0430\u0437\u0430 \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u0435\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u0443\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u044c \u0434\u043b\u044f OPT-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435 NVIDIA A100-80GB, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a LLM.int8() \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\" width=\"1201\" height=\"635\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cca\/b79\/4f5\/ccab794f5efc36d09c1261ff68bbf818.png\"\/><\/p>\n<div><figcaption>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f SmoothQuant-O3 \u0432 PyTorch \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u00d71,51 \u0438 \u0432 1,96 \u0440\u0430\u0437\u0430 \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u0435\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u0443\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u044c \u0434\u043b\u044f OPT-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435 NVIDIA A100-80GB, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a LLM.int8() \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/996\/269\/cad\/996269cad20060904403ae3ee6e42dc9.png\" alt=\"\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 (\u0432\u0432\u0435\u0440\u0445\u0443) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 (\u0432\u043d\u0438\u0437\u0443) \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 FasterTransformer \u043d\u0430 NVIDIA A100-80GB GPU. \u0414\u043b\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SmoothQuant-O3 \u2014 \u0434\u043e 1,56x \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16. \u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (OPT-66B \u0438 175B) \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432. \u0417\u0430\u0442\u0440\u0430\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0432\u0434\u0432\u043e\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16\" title=\"\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 (\u0432\u0432\u0435\u0440\u0445\u0443) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 (\u0432\u043d\u0438\u0437\u0443) \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 FasterTransformer \u043d\u0430 NVIDIA A100-80GB GPU. \u0414\u043b\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SmoothQuant-O3 \u2014 \u0434\u043e 1,56x \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16. \u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (OPT-66B \u0438 175B) \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432. \u0417\u0430\u0442\u0440\u0430\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0432\u0434\u0432\u043e\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16\" width=\"1201\" height=\"635\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/996\/269\/cad\/996269cad20060904403ae3ee6e42dc9.png\"\/><\/p>\n<div><figcaption>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 (\u0432\u0432\u0435\u0440\u0445\u0443) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 (\u0432\u043d\u0438\u0437\u0443) \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 FasterTransformer \u043d\u0430 NVIDIA A100-80GB GPU. \u0414\u043b\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SmoothQuant-O3 \u2014 \u0434\u043e 1,56x \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16. \u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (OPT-66B \u0438 175B) \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432. \u0417\u0430\u0442\u0440\u0430\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0432\u0434\u0432\u043e\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 FP16<\/figcaption><\/div>\n<\/figure>\n<h3>GPT-Q<\/h3>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u044d\u0442\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 SOTA, \u043d\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438. GPT-Q \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e <strong>\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u043e\u0432<\/strong> \u0432 4 \u0431\u0438\u0442\u0430, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0432 16 \u0431\u0438\u0442\u0430\u0445. \u0414\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0432 \u0442\u0440\u0438 \u0440\u0430\u0437\u0430, \u043a\u0430\u043a <a href=\"https:\/\/www.youtube.com\/redirect?event=video_description&amp;redir_token=QUFFLUhqbkdXU093eFdTX1NRakUxOUJkVU9VN2dvQUhfUXxBQ3Jtc0trZ2ZLV19sX3VjNlc0OFBZSDJlYXFMUHltOW5LdWR2dC1ZTXd1Z2lnY3llYmZlM2JsS1lsckNJMjQxUEJnWllQNHpXWjhHTnRJUkJjSUExRHZTUWk4bEtVRmg1X2VrMlgzUGxSbTROY0lHRkhyQnB2aw&amp;q=https%3A%2F%2Farxiv.org%2Fabs%2F2210.17323&amp;v=AnAR1QcP-QQ\"><u>\u0437\u0430\u044f\u0432\u043b\u044f\u044e\u0442 \u0430\u0432\u0442\u043e\u0440\u044b \u043c\u0435\u0442\u043e\u0434\u0430<\/u><\/a>. \u041d\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 1,5\u20132, \u043f\u0440\u0438\u0447\u0451\u043c \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 CUDA-\u043a\u0435\u0440\u043d\u0435\u043b\u0430. \u0422\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e production-level \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0442\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u0437\u0430\u043c\u0435\u0440\u044b \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u044b. \u041f\u0440\u0438\u0447\u0451\u043c \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0431\u0430\u0442\u0447\u0430\u0445 \u2014 \u0434\u043e 8 \u0438\u043b\u0438 16.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f49\/6d1\/70c\/f496d170c76b3a953a39d8bb902f8503.png\" width=\"1200\" height=\"627\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f49\/6d1\/70c\/f496d170c76b3a953a39d8bb902f8503.png\"\/><\/figure>\n<p>\u041d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0442\u0440\u0430\u043d\u0441\u0444\u0435\u0440 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u041c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u0430, \u0430 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438. \u0422\u0443\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043d\u0435\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0431\u0435\u0437 LLaMa \u2014 \u0442\u043e\u043b\u044c\u043a\u043e OPT. \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 4 \u0431\u0438\u0442\u0430 \u2014 \u0432 3 \u0431\u0438\u0442\u0430 \u043f\u043e\u0442\u0435\u0440\u0438 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u0435\u0441\u0442\u044c. \u0412 \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u0430\u0445 \u043c\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Decoder Only \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (e.g. LLaMa), \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u043d\u0435\u0441\u0442\u0438 \u0432 \u043d\u0438\u0445 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432\u0440\u043e\u0434\u0435 Group Query Attention (GQA) (\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043e\u0442 GPT-Q \u0438 GQA \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f). \u041d\u043e \u043f\u043e\u0442\u0435\u0440\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435, \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u0441\u0443\u0433\u0443\u0431\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 &lt;= 7B. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0440\u043e\u0434\u0435 35B \u0438\u0445 \u043d\u0435\u0442. \u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/752\/71e\/640\/75271e640a445ff22a3fa4757b672ed5.png\" width=\"1201\" height=\"1310\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/752\/71e\/640\/75271e640a445ff22a3fa4757b672ed5.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1b7\/a36\/f5c\/1b7a36f5c202ebb552d9de5d78d44f6c.png\" alt=\"\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 OPT \u0438 BLOOM \u043f\u043e\u0441\u043b\u0435 GPTQ, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u043d\u0430 LAMBADA\" title=\"\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 OPT \u0438 BLOOM \u043f\u043e\u0441\u043b\u0435 GPTQ, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u043d\u0430 LAMBADA\" width=\"1200\" height=\"554\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b7\/a36\/f5c\/1b7a36f5c202ebb552d9de5d78d44f6c.png\"\/><\/p>\n<div><figcaption>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 OPT \u0438 BLOOM \u043f\u043e\u0441\u043b\u0435 GPTQ, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u043d\u0430 LAMBADA<\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u043c\u043d\u043e\u0433\u043e \u043a\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0442\u0440\u0451\u0445\u0431\u0438\u0442\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0447\u0435\u043c\u0443 \u0441 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u043e\u043c 175-\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043e\u0434\u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430. \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u043d\u043e\u0432\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043c, \u0443 \u043a\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u043b\u0438\u0431\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0432 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u0445 GPU.<\/p>\n<p>\u0421\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0435 \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 \u043e\u0431\u0437\u043e\u0440 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 LLM \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 <a href=\"https:\/\/habr.com\/en\/companies\/yandex\/articles\/800945\/\">\u0434\u0440\u0443\u0433\u043e\u043c \u043d\u0430\u0448\u0435\u043c \u043f\u043e\u0441\u0442\u0435<\/a>.<\/p>\n<h2>\u0414\u0440\u0443\u0433\u0438\u0435 \u0438\u0434\u0435\u0438 \u0438 \u043c\u0435\u0442\u043e\u0434\u044b<\/h2>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u2014 <strong>Speculative Decoding<\/strong>. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 70B LLaMa) \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f (7B). \u0418\u0445 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043e\u0434\u043d\u043e\u043c \u0441\u0435\u0440\u0432\u0438\u0441\u0435. \u041d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u0432\u043e\u0437\u043b\u043e\u0436\u0438\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u2014 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e.\u00a0\u00a0<\/p>\n<p>\u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u041a \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u043d\u0438\u0436\u0435), \u0430 \u0437\u0430\u0442\u0435\u043c \u0437\u0430 \u043e\u0434\u0438\u043d forward pass \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u043d\u0430\u043c \u043e\u043d\u0438 \u0438\u043b\u0438 \u043d\u0435\u0442, \u043a\u0430\u043a\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0438\u043d\u044f\u0442\u044c, \u0430 \u043a\u0430\u043a\u0443\u044e \u0432\u044b\u043a\u0438\u043d\u0443\u0442\u044c. \u0417\u0430\u0442\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u00ab\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u00bb \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u043d\u043e\u0432\u043e. \u0421\u043d\u043e\u0432\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u041a \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.\u00a0<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u0435 \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b Speculative Decoding \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043e\u0434\u043d\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u2014 Acceptance Rate, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0437 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044b \u0431\u043e\u043b\u044c\u0448\u043e\u0439. \u0427\u0435\u043c \u043e\u043d\u043e \u0432\u044b\u0448\u0435, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0438 \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u044b \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043c \u0432\u044b\u0437\u043e\u0432\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b49\/de0\/c75\/b49de0c75ef832b7b87fd64416fa8ebf.png\" width=\"1201\" height=\"1063\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b49\/de0\/c75\/b49de0c75ef832b7b87fd64416fa8ebf.png\"\/><\/figure>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043a\u043b\u0430\u0441\u0441 \u0442\u0435\u0445\u043d\u0438\u043a \u2014 <strong>Continuous Batching<\/strong>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440. \u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u0436\u0451\u043b\u0442\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0442\u043e\u043a\u0435\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0430 \u0441\u0438\u043d\u0438\u043c \u2014 \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d. \u041a\u0440\u0430\u0441\u043d\u044b\u043c \u043e\u0442\u043c\u0435\u0447\u0435\u043d \u043a\u043e\u043d\u0435\u0446 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043e\u0432, \u0438\u043b\u0438 \u0431\u0430\u0431\u0431\u043b\u043e\u0432. \u0413\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u0432 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u043d\u0438\u0445 \u043c\u043e\u0433\u0443\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u044c\u0441\u044f \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u0434 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c\u0438. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u0442\u044c, \u0447\u0430\u0441\u0442\u044c \u0435\u0451 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0431\u0435\u0437 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u00ab\u0431\u0430\u0431\u0431\u043b\u044b\u00bb \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438\u0437 \u043d\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e. \u041a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 \u044d\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043d\u043e \u0432 <a href=\"https:\/\/www.anyscale.com\/blog\/continuous-batching-llm-inference\"><u>\u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/u><\/a>.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/39f\/16d\/6e8\/39f16d6e8528dc5d71549bf3075fdb40.png\" width=\"1200\" height=\"632\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39f\/16d\/6e8\/39f16d6e8528dc5d71549bf3075fdb40.png\"\/><\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0442\u0440\u044e\u043a \u2014 <strong>Parameter-Efficient Fine-Tuning,<\/strong> <strong>\u0438\u043b\u0438 PEFT<\/strong>. \u041c\u044b \u0443\u0436\u0435 <a href=\"https:\/\/habr.com\/en\/companies\/yandex\/articles\/588214\/\"><u>\u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438<\/u><\/a> \u043e \u043d\u0451\u043c \u043d\u0430 \u0425\u0430\u0431\u0440\u0435. \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 YandexGPT. \u041a \u043d\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0434\u043e\u0431\u0430\u0432\u043a\u0438 Prompt Tuning \u0438\u043b\u0438 LoRA. \u041e\u043d\u0438 \u0432\u0435\u0441\u044f\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u043e, \u043f\u043e\u0440\u044f\u0434\u043a\u0430 200 \u043a\u0438\u043b\u043e\u0431\u0430\u0439\u0442, \u0438, \u043f\u043e \u0441\u0443\u0442\u0438, \u044d\u0442\u043e \u043d\u0435\u043a\u0438\u0435 \u043a\u0430\u0440\u0442\u0440\u0438\u0434\u0436\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043e\u0431\u0449\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443. \u0422\u0430\u043a\u043e\u0439 \u043a\u0430\u0440\u0442\u0440\u0438\u0434\u0436 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u0441\u044b\u043b\u0430\u0442\u044c \u0432 API \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0434\u043e\u0431\u043d\u043e \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0436\u0435\u043b\u0435\u0437\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438 \u0438\u043b\u0438 \u0441\u0440\u0435\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043c\u0435\u0436\u0434\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f\u043c\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/602\/0c9\/4b2\/6020c94b2095261e69ab197e07a1d00b.jpeg\" width=\"1200\" height=\"783\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/602\/0c9\/4b2\/6020c94b2095261e69ab197e07a1d00b.jpeg\" data-blurred=\"true\"\/><\/figure>\n<hr\/>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c, \u0432 \u043a\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0438 \u043a\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442.\u00a0<\/p>\n<ul>\n<li>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f. \u0412 \u0438\u0434\u0435\u0430\u043b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c PPO \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0442\u0440\u044e\u043a\u0438 \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0438 \u0431\u0435\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u043e\u0431\u044a\u0451\u043c\u044b \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u043c\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0442\u0435\u043c \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u0414\u043b\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 GPT-Q, \u0430 \u0432\u043e\u0442 \u0434\u043b\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0432\u0435\u0441\u043e\u0432, \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0443\u0436\u0435 SmoothQuant.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u0432\u0440\u043e\u0434\u0435 Speculative Decoding \u0438 Continuous Batching, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0438 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0418 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u0441\u0442\u0430\u0442\u044c\u044f \u0431\u044b\u043b\u0430 \u0432\u0430\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439. \u0411\u0443\u0434\u0443 \u0440\u0430\u0434 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u0432\u0441\u0451, \u0447\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/801119\/\"> https:\/\/habr.com\/ru\/articles\/801119\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<p>\u0418\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u043e\u043c ML-\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0435\u0451 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u044b \u0440\u0430\u0437\u0433\u043e\u043d\u044f\u0435\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043b\u0438 \u043e\u0442 \u0436\u0435\u043b\u0435\u0437\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0442\u044f\u0436\u0451\u043b\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u0441\u0442\u0440\u043e \u043e\u0449\u0443\u0449\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (LLM) \u0442\u0430\u043a \u043e\u0441\u0442\u0440\u043e, \u043a\u0430\u043a \u043d\u0438 \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445.<\/p>\n<p>\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0420\u043e\u043c\u0430\u043d \u0413\u043e\u0440\u0431, \u044f \u0441\u0442\u0430\u0440\u0448\u0438\u0439 ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 YandexGPT. \u0422\u0435\u043c\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 LLM \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b\u0430 \u043c\u0435\u043d\u044f, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f R&amp;D \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0435\u0442\u043e\u043a \u0434\u043b\u044f CV-\u0437\u0430\u0434\u0430\u0447. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u0431\u0435\u0437\u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u0421\u043f\u0435\u0440\u0432\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f, \u0437\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e, \u0430 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u043c\u043e\u0447\u044c.\u00a0<\/p>\n<blockquote>\n<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u043c\u043e\u0435\u0439 <a href=\"https:\/\/www.youtube.com\/watch?v=AnAR1QcP-QQ\"><u>\u043b\u0435\u043a\u0446\u0438\u0438<\/u><\/a> \u043d\u0430 GPT Week, \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 <a href=\"https:\/\/shad.yandex.ru\/\"><u>\u0428\u043a\u043e\u043b\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/u><\/a>.\u00a0<\/p>\n<\/blockquote>\n<h2>\u0427\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u0437\u0430\u0447\u0435\u043c \u0435\u0451 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c<\/h2>\n<p>\u0418\u0442\u0430\u043a, \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u0421\u0430\u043c\u044b\u0439 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u2014<strong> \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong>: Encoder Only, Decoder Only, Encoder-Decoder. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 GPT like-\u043c\u043e\u0434\u0435\u043b\u044c \u0438 T5 like-\u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0431\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438, \u043d\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u2014 \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u2014 \u043f\u043e\u043b\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0431\u0430\u0442\u0447\u0430, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u0442\u043e\u0436\u0435 \u0438\u043c\u0435\u044e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.\u00a0<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0444\u0430\u043a\u0442\u043e\u0440 \u2014 <strong>\u0442\u0438\u043f \u0437\u0430\u0434\u0430\u0447\u0438<\/strong>. \u0417\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u0438\u043b\u0438 \u0434\u0438\u0441\u043a\u0440\u0438\u043c\u0438\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438. \u041a \u043f\u0435\u0440\u0432\u044b\u043c \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f Questioning and Answering \u0438 Summarization, \u0430 \u043a\u043e \u0432\u0442\u043e\u0440\u044b\u043c \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f. \u041a\u0430\u0436\u0434\u044b\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432: \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0430, \u0433\u0434\u0435 \u043c\u044b \u0442\u043e\u043a\u0435\u043d \u0437\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043e\u0442\u0432\u0435\u0442. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u044d\u0442\u0430\u043f\u043e\u0432 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443.\u00a0<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0436\u0435\u043b\u0435\u0437\u043d\u043e\u043c\u0443 \u0434\u0440\u0443\u0433\u0443 <strong>GPU<\/strong>. \u041f\u043e \u0441\u0443\u0442\u0438, \u044d\u0442\u043e \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u044c \u0441 \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u044f\u0434\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432. \u041c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0435\u0441\u0442\u044c \u0448\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0433\u043e\u043d\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0415\u0441\u043b\u0438 \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u043c\u044b \u0443\u043f\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432 \u0435\u0451 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0438 \u044f\u0434\u0440\u0430 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0434\u043e\u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b, \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u0433\u043e\u043b\u043e\u0434\u0430\u043d\u0438\u0435 (memory-bound). \u0418\u0437-\u0437\u0430 \u043d\u0435\u0433\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c: \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u043c\u0438. \u041d\u0443\u0436\u043d\u043e \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044f\u0434\u0440\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e.\u00a0<\/p>\n<h3>\u0412\u0437\u0433\u043b\u044f\u0434 \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: RPS \u0438 latency<\/h3>\n<p>\u0412\u0441\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u043e\u043f\u0438\u0441\u0430\u043b \u0432\u044b\u0448\u0435, \u0432\u0441\u0451 \u0436\u0435 \u0432\u0430\u0436\u043d\u0435\u0435 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432. \u0414\u043b\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: RPS \u0438 latency. RPS (requests per second) \u2014 \u044d\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0435\u0440\u0432\u0438\u0441 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0430 latency \u2014 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0441\u0435\u0440\u0432\u0438\u0441\u0430. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c RPS \u0431\u044b\u043b \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0430 latency \u2014 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435.\u00a0<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f RPS \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e. \u041d\u043e\u0447\u044c\u044e \u043b\u044e\u0434\u0438 \u0441\u043f\u044f\u0442, \u0438 \u043d\u0438\u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0435\u0440\u0432\u0438\u0441\u0443 \u043d\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442, \u0430 \u0434\u043d\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0435\u0441\u0442\u044c, \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0451\u0442<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043a\u0430\u043a \u044d\u0442\u043e \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043e. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0441\u0435\u0440\u0432\u0438\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c 2000 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0430 20% \u0438\u0437 \u043d\u0438\u0445 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0432 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u041e\u0441\u0442\u0430\u0451\u0442\u0441\u044f 1600 RPS, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u043e\u0447\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430, \u0432\u0435\u0434\u044c \u043d\u0430 \u043f\u0438\u043a\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 RPS \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0438 \u0434\u043e 1800. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043e\u0436\u0438\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043f\u0440\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0442\u0440\u0451\u0445 \u0441\u0435\u043a\u0443\u043d\u0434 \u2014 \u044d\u0442\u043e \u0446\u0435\u043b\u0435\u0432\u0430\u044f latency.<\/p>\n<p>\u0422\u0435\u0441\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043e\u0434\u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0434\u0435\u0440\u0436\u0430\u0442\u044c 6 RPS, \u0432\u043f\u0440\u0438\u0442\u044b\u043a \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044f\u0441\u044c \u0432 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0442\u0440\u0438 \u0441\u0435\u043a\u0443\u043d\u0434\u044b. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u043d\u0443\u0436\u043d\u043e 300 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442, \u043d\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e 200. \u042d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438, \u0443\u0441\u043a\u043e\u0440\u0438\u0432 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0443\u0441\u043a\u043e\u0440\u044f\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0431\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043c\u0435\u043d\u044c\u0448\u0438\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0436\u0435\u043b\u0430\u0435\u043c\u043e\u0433\u043e, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u043e\u0439\u0442\u0438 \u043d\u0430 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0435\u0451 \u0440\u0430\u0431\u043e\u0442\u044b. \u0412\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0433\u0440\u0430\u0444\u0438\u043a \u043d\u0438\u0436\u0435. \u041d\u0430 \u043e\u0441\u0438 X \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445, \u043d\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c RPS, \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u041d\u0430 \u043e\u0441\u0438 Y \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u0435\u0441\u0442\u044c diff \u043e\u0442 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>\u0422\u043e\u0447\u043a\u0438 \u2014 \u044d\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c. \u041e\u0442\u043a\u0443\u0434\u0430 \u0432\u0437\u044f\u0442\u044c \u044d\u0442\u0438 \u0442\u043e\u0447\u043a\u0438? \u041c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043d\u0430\u043d\u0435\u0441\u0442\u0438 \u0438\u0445 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0432\u0441\u0451 \u043d\u043e\u0432\u044b\u0435 \u0438 \u043d\u043e\u0432\u044b\u0435. \u0422\u0430\u043a \u043d\u0430 \u043a\u0440\u0438\u0432\u043e\u0439 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u0447\u0435\u043a, \u0430 \u0443 \u043d\u0430\u0441 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430.\u00a0<\/p>\n<figure class=\"full-width\"><\/figure>\n<h2>\u041c\u0435\u0442\u043e\u0434\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430\u00a0<\/h2>\n<h3>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f<\/h3>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0432 \u044d\u0442\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044c (teacher), \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435 \u2014 \u0441\u0442\u0443\u0434\u0435\u043d\u0442 (student). \u0425\u043e\u0440\u043e\u0448\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0431\u0443\u0434\u0435\u0442 <a href=\"https:\/\/ya.ru\/ai\/gpt-3\">YandexGPT 3<\/a> \u2014 \u0431\u043e\u043b\u044c\u0448\u0430\u044f LLM, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c, \u043d\u043e \u043e\u043d\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u0435 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u0448 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442. \u0415\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435, \u0432\u0440\u043e\u0434\u0435 \u04225, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043d\u043e \u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0442\u0430\u043a \u0436\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043a\u0430\u043a YandexGPT 3. \u0417\u0430\u0434\u0430\u0447\u0430 Knowledge Distillation \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u0438 (loss) \u043c\u0435\u0436\u0434\u0443 \u0444\u0438\u0447\u0430\u043c\u0438 \u2014 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0438 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430.\u00a0<\/p>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 hard-label. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0442\u0430\u0440\u0433\u0435\u0442\u044b \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u043d\u0438\u0445 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435. \u041d\u0438\u0447\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e.\u00a0<\/p>\n<p>\u041f\u0440\u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 soft-label, \u043d\u043e \u0432 objective \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0451 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043e\u0442 \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041f\u043e\u0434 \u043d\u0438\u0445 \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043c\u0438\u043a\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0443\u0434\u0435\u043d\u0442.\u00a0<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u043c\u0435\u043d\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e loss \u043d\u0430 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e \u2014 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438, \u043d\u043e \u0435\u0451 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0412\u043e\u0442 \u043a\u0430\u043a \u0435\u0451 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c.\u00a0\u00a0<\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0435\u0451 \u043d\u0443\u0436\u043d\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043e <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9C%D0%BE%D0%BD%D1%82%D0%B5-%D0%9A%D0%B0%D1%80%D0%BB%D0%BE\"><u>\u043c\u0435\u0442\u043e\u0434\u0443 \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e<\/u><\/a>. \u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u043b\u043e \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438, \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u043c \u043e\u0442 \u043d\u0443\u043b\u044f, \u0435\u0441\u043b\u0438 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u043d\u0435 \u0440\u0430\u0432\u0435\u043d \u043d\u0443\u043b\u044e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 \u0434\u043e\u043b\u0436\u043d\u043e \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u044f.\u00a0<\/p>\n<p>\u041d\u043e, \u043a\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0441\u0442\u0443\u0434\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u0430\u0431\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0435\u0451 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0430\u043a\u0438\u043c \u0436\u0435 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0435\u0451 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0438 \u043f\u043b\u043e\u0445\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u044f.\u00a0<\/p>\n<p>\u0420\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043f\u0440\u0438\u0437\u0432\u0430\u043d\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0443\u0436\u0435 \u043f\u043e \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0443 \u0432 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0438, \u043c\u0435\u043d\u044f\u044f \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c, \u043d\u043e \u0441 \u044d\u0442\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u0440\u043e\u0442\u044c\u0441\u044f, \u043f\u0440\u0438\u0447\u0451\u043c \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u041e\u0434\u0438\u043d \u0438\u0437 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 <a href=\"https:\/\/www.youtube.com\/redirect?event=video_description&amp;redir_token=QUFFLUhqa0doUXVyMUtWRktxYUtzR2pNTXVJQ0xpa2F4Z3xBQ3Jtc0tsZHNNVDVNT3pCLWNFWmdRQnR2SmpGY01rMXJhUXl1eUVNTDlKelNzRlo0WnpmeE8xYXNfMmNHZkZEbXZQbmpIaDNYWFo1aUx6ZUEyaTFPSzRtVkJ1M2g3b2tVSksweWJ4NXdZX1BFMmpHMG1RZ2R4Zw&amp;q=https%3A%2F%2Farxiv.org%2Fabs%2F2002.10957&amp;v=AnAR1QcP-QQ\"><u>MiniLLM<\/u><\/a>.<\/p>\n<p>\u0414\u043b\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u0446\u0438\u0438 \u043f\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 \u0437\u0434\u0435\u0441\u044c \u0435\u0449\u0451 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0438 reinforce-\u0442\u0440\u044e\u043a, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u0432 \u043a\u0443\u0440\u0441\u0435 <a href=\"https:\/\/github.com\/yandexdataschool\/Practical_RL\"><u>Practical RL \u0432 \u0428\u0410\u0414\u0435<\/u><\/a>. \u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e, \u0442\u043e MiniLLM \u0432\u0432\u043e\u0434\u044f\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, \u043d\u043e \u0442\u0435 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e. \u0420\u0435\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/huggingface.co\/learn\/deep-rl-course\/unit8\/introduction\"><u>PPO (Proximal policy optimization)<\/u><\/a> \u2014 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u043e\u0432.\u00a0<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435\u043c, \u0432\u0435\u0434\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0443\u043c\u0435\u044e\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u0442\u0440\u044e\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c PPO.<\/p>\n<p><strong>\u041f\u0435\u0440\u0432\u044b\u0439 \u0442\u0440\u044e\u043a.<\/strong> \u041d\u0443\u0436\u043d\u043e \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0438\u0436\u0435. \u0422\u0430\u043a\u0436\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u043e \u0448\u0430\u0433\u0430\u043c, \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0443 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0432\u0430 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445. \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430 \u0430\u0432\u0442\u043e\u0434\u0438\u0444\u0444\u043e\u043c.\u00a0<\/p>\n<p><strong>\u0412\u0442\u043e\u0440\u043e\u0439 \u0442\u0440\u044e\u043a.<\/strong> \u041c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c NLP \u0447\u0430\u0441\u0442\u043e \u043b\u044e\u0431\u044f\u0442 \u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u0442\u044c reward \u2014 \u0432\u0437\u043b\u0430\u043c\u044b\u0432\u0430\u0442\u044c \u0435\u0433\u043e. \u041d\u0430\u0433\u0440\u0430\u0434\u044b \u0432\u044b\u0441\u043e\u043a\u0438\u0435, \u043d\u043e \u0441\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0443\u043c\u043d\u044b\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0443\u0442 \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044e, \u0441\u043c\u0435\u0448\u0430\u0432 \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0432\u0435\u0441\u0430 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 \u0438 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u043e\u0432\u0443\u044e q, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a-\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e. \u041f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u0440\u0438\u0431\u0435\u0433\u043d\u0443\u0442\u044c \u043a \u0445\u0430\u043a\u0443 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Importance_sampling\"><u>Importance Sampling<\/u><\/a>.\u00a0<\/p>\n<p><strong>\u0422\u0440\u0435\u0442\u0438\u0439 \u0442\u0440\u044e\u043a.<\/strong> \u041e\u043d \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u2014 \u043d\u0443\u0436\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u0438\u043d\u0443. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0448\u0430\u044e\u0442 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041d\u0438\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 reward \u0434\u043b\u044f \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439. \u0422\u0443\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0422 \u2014 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430.\u00a0<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u0412\u0435\u0441\u044c\u043c\u0430 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044e soft-label.<\/p>\n<p>MiniLLM \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0431\u044d\u0439\u0437\u043b\u0430\u0439\u043d\u044b, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 KL \u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044e hard-label, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0447\u0438\u0441\u043b\u0430, \u0442\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 13B-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432 1.3B-\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 60,7, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 2.7B-\u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0451\u0442 \u043d\u0430\u043c 55,4. \u0422\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0434\u0430\u0451\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0434\u0430\u0436\u0435 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438!\u00a0<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><\/figure>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u044b \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e.\u00a0<\/p>\n<ul>\n<li>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1:<\/strong> \u041f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 ECE \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 SST2 \u0438 BoolQ. \u041b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u0436\u0438\u0440\u043d\u044b\u043c \u0448\u0440\u0438\u0444\u0442\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2:<\/strong> \u041e\u0442\u0447\u0451\u0442\u043b\u0438\u0432\u044b\u0435 4-\u0433\u0440\u0430\u043c\u043c\u044b (Dist-4) \u0438 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u044f\u0437\u044b\u043a\u0430 (loss) \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 LLaMA. MiniLLM \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 3:<\/strong> \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u043c \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u043f\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0442\u0440\u044e\u043a\u043e\u0432 \u0432 MiniLLM.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\">\n<div><figcaption>KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0438 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u043e\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f MiniLLM \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0442\u0440\u044e\u043a\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u0441\u0435 \u0442\u0440\u0438 \u0442\u0440\u044e\u043a\u0430 \u0432\u0430\u0436\u043d\u044b. \u0423\u0431\u0435\u0440\u0438\u0442\u0435 \u043e\u0434\u0438\u043d \u2014 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0442\u0430\u043d\u0435\u0442 \u0445\u0443\u0436\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0442\u0440\u044e\u043a\u0438 \u043d\u0435 \u0432\u0440\u0435\u0434\u044f\u0442 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044e \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0431\u0435\u0434\u043d\u0435\u0435\u0442 \u0432 \u043f\u043b\u0430\u043d\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0430\u0441\u0430.<\/p>\n<h3>\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u2014 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f. \u0413\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u2014 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0432\u0435\u0441\u043e\u0432 \u0438\u0437 \u0442\u0438\u043f\u043e\u0432 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u0440\u043e\u0434\u0435 FP16 \u0438\u043b\u0438 FP32 \u0432 \u0442\u0438\u043f\u044b \u043d\u0438\u0437\u043a\u043e\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, INT1\/2\/4\/8 \u0438\u043b\u0438, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, FP8. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u044a\u0451\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0442\u0435\u0442 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u0412\u0441\u0451 \u0438\u0437-\u0437\u0430 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u043d\u0438\u0437\u043a\u043e\u0431\u0438\u0442\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439: \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442, \u0442\u043e \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446 \u0442\u0430\u043c \u0441\u0442\u043e\u044f\u0442 \u043a\u0440\u0430\u0442\u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435.\u00a0<\/p>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0438\u0436\u0435. X \u0441 \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u043c\u044b \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043c \u0432 INT \u043f\u043e \u0445\u0438\u0442\u0440\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435. \u0420\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0435\u0433\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 scale, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u043c \u043f\u043e\u0437\u0436\u0435, \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0446\u0435\u043b\u0443\u044e \u0447\u0430\u0441\u0442\u044c, \u0434\u043e\u0431\u0430\u0432\u0438\u043c zero point, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0434\u0432\u0438\u0433, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u043e\u0441\u044c \u043d\u0430\u0448\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u0434\u0435\u043b\u0430\u0435\u043c clip \u0432 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0438\u0437 \u0440\u0430\u0437\u0440\u0435\u0448\u0451\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u2014 \u0438\u0445 \u0432\u0441\u0435\u0433\u043e \u0434\u0432\u0430 \u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0438\u0442\u043e\u0432.\u00a0<\/p>\n<p>\u041f\u043e \u0442\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430, \u043d\u043e \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0432<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-371153","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/371153","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=371153"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/371153\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=371153"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=371153"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=371153"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}