{"id":489866,"date":"2026-08-05T11:26:54","date_gmt":"2026-08-05T11:26:54","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=489866"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=489866","title":{"rendered":"\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043d\u043e\u0439 guard\u2011\u043c\u043e\u0434\u0435\u043b\u0438: TensorRT, Triton, vLLM, Ray Serve"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041a\u043e\u0433\u0434\u0430 \u0432\u00a0\u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0435\u0441\u0442\u044c \u0443\u0437\u0435\u043b \u043c\u0435\u0436\u0434\u0443 LLM \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0435\u0433\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u0430, \u043a\u0430\u043a\u00a0\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0430\u043c\u043e\u0439 LLM. \u041a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e\u0442 \u0443\u0437\u0435\u043b \u0441\u0430\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e (\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435\u00a0\u2014\u00a0\u0442\u043e\u0436\u0435 LLM)\u00a0\u2014\u00a0\u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u0432\u0435\u0441\u0435\u043b\u043e\u0439 \u0438 \u0435\u0451 \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u0435\u0442\u044c \u0440\u0435\u0448\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438. \u0412\u00a0\u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u044f \u043e\u043f\u0438\u0448\u0443 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f guardrail\u2011\u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014\u00a0\u0443\u0437\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u00a0\u2014 \u043d\u0435\u0442\u00a0\u043b\u0438 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434\u0435 \u0438\u043b\u0438\u00a0\u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u043f\u0430\u0441\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430.<\/p>\n<p>Guard \u0441\u0442\u043e\u0438\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434\u0435\/\u0432\u044b\u0445\u043e\u0434\u0435 LLM\u2011\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f. \u0412\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u0440\u043e\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u2014 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 0.5\u00a0Gb. \u041d\u043e\u00a0\u043e\u043d\u0430 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0430\u0436\u0434\u044b \u0437\u0430\u00a0\u043e\u0434\u0438\u043d \u0445\u043e\u0434 \u0434\u0438\u0430\u043b\u043e\u0433\u0430, \u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0436\u0434\u0435\u0442, \u043f\u043e\u043a\u0430 guard \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442 \u0435\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0432\u00a0LLM, \u0437\u0430\u0442\u0435\u043c\u00a0\u2014 \u043f\u043e\u043a\u0430 \u043e\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043f\u0435\u0440\u0435\u0434 \u0432\u044b\u0434\u0430\u0447\u0435\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e.<\/p>\n<p>\u041c\u043e\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439\u00a0\u0431\u044b\u043b\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e guard\u2011\u043c\u043e\u0434\u0435\u043b\u044c (Locustfile, \u0431\u0430\u0437\u043e\u0432\u044b\u0435 benchmark\u2011\u043a\u043e\u043d\u0444\u0438\u0433\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u043f\u043e\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 <a href=\"http:\/\/github.com\/bogdanminko\/gliner-guard-serve\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e<\/a>). \u042f \u043f\u043e\u0442\u0435\u0441\u0442\u0438\u043b\u0430 \u043f\u044f\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432: TensorRT, NVIDIA Triton, vLLM, Ray Serve \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u00a0\u2014 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u0431\u044d\u043a\u0431\u043e\u043d\u0430 \u043d\u0430\u00a0Flash DeBERTa.<\/p>\n<p>\u041f\u0440\u043e\u00a0\u0434\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0432\u044b\u0432\u043e\u0434\u044b\u00a0\u2014 \u043e\u00a0\u0442\u043e\u043c, \u043a\u0430\u043a\u00a0\u0431\u044b \u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0430 \u043f\u043e\u0434\u043e\u0431\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0435\u0439\u0447\u0430\u0441\u00a0\u2014\u00a0\u043d\u0438\u0436\u0435. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u044d\u0442\u043e \u0441\u0431\u0435\u0440\u0435\u0436\u0435\u0442 \u0432\u0430\u043c \u0432\u0440\u0435\u043c\u044f.<\/p>\n<h3>\u0427\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 PII\u2011\u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u044f\u0436\u0435\u043b\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c<\/h3>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a\u00a0\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u00a0\u0442\u0435\u043c\u0443.<\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043d\u0430\u0439\u0442\u0438 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438: \u0438\u043c\u0435\u043d\u0430, \u0430\u0434\u0440\u0435\u0441\u0430, \u0442\u0435\u043b\u0435\u0444\u043e\u043d\u044b, \u043f\u043e\u0447\u0442\u044b, \u043d\u043e\u043c\u0435\u0440\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0438 \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 \u043f\u043e\u00a0\u0442\u0435\u043a\u0441\u0442\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u0435\u043d \u043e\u043d \u0438\u043b\u0438\u00a0\u043d\u0435\u0442. \u041f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c\u00a0\u2014 \u044d\u0442\u043e NER, \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0412\u0442\u043e\u0440\u0430\u044f\u00a0\u2014 \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f.<\/p>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 NER\u2011\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0442\u0430\u043a: \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u043f\u043e\u0432\u0435\u0440\u0445 \u043d\u0435\u0433\u043e \u0433\u043e\u043b\u043e\u0432\u0430 \u043d\u0430\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u043f\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c. \u041d\u043e\u00a0\u0434\u043b\u044f\u00a0guard\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043d\u0430\u0431\u043e\u0440 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u043a\u00a0\u043a\u043b\u0438\u0435\u043d\u0442\u0443 \u0438 \u043e\u0442\u00a0\u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0430 \u043a\u00a0\u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0443, \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u0435 \u0442\u0430\u043a\u043e\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f zero\u2011shot: \u0442\u0438\u043f\u044b \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0432\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0441\u0430\u043c\u043e\u043c \u0432\u0445\u043e\u0434\u0435, \u0447\u0442\u043e\u00a0\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442. \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u0432\u0445\u043e\u0434 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a:<\/p>\n<p><code>[ENT] person [ENT] address [ENT] email [ENT] phone [SEP] Send $500 to John Smith at <\/code><a href=\"mailto:john.smith@gmail.com\" rel=\"noopener noreferrer nofollow\"><code>john.smith@gmail.com<\/code><\/a><\/p>\n<p>\u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0432\u0441\u044e \u044d\u0442\u0443 \u0441\u043a\u043b\u0435\u0439\u043a\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0438 \u043d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0432\u00a0\u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043c\u0435\u0442\u043e\u043a \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 <strong>\u0441\u043f\u0430\u043d\u044b<\/strong> (\u043f\u043e\u0434\u0441\u0442\u0440\u043e\u043a\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b), \u043f\u043e\u0441\u043b\u0435 \u0441\u0442\u0440\u043e\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043f\u0430\u043d\u0430 \u0438\u0437\u00a0\u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0435\u0433\u043e \u043a\u0440\u0430\u0439\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0441\u043a\u043e\u0440\u0438\u0442 \u0441\u043f\u0430\u043d \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0435\u0442\u043a\u0438. \u0421\u043a\u043e\u0440 \u0432\u044b\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430\u00a0\u2014 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u0430.<\/p>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u043d\u0436\u0435\u043a\u0442\u0438\u0442\u0441\u044f \u0442\u0443\u0434\u0430\u00a0\u0436\u0435 \u0438 \u0442\u0435\u043c\u00a0\u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u043c\u0435\u0442\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u043a\u0443\u0441\u043a\u043e\u043c \u0432\u0445\u043e\u0434\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0434\u0430\u0435\u0442 \u0438 \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043f\u0435\u0440\u0441\u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 \u0437\u0430\u00a0\u043e\u0434\u0438\u043d forward pass.<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u043b\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0438\u0431\u043a\u043e\u0439, \u043d\u0430\u0431\u043e\u0440 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0440\u044f\u043c\u043e \u0432\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0435, \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u041d\u043e\u00a0\u0437\u0430\u00a0\u044d\u0442\u0443 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044c. \u0414\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0441\u0435\u043c\u044c \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439:<\/p>\n<p><strong>1. \u0424\u043e\u0440\u043c\u0430 \u0432\u0445\u043e\u0434\u0430 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043a\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0443. <\/strong>\u0414\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0441\u0445\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0430\u043a\u0436\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u0414\u043b\u044f\u00a0\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u0438 \u044d\u0442\u043e \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439. TensorRT \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u0444\u043e\u0440\u043c\u0430 \u0432\u0445\u043e\u0434\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438 \u043f\u043e\u0434\u00a0\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u044f\u0434\u0440\u0430. \u041f\u0440\u0438\u00a0\u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u0438 <strong>min\/opt\/max<\/strong>, \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0432\u0445\u043e\u0434\u044b \u043f\u0430\u0434\u0434\u0438\u043d\u0433\u043e\u043c \u0438\u043b\u0438\u00a0\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 engine \u043f\u043e\u0434\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u044b. CUDA Graphs \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435\u00a0\u0436\u0435\u0441\u0442\u043a\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u00a0\u2014 \u0433\u0440\u0430\u0444 \u0437\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u044b \u0432\u0445\u043e\u0434\u0430. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u00a0\u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 \u043d\u0435\u00a0\u043c\u043e\u0433\u0443\u0442 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u042d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437\u00a0\u043f\u0440\u0438\u0447\u0438\u043d \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0445\u043e\u0434\u0430 \u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u0432\u00a0\u0442\u0440\u0435\u043a\u0435 \u043f\u0440\u043e\u00a0vLLM.<\/p>\n<p><strong>2. \u041d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u0435 \u043d\u0435\u00a0\u0442\u0435\u043d\u0437\u043e\u0440.<\/strong> \u041f\u043e\u0441\u043b\u0435 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u0442\u0430\u043f span\u2011\u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0430: \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u043e\u00a0\u043f\u043e\u0440\u043e\u0433\u0443, \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u043f\u0430\u043d\u0430\u043c\u0438, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432\u00a0\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u00a0\u0442\u0438\u043f\u0430\u043c. \u042d\u0442\u0430 \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0CPU \u0438 \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430\u00a0GPU \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u00a0\u0432\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0442\u00a0\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p><strong>3. \u0412\u00a0\u0433\u0440\u0430\u0444\u0435 \u0435\u0441\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438.<\/strong> \u0420\u0430\u0431\u043e\u0442\u0430 \u0441\u043e \u0441\u043f\u0430\u043d\u0430\u043c\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 <strong>gather<\/strong> \u043f\u043e\u00a0\u043f\u0430\u0440\u0430\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u00ab\u043d\u0430\u0447\u0430\u043b\u043e\u00a0\u2014 \u043a\u043e\u043d\u0435\u0446\u00bb, \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0438 \u0431\u0438\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043a\u043e\u0440\u0438\u043d\u0433 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a. \u042d\u043a\u0441\u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0444 \u0432\u00a0ONNX \u043c\u043e\u0436\u043d\u043e, \u043d\u043e\u00a0\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 INT8-\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0438 \u0441\u0432\u0435\u0440\u0442\u043a\u0438, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043c\u0435\u044e\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044f\u0434\u0440\u0430 \u0434\u043b\u044f\u00a0\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0432\u0435\u0440\u0445 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430.\u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u0441\u0435 \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u0432\u0448\u0438\u0435\u0441\u044f INT8-\u043f\u0443\u0442\u0438 \u043d\u0438\u0436\u0435.<\/p>\n<p><strong>4. \u0423\u00a0\u0431\u044d\u043a\u0431\u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 attention. <\/strong>\u041c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0431\u044d\u043a\u0431\u043e\u043d\u044b \u0441\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u0435\u0433\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u043e. \u0414\u043b\u044f\u00a0NER \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e: \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0447\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0412\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0\u044d\u0442\u0438\u043c \u0441\u00a0\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0442\u0430\u043a\u043e\u0439 attention \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0414\u043b\u044f\u00a0\u043d\u0435\u0433\u043e \u043d\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e fused\u2011\u044f\u0434\u0440\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u043d\u0430 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0433\u0440\u0430\u0444\u0435 \u0432\u00a0\u043d\u0430\u0431\u043e\u0440 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 GPU\u2011\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0441\u00a0\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438 \u044f\u0434\u0435\u0440 \u0438 \u043e\u0431\u043c\u0435\u043d\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043b\u043a\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0439\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0439. \u042d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u043b\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0440\u0435\u043a\u0430 \u0441\u00a0Flash DeBERTa.<\/p>\n<p><strong>5. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0431\u0430\u0442\u0447\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0441\u0430\u043c\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442.<\/strong> \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e \u043f\u043e\u00a0\u0434\u043b\u0438\u043d\u0435, \u043f\u0430\u0434\u0434\u0438\u043d\u0433 \u0438\u0434\u0435\u0442 \u0434\u043e\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0432\u00a0\u0431\u0430\u0442\u0447\u0435. \u0423\u00a0\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0440\u0435\u0448\u0435\u043d\u0430 continuous batching: \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u0445\u043e\u0434\u044f\u0442 \u0438 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0438\u0437\u00a0\u0431\u0430\u0442\u0447\u0430 \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043d\u0435\u00a0\u0436\u0434\u0443\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0445. \u0423\u00a0\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u00a0\u2014 \u0432\u044b\u0439\u0442\u0438 \u0438\u0437\u00a0\u0431\u0430\u0442\u0447\u0430 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043d\u0435\u0433\u043e \u043d\u0435\u043b\u044c\u0437\u044f. \u041e\u0434\u0438\u043d \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043d\u0430\u00a0\u043f\u044f\u0442\u044c\u0441\u043e\u0442 \u0441\u043b\u043e\u0432 \u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0448\u0435\u0441\u0442\u044c\u0434\u0435\u0441\u044f\u0442 \u0442\u0440\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0440\u0430\u0449\u0438\u0432\u0430\u043d\u0438\u0435 \u0431\u0430\u0442\u0447\u0430 \u0434\u043e 64\u00a0\u0443\u0445\u0443\u0434\u0448\u0438\u043b\u043e \u0445\u0432\u043e\u0441\u0442\u044b, \u043d\u0435\u00a0\u0443\u043b\u0443\u0447\u0448\u0438\u0432 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u0430\u00a0\u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0441\u0442\u0430\u043b \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0438\u0436\u0435.<\/p>\n<p><strong>6. \u0412\u0441\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0430 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432. <\/strong>\u041c\u043d\u043e\u0433\u0438\u0435 serving\u2011\u0434\u0432\u0438\u0436\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u044b \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f\u00a0\u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0445 LLM. \u041e\u043d\u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442 KV\u2011\u043a\u044d\u0448\u0435\u043c, \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 <strong>prefill<\/strong> \u0438 <strong>decode<\/strong>, \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0432\u0440\u0435\u043c\u044f \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.\u0423 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041e\u043d \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0445\u043e\u0434, \u0434\u0435\u043b\u0430\u0435\u0442 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434 \u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0424\u0430\u0437\u044b <strong>decode<\/strong> \u0443\u00a0\u043d\u0435\u0433\u043e \u043d\u0435\u0442, \u0430\u00a0KV\u2011\u043a\u044d\u0448 \u0434\u043b\u044f\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0430\u0441\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u0437\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043f\u043b\u0430\u0442\u0438\u043c \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430, \u0432\u00a0\u0442\u0430\u043a\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438\u00a0\u043b\u0438\u0431\u043e \u043d\u0435\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f,\u00a0\u043b\u0438\u0431\u043e \u043d\u0435\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0440\u043e\u0444\u0438\u043b\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438.<\/p>\n<p><strong>7. \u0426\u0435\u043b\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0438\u0437\u2011\u0437\u0430 \u043c\u0435\u0441\u0442\u0430 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong> \u0412\u00a0\u043e\u0431\u044b\u0447\u043d\u043e\u043c LLM\u2011\u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0435 \u043a\u0430\u043a\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 throughput\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0437\u0430\u00a0\u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0414\u043b\u044f\u00a0guard\u2011\u0441\u043b\u043e\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043e\u043d \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0443\u0442\u0438 \u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0430\u0436\u0434\u044b \u0437\u0430\u00a0\u043e\u0434\u0438\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0445\u043e\u0434. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0432\u0445\u043e\u0434\u0430 \u0438 \u0432\u044b\u0434\u0430\u0447\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0436\u0434\u0435\u0442 \u04252. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043a\u0440\u043e\u043c\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e RPS, \u043a\u0440\u0430\u0439\u043d\u0435 \u0432\u0430\u0436\u043d\u044b \u0445\u0432\u043e\u0441\u0442\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f latency\u00a0\u2014 \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e P95\u00a0\u0438 P99. \u0414\u0430\u0436\u0435 \u0440\u0435\u0434\u043a\u0438\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043d\u0438\u0436\u0435 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0443\u0447\u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043d\u044e\u0430\u043d\u0441\u044b \u0438 \u043d\u0430\u0439\u0442\u0438 \u043e\u0434\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435.\u00a0<\/p>\n<h3>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435\u00a0\u0431\u044b\u043b\u043e \u0447\u0435\u0441\u0442\u043d\u044b\u043c \u0445\u043e\u0442\u044f\u00a0\u0431\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0432\u043e\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u044f \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043e\u0431\u0449\u0443\u044e \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044e.<\/p>\n<p><strong>\u0411\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u0432 \u0434\u0432\u0430<\/strong>, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u044f \u0431\u0443\u0434\u0443 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c, \u0441\u00a0\u043a\u0430\u043a\u0438\u043c \u0438\u0437\u00a0\u043d\u0438\u0445 \u0438\u0434\u0451\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435:<\/p>\n<ul>\n<li>\n<p><code>litserve-torch<\/code>\u00a0\u2014 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430\u00a0LitServe \u043f\u043e\u0432\u0435\u0440\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c PyTorch\u2011\u0444\u043e\u0440\u043c\u0430\u0442\u0435, <strong>185.3\u00a0RPS<\/strong>. \u041f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0434\u0430\u0435\u0442 \u0433\u043e\u043b\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u043d\u0433 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0432\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0442\u0440\u0435\u043a\u043e\u0432).<\/p>\n<\/li>\n<li>\n<p><code>litserve-onnx-trt<\/code>\u00a0\u2014 \u0442\u0430\u00a0\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 ONNX + TensorRT \u043f\u043e\u0434\u00a0\u0442\u0435\u043c\u00a0\u0436\u0435 serving\u2011\u0441\u043b\u043e\u0435\u043c, <strong>193.6\u00a0RPS <\/strong>(\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043a\u0430\u043a\u00a0baseline \u0432\u00a0\u0442\u0440\u0435\u043a\u0435 Ray Serve). \u041f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0442\u043e\u043b\u043e\u043a, \u0434\u043e\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0439\u0442\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437\u00a0\u0441\u043c\u0435\u043d\u044b serving\u2011\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>LitServe \u0432\u044b\u0431\u0440\u0430\u043d \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u043e\u043d \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u00a0\u043f\u043e\u043b\u0447\u0430\u0441\u0430 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0438\u00a0\u2014 \u044d\u0442\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u00ab\u043f\u0440\u043e\u0441\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u00a0HTTP\u00bb. \u041b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0438\u043b\u0438\u00a0\u043f\u043e\u0442\u0435\u0440\u044f \u0432\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0440\u0435\u043a\u0430\u0445 \u0434\u0430\u043b\u044c\u0448\u0435 \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u0432\u043a\u043b\u0430\u0434 \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430, \u0430\u00a0\u043d\u0435\u00a0\u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b.<\/p>\n<p>\u0423\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e baseline \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0442\u0430\u043a:<\/p>\n<p><strong>\u041a\u043e\u0434 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430 \u0438 \u0444\u043e\u0440\u043c\u0430\u0442 API<\/strong><\/p>\n<pre><code class=\"python\">@app.post(\"\/predict\")def predict(req: GuardRequest):\u00a0\u00a0\u00a0\u00a0text = req.text\u00a0\u00a0\u00a0\u00a0schema = (\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0model.create_schema()\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0.entities(entity_types=[\"person\", \"address\", \"email\", \"phone\"], threshold=0.4)\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0.classification(task=\"safety\", labels=[\"safe\", \"unsafe\"])\u00a0\u00a0\u00a0\u00a0)\u00a0\u00a0\u00a0\u00a0result = model.batch_extract(\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0texts=[text],\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0schemas=schema,\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0batch_size=1,\u00a0\u00a0\u00a0\u00a0)[0]\u00a0\u00a0\u00a0\u00a0return result<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u00a0\u0431\u044b\u043b \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u043c:<\/p>\n<pre><code class=\"python\">{\u00a0\u00a0\"text\": \"Send $500 to John Smith at john.smith@gmail.com\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0442\u0432\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u0434\u0432\u0435 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0447\u0430\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 PII\u2011\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439<\/p>\n<\/li>\n<li>\n<p>\u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e safety\u2011\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u044b\u0440\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435\u00a0\u2014 \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<pre><code class=\"python\">\u00a0{\u00a0\"entities\": [\u00a0\u00a0\u00a0{\u00a0\u00a0\u00a0\u00a0\u00a0\"text\": \"John Smith\",\u00a0\u00a0\u00a0\u00a0\u00a0\"label\": \"person\",\u00a0\u00a0\u00a0\u00a0\u00a0\"start\": 13,\u00a0\u00a0\u00a0\u00a0\u00a0\"end\": 23,\u00a0\u00a0\u00a0\u00a0\u00a0\"score\": 0.91\u00a0\u00a0\u00a0},\u00a0\u00a0\u00a0{\u00a0\u00a0\u00a0\u00a0\u00a0\"text\": \"john.smith@gmail.com\",\u00a0\u00a0\u00a0\u00a0\u00a0\"label\": \"email\",\u00a0\u00a0\u00a0\u00a0\u00a0\"start\": 27,\u00a0\u00a0\u00a0\u00a0\u00a0\"end\": 47,\u00a0\u00a0\u00a0\u00a0\u00a0\"score\": 0.97\u00a0\u00a0\u00a0}\u00a0],\u00a0\"safety\": \"unsafe\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u043b\u044f\u00a0API \u0442\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u00a0\u0442\u0438\u043f\u0430\u043c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<pre><code class=\"python\">{\u00a0\u00a0\"entities\": {\u00a0\u00a0\u00a0\u00a0\"person\": [\"John Smith\"],\u00a0\u00a0\u00a0\u00a0\"address\": [],\u00a0\u00a0\u00a0\u00a0\"email\": [\"john.smith@gmail.com\"],\u00a0\u00a0\u00a0\u00a0\"phone\": []\u00a0\u00a0},\u00a0\u00a0\"safety\": \"unsafe\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>\u0414\u0430\u043d\u043d\u044b\u0435.<\/strong> \u0414\u0432\u0430 \u0444\u0430\u0439\u043b\u0430 \u043f\u043e 500\u00a0\u0441\u0442\u0440\u043e\u043a: \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u0435\u043a\u0441\u0442\u044b \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0433\u0440\u044f\u0437\u043d\u044b\u0435\u00a0\u2014 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u00a0\u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0430\u043c\u0438,\u00a0\u043b\u0438\u0448\u043d\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438 \u043e\u0431\u0440\u044b\u0432\u043a\u0430\u043c\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432. \u0414\u043b\u0438\u043d\u0430 \u043e\u0442 128\u00a0\u0434\u043e 536\u00a0\u0441\u043b\u043e\u0432, \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c ~ 320. \u0414\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u2011\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u044d\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e: \u0434\u043b\u0438\u043d\u0430 \u0438 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0431\u044c\u044e\u0442 \u043f\u043e\u00a0latency, \u0430\u00a0\u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0447\u0438\u0441\u0442\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u043b\u044e\u0431\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/strong><\/p>\n<blockquote>\n<p><code>Regarding container orchestration with Kubernetes, there are several important aspects to consider. The serialization format was chosen for its compact size and fast encoding and decoding. Input sanitization prevents injection attacks by escaping special characters in user data...<\/code><\/p>\n<\/blockquote>\n<blockquote>\n<p><code>Regarding microservices communication, there are several important aspects to consider. Chaos engineering experiments validate system resilience by injecting controlled failures. The API gateway handles request routing, authentication, and protocol translation...<\/code><\/p>\n<\/blockquote>\n<p><strong>\u0421\u0442\u0435\u043d\u0434.<\/strong> A100 80GB, \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0438\u0434\u0435\u0442 \u0441\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u044b \u0447\u0435\u0440\u0435\u0437 <a href=\"https:\/\/github.com\/locustio\/locust\" rel=\"noopener noreferrer nofollow\">Locust<\/a>. \u041c\u0435\u0442\u0440\u0438\u043a\u0438: RPS, P50, P95, P99, error rate.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430.<\/strong> \u0418\u0437\u00a0\u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u0431\u044b\u043b\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043e: \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u0442\u0438\u043f\u043e\u0432 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043b\u044e\u0441 \u0431\u0438\u043d\u0430\u0440\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438. \u041c\u043e\u0434\u0435\u043b\u044c zero\u2011shot \u0438 \u0432\u00a0\u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0443\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u043e\u00a0\u0434\u043b\u044f\u00a0\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u043d\u0443\u0436\u0435\u043d \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439.<\/p>\n<h4>\u0412\u0430\u0436\u043d\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435: \u0442\u0440\u0435\u043a\u0438 \u0448\u043b\u0438 \u043d\u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u043e\u0444\u0438\u043b\u044f\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438<\/h4>\n<p>Runtime\u2011\u0442\u0440\u0435\u043a \u0441\u00a0TensorRT \u0433\u043e\u043d\u044f\u043b\u0441\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u043e: \u043e\u0434\u0438\u043d \u0432\u043e\u0440\u043a\u0435\u0440, 50\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, 60\u00a0\u0441\u0435\u043a\u0443\u043d\u0434. \u0412\u0441\u0435 serving\u2011\u0442\u0440\u0435\u043a\u0438\u00a0\u2014 Triton, vLLM, Ray Serve, Flash DeBERTa\u00a0\u2014 \u043d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435: \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u0430, 100\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, 15\u00a0\u043c\u0438\u043d\u0443\u0442.\u00a0<\/p>\n<p>\u0422\u0430\u043a\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u0440\u0430\u0436\u0430\u043b\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0440\u0435\u043a\u043e\u0432. \u0412\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 TensorRT \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0430\u0441\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e runtime, \u0430\u00a0\u0432\u00a0serving\u2011\u0442\u0440\u0435\u043a\u0430\u0445\u00a0\u2014 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0435\u0440\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0434\u00a0\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439.\u00a0<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0434\u0438\u043d: \u0447\u0438\u0441\u043b\u0430 \u0438\u0437\u00a0TensorRT\u2011\u0442\u0440\u0435\u043a\u0430 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u00a0\u043e\u0434\u0438\u043d \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u0441\u00a0\u0447\u0438\u0441\u043b\u0430\u043c\u0438 \u0438\u0437\u00a0serving\u2011\u0442\u0440\u0435\u043a\u043e\u0432. \u041d\u0438 \u043a\u0430\u043a\u00a0\u0440\u0435\u0439\u0442\u0438\u043d\u0433, \u043d\u0438 \u0432\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0440\u0435\u043a \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c \u0441\u00a0\u0441\u043e\u0431\u043e\u0439 \u0438 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u043c.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u00a0\u2014 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u0435\u0434\u0438\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0441\u00a0\u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430, \u044d\u0442\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u043d\u043e\u00a0\u0442\u0435\u043c \u043d\u0435\u00a0\u043c\u0435\u043d\u0435\u0435 \u044f \u043d\u0430\u043f\u0438\u0448\u0443 \u044d\u0442\u0443 \u043c\u044b\u0441\u043b\u044c. \u042d\u0442\u043e \u0432\u00a0\u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439, \u0430\u00a0\u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0432\u043e\u0435\u0439 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u043a\u0430\u043a\u00a0\u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043c\u043d\u0435.<\/p>\n<h3>\u0422\u0440\u0435\u043a 1. TensorRT\u00a0<\/h3>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0441\u044f \u043d\u0438\u0436\u043d\u0438\u0439 \u0441\u043b\u043e\u0439\u00a0\u2014 \u043a\u0430\u043a\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0431\u0435\u0437\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432\u00a0\u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0435. \u0412\u00a0\u044d\u0442\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0432\u0435\u0440\u0441\u0438\u044f TensorRT 10.9.0\u00a0\u0438 \u0442\u0440\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0433\u0440\u0430\u0444: PyTorch \u043a\u0430\u043a\u00a0\u0435\u0441\u0442\u044c, ONNX Runtime, TensorRT. \u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u00a0\u0434\u0432\u0443\u0445 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044f\u0445, FP16\u00a0\u0438 INT8.<\/p>\n<p>\u041f\u0440\u043e\u0444\u0438\u043b\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439: \u043e\u0434\u0438\u043d \u0432\u043e\u0440\u043a\u0435\u0440, 50\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, 60\u00a0\u0441\u0435\u043a\u0443\u043d\u0434.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0412\u0430\u0440\u0438\u0430\u043d\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P50, \u043c\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P95, \u043c\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P99, \u043c\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Errors<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TensorRT FP16<\/p>\n<\/td>\n<td>\n<p align=\"left\">130.72<\/p>\n<\/td>\n<td>\n<p align=\"left\">360<\/p>\n<\/td>\n<td>\n<p align=\"left\">420<\/p>\n<\/td>\n<td>\n<p align=\"left\">420<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TensorRT INT8<\/p>\n<\/td>\n<td>\n<p align=\"left\">130.56<\/p>\n<\/td>\n<td>\n<p align=\"left\">360<\/p>\n<\/td>\n<td>\n<p align=\"left\">420<\/p>\n<\/td>\n<td>\n<p align=\"left\">430<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">PyTorch FP16<\/p>\n<\/td>\n<td>\n<p align=\"left\">106.49<\/p>\n<\/td>\n<td>\n<p align=\"left\">450<\/p>\n<\/td>\n<td>\n<p align=\"left\">520<\/p>\n<\/td>\n<td>\n<p align=\"left\">520<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">ONNX INT8<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.49<\/p>\n<\/td>\n<td>\n<p align=\"left\">19\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">22\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">22\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">PyTorch INT8<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.93<\/p>\n<\/td>\n<td>\n<p align=\"left\">21\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">32\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">36\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">ONNX FP16<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.68<\/p>\n<\/td>\n<td>\n<p align=\"left\">27\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">32\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">33\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>TensorRT FP16\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 PyTorch FP16\u00a0\u2014 130.72\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 106.49\u00a0RPS, \u043f\u043b\u044e\u0441 23% \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0438 \u043c\u0438\u043d\u0443\u0441 90\u00a0\u043c\u0441 \u043d\u0430\u00a0P50. \u042d\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u0438: TensorRT \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u044f\u0434\u0440\u0430 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0430\u043c\u044b\u0439\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u044d\u0442\u043e\u0439 \u043a\u0430\u0440\u0442\u0435, \u0430\u00a0PyTorch \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0433\u0440\u0430\u0444 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0432\u044b\u0437\u043e\u0432\u0435 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u044f\u0434\u0440\u0430\u043c\u0438.<\/p>\n<blockquote>\n<p>\u0414\u0432\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u00a0\u2014\u00a0\u044d\u0442\u043e \u0441\u043b\u043e\u043c\u0430\u043d\u043d\u044b\u0439 \u0441\u0442\u0435\u043d\u0434<\/p>\n<\/blockquote>\n<p><strong>TensorRT INT8\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0432\u043f\u0430\u043b \u0441\u00a0FP16<\/strong>\u00a0\u2014 130.56\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 130.72\u00a0RPS, \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u0448\u0443\u043c\u0430. \u0422\u0430\u043a INT8\u00a0\u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043d\u0435\u00a0\u0434\u043e\u043b\u0436\u0435\u043d. \u0412\u043e\u0441\u044c\u043c\u0438\u0431\u0438\u0442\u043d\u044b\u0435 \u044f\u0434\u0440\u0430\u00a0\u043b\u0438\u0431\u043e \u0434\u0430\u044e\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442,\u00a0\u043b\u0438\u0431\u043e \u043d\u0435\u00a0\u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0432\u043e\u0432\u0441\u0435 \u0438 \u043f\u0430\u0434\u0430\u044e\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432\u00a0FP16. \u0412\u0442\u043e\u0440\u043e\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u0435\u0435: \u043a\u0430\u043a\u00a0\u044f \u043f\u0438\u0441\u0430\u043b\u0430 \u0432\u043e\u00a0\u0432\u0432\u043e\u0434\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438, span\u2011\u0441\u043a\u043e\u0440\u0438\u043d\u0433 \u043f\u043e\u0432\u0435\u0440\u0445 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437\u00a0\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439, \u0434\u043b\u044f\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 INT8-\u044f\u0434\u0435\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u0442\u0441\u044f\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c, \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u0437\u043b\u044b \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438, \u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0441\u044a\u0435\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u043d\u0438\u0445\u00a0\u0436\u0435. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u00a0verbose\u2011\u043b\u043e\u0433\u0443 \u0441\u0431\u043e\u0440\u043a\u0438 engine. \u042f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u00a0\u0441\u0434\u0435\u043b\u0430\u043b\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u0442\u0430\u043a\u0430\u044f: <strong>INT8\u00a0\u0432\u00a0TensorRT \u0443\u00a0\u043c\u0435\u043d\u044f \u043d\u0435\u00a0\u043f\u043e\u0435\u0445\u0430\u043b, \u0430\u00a0\u043d\u0435 \u00ab\u043d\u0435 \u0434\u0430\u043b \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430\u00bb<\/strong>. \u0412\u044b\u0432\u043e\u0434 \u0434\u043b\u044f\u00a0\u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438: \u043b\u043e\u0433\u0438\u0440\u0443\u0439\u0442\u0435 \u0441\u0431\u043e\u0440\u043a\u0443.<\/p>\n<p><strong>\u0421\u0442\u0440\u043e\u043a\u0438 \u0441\u00a0ONNX\u00a0\u2014 1.68\u00a0\u0438 2.49\u00a0RPS \u043f\u0440\u0438\u00a0P50\u00a0\u0432 19\u201327\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430 ONNX Runtime.<\/strong> \u0420\u0430\u043d\u0442\u0430\u0439\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0432\u00a0\u0448\u0435\u0441\u0442\u044c\u0434\u0435\u0441\u044f\u0442 \u0440\u0430\u0437 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 PyTorch \u043d\u0430\u00a0\u0442\u043e\u0439\u00a0\u0436\u0435 \u043a\u0430\u0440\u0442\u0435. \u0422\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0443\u0448\u0435\u043b \u043d\u0430\u00a0CPU,\u00a0\u043b\u0438\u0431\u043e \u0433\u0440\u0430\u0444 \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0441\u044f \u043f\u043e\u0434\u00a0\u043a\u0430\u0436\u0434\u0443\u044e \u043d\u043e\u0432\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u0432\u0445\u043e\u0434\u0430 \u0438\u0437\u2011\u0437\u0430 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0441\u0435\u0439 (\u0441\u043c. \u043f\u0443\u043d\u043a\u0442 \u2116\u00a01\u00a0\u0432\u00a0\u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438). \u0414\u043e\u00a0\u043a\u043e\u043d\u0446\u0430 \u043d\u0435\u00a0\u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0430\u0441\u044c\u00a0\u2014 \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u043c\u0435\u043d\u0442\u0443 TensorRT\u2011\u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b.<\/p>\n<p>\u041e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u044d\u0442\u0438 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a\u00a0\u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0430\u00a0\u0434\u0430\u0448\u0431\u043e\u0440\u0434\u0435 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u043d\u0442\u0430\u0439\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u00abONNX \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439\u00bb \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<blockquote>\n<p><strong>\u0412\u044b\u0432\u043e\u0434 \u043f\u043e\u00a0\u0442\u0440\u0435\u043a\u0443.<\/strong> \u0412\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438, \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044f \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 GPU \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0442\u044c ~ 25% \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u0437\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432\u00a0\u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418\u0437\u00a0\u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438 \u044d\u0442\u043e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u0434\u0435\u0448\u0435\u0432\u044b\u043c. \u041d\u043e\u00a0\u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c conversion path: \u043f\u043e\u0441\u043b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c TensorRT engine, \u0430\u00a0\u0434\u043b\u044f\u00a0\u043d\u043e\u0432\u044b\u0445 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0432\u0445\u043e\u0434\u0430\u00a0\u2014 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u043b\u0438\u00a0\u043f\u0435\u0440\u0435\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u0438 min\/opt\/max.<\/p>\n<\/blockquote>\n<blockquote>\n<p>\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u00a0INT8\u00a0\u043d\u0430\u00a0\u0442\u0430\u043a\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043d\u0435\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u0437\u00a0\u043a\u043e\u0440\u043e\u0431\u043a\u0438 \u043d\u0438 \u0432\u00a0\u043e\u0434\u043d\u043e\u043c \u0438\u0437\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043f\u0443\u0442\u0435\u0439. \u0414\u0430\u043b\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0435 \u0434\u0432\u0430 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u043c\u0443.<\/p>\n<\/blockquote>\n<h3>\u0422\u0440\u0435\u043a 2. Flash DeBERTa: \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0431\u044d\u043a\u0431\u043e\u043d\u0430<\/h3>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043d\u0430\u0440\u0443\u0436\u0438, \u044f \u0440\u0435\u0448\u0438\u043b\u0430 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0435\u0435 \u0438\u0437\u043d\u0443\u0442\u0440\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u2014 \u043c\u0443\u043b\u044c\u0442\u0438\u044f\u0437\u044b\u0447\u043d\u0430\u044f GLiNER-2\u00a0\u043d\u0430\u00a0DeBERTa\u2011\u0431\u044d\u043a\u0431\u043e\u043d\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0438\u0437\u00a0\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e\u0439 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u2116\u00a04: \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f \u0438 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u0430 \u0434\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 attention.<\/p>\n<p>Flash DeBERTa\u00a0\u2014 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443: \u0442\u0430\u00a0\u0436\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u043d\u043e\u00a0\u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 CUDA\u2011\u044f\u0434\u0435\u0440. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u044d\u0442\u0438\u043c \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0435\u0437\u0434\u0430 \u043d\u0430\u00a0TensorRT \u0441\u043e \u0432\u0441\u0435\u0439 \u0435\u0433\u043e \u0441\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0439 \u043e\u0431\u0432\u044f\u0437\u043a\u043e\u0439.<\/p>\n<p>\u041f\u0440\u043e\u0444\u0438\u043b\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0439: 100\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, 15\u00a0\u043c\u0438\u043d\u0443\u0442, <code>max_batch_size=64, batch_timeout=0.05s<\/code>, 4\u00a0\u0432\u043e\u0440\u043a\u0435\u0440\u0430 \u043d\u0430\u00a0\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P95, \u043c\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Error rate<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pytorch\u2011fp16<\/p>\n<\/td>\n<td>\n<p align=\"left\">83.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">2000<\/p>\n<\/td>\n<td>\n<p align=\"left\">12.95%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">onnx\u2011cuda\u2011fp16<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">1700<\/p>\n<\/td>\n<td>\n<p align=\"left\">0%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pytorch\u2011fp16-flashdeberta<\/p>\n<\/td>\n<td>\n<p align=\"left\">105.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">1400<\/p>\n<\/td>\n<td>\n<p align=\"left\">0%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">onnx\u2011trt\u2011fp16<\/p>\n<\/td>\n<td>\n<p align=\"left\">122.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">1200<\/p>\n<\/td>\n<td>\n<p align=\"left\">0%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Flash DeBERTa \u0434\u0430\u043b\u0430 +26% \u043a\u00a0\u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 PyTorch \u0438 +16% \u043a\u00a0ONNX Runtime \u043d\u0430\u00a0CUDA. \u0414\u043e\u00a0TensorRT \u043d\u0435\u00a0\u0434\u043e\u0442\u044f\u043d\u0443\u043b\u0430\u0441\u044c: 105.7\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 122.6\u00a0RPS, \u0440\u0430\u0437\u0440\u044b\u0432 \u043e\u043a\u043e\u043b\u043e 16%.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u043f\u0435\u0440\u0432\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443. <strong>\u0423\u00a0\u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e PyTorch\u2011\u043f\u0443\u0442\u0438 12.95% \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u043e\u0434\u00a0\u044d\u0442\u0438\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u043c<\/strong>, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u0441\u044c\u043c\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0435\u00a0\u0434\u043e\u0435\u0445\u0430\u043b. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0432\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u043e\u043d\u044f\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b. \u0422\u043e \u0435\u0441\u0442\u044c 83.7\u00a0RPS \u0443\u00a0\u043d\u0435\u0435\u00a0\u2014 \u0435\u0449\u0435 \u0438 \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043d\u0430\u044f \u0446\u0438\u0444\u0440\u0430: \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u00a0\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u043b\u0430. Flash DeBERTa \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442, \u043d\u043e\u00a0\u0438 \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u0442 \u0442\u043e\u0442\u00a0\u0436\u0435 \u043f\u0443\u0442\u044c \u0432\u00a0\u043d\u043e\u043b\u044c \u043e\u0448\u0438\u0431\u043e\u043a.<\/p>\n<h4>INT8: \u0432\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435<\/h4>\n<p>\u0414\u0432\u0430 int8-\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u0447\u0435\u0440\u0435\u0437 ONNX Runtime \u043d\u0430\u00a0CUDA:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P95, \u043c\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Error rate<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">onnx\u2011cuda\u2011dynamic\u2011int8<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">60\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">99.63%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">onnx\u2011cuda\u2011static\u2011int8, 20\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">60\u00a0000<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0417\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430. \u0421\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0432\u00a0\u043f\u044f\u0442\u044c \u0440\u0430\u0437, \u0434\u043e\u00a0\u0434\u0432\u0430\u0434\u0446\u0430\u0442\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437\u00a0\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0439, \u0447\u0442\u043e\u00a0\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0445\u043e\u0442\u044f\u00a0\u0431\u044b \u043d\u0430\u0447\u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 100% \u043e\u0448\u0438\u0431\u043e\u043a \u0432\u043c\u0435\u0441\u0442\u043e 99.63%.<\/p>\n<p>\u042d\u0442\u043e \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043f\u0440\u043e\u00a0\u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0437\u043a\u0443\u00a0\u2014 \u043f\u043e\u0434\u00a0\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0432\u00a0\u043f\u044f\u0442\u044c \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u0442\u0430\u043b\u043e \u0435\u0449\u0435 \u0445\u0443\u0436\u0435. \u0417\u043d\u0430\u0447\u0438\u0442, \u0434\u0435\u043b\u043e \u043d\u0435\u00a0\u0432\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u0438 \u043d\u0435\u00a0\u0432\u00a0\u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430\u0445 \u043a\u0430\u043a\u00a0\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043d\u0435\u0440\u0430\u0431\u043e\u0447\u0430\u044f \u0441\u0430\u043c\u0430 \u043f\u043e\u00a0\u0441\u0435\u0431\u0435, \u0430\u00a0\u0448\u0435\u0441\u0442\u0438\u0434\u0435\u0441\u044f\u0442\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u043d\u044b\u0439 P95\u00a0\u0432\u00a0\u043e\u0431\u0435\u0438\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u041f\u0440\u0438\u0447\u0438\u043d\u0430, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0442\u0430\u043c\u00a0\u0436\u0435, \u0433\u0434\u0435 \u0438 \u0432\u00a0\u043f\u0435\u0440\u0432\u043e\u043c \u0442\u0440\u0435\u043a\u0435: <code>disentangled attention <\/code>\u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u00a0ONNX\u2011\u0433\u0440\u0430\u0444\u0435 \u0432\u00a0\u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043d\u0435\u00a0\u0443\u043c\u0435\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e, \u0438 \u043d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0444, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043b\u0441\u044f, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434 \u043f\u043e\u00a0\u0442\u0440\u0435\u043a\u0443.<\/strong> Flash DeBERTa\u00a0\u2014 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441. \u041f\u0440\u0438\u0440\u043e\u0441\u0442 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0443\u00a0TensorRT, \u043d\u043e\u00a0\u0438 \u0446\u0435\u043d\u0430 \u0434\u0440\u0443\u0433\u0430\u044f: \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0432\u00a0\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 PyTorch\u2011\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d, \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u0431\u043e\u0440\u043a\u0438 engine, \u043d\u0435\u00a0\u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u00a0\u0441\u043c\u0435\u043d\u0435 \u0444\u043e\u0440\u043c\u044b \u0432\u0445\u043e\u0434\u0430. \u0415\u0441\u043b\u0438 \u0443\u00a0\u0432\u0430\u0441 DeBERTa\u2011\u0431\u044d\u043a\u0431\u043e\u043d \u0438 \u043d\u0435\u0442 \u0440\u0435\u0441\u0443\u0440\u0441\u0430 \u043d\u0430\u00a0\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 conversion path\u00a0\u2014 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0440\u0430\u0431\u043e\u0447\u0438\u0439.<\/p>\n<h3>\u0422\u0440\u0435\u043a 3. vLLM: \u043a\u0430\u043a\u00a0\u0437\u0430\u0432\u0435\u0441\u0442\u0438 \u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0432\u00a0\u0434\u0432\u0438\u0436\u043e\u043a, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e<\/h3>\n<p>vLLM \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d \u043f\u043e\u0434\u00a0\u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e. \u041c\u043e\u0434\u0435\u043b\u044c, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430, \u043d\u0435\u00a0\u0438\u043c\u0435\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0440\u0430\u0441\u0442\u0443\u0449\u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0438 \u0444\u0430\u0437\u044b decode\u00a0\u2014 \u043e\u043d\u0430 \u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0445\u043e\u0434 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0438 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043e\u0442\u0434\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442. \u0412\u0441\u0451, \u0440\u0430\u0434\u0438 \u0447\u0435\u0433\u043e \u043f\u043e\u00a0\u0441\u0443\u0442\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d vLLM, \u0435\u0439 \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e.<\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u0442\u043e\u0433\u0434\u0430 vLLM? \u041f\u043e\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c: vLLM \u0445\u043e\u0440\u043e\u0448\u043e \u0443\u0442\u0438\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 GPU, \u0438 \u043d\u0443\u0436\u043d\u0430\u00a0\u0431\u044b\u043b\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u00a0\u2014 \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0443\u0434\u0430 \u0437\u0430\u0432\u043e\u0434\u0438\u0442\u0441\u044f, \u043e\u043d\u0430 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432\u00a0\u0442\u0443\u00a0\u0436\u0435 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u0447\u0442\u043e\u00a0\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0439 LLM\u2011\u0441\u0442\u0435\u043a, \u0441\u00a0\u0442\u0435\u043c\u0438\u00a0\u0436\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u0438 \u0442\u0435\u043c\u00a0\u0436\u0435 \u0434\u0435\u043f\u043b\u043e\u0435\u043c. \u041e\u0434\u043d\u0438\u043c \u043a\u043e\u043d\u0442\u0443\u0440\u043e\u043c \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u043c\u0435\u043d\u044c\u0448\u0435. \u0423\u0442\u043e\u0447\u043d\u044e, \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0vLLM\u2011\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0441\u044f \u0441\u0442\u0435\u043a \u043d\u0430\u00a0\u0431\u0430\u0437\u0435 vllm\u2011factory \u0438 vLLM 0.19.0<\/p>\n<p>\u042f \u043d\u0430\u043f\u043e\u043c\u043d\u044e, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0443\u00a0\u043d\u0430\u0441 \u043d\u0430\u00a0ModernBERT\u2011\u0431\u044d\u043a\u0431\u043e\u043d\u0435, \u0432\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u0443\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430.\u00a0<\/p>\n<h4>\u0427\u0442\u043e\u00a0\u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c<\/h4>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043f\u0443\u0442\u044c vLLM \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u0438\u043b. \u0414\u043b\u044f\u00a0\u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0432\u00a0\u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0435\u0441\u0442\u044c vllm\u2011factory\u00a0\u2014 \u043f\u043b\u0430\u0433\u0438\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u043c\u0435\u0435\u0442 encoder\u2011like \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438, \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0439 I\/O \u0438 \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442 \/pooling \u0432\u043c\u0435\u0441\u0442\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u0411\u0435\u0437\u00a0\u044d\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0vLLM \u043d\u0435\u00a0\u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0412\u00a0\u0441\u0430\u043c\u043e\u043c vllm\u2011factory \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0438 \u0442\u043e\u0436\u0435 \u043d\u0435\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c: \u0442\u0430\u043c\u00a0\u0431\u044b\u043b \u043f\u043b\u0430\u0433\u0438\u043d \u043f\u043e\u0434\u00a0\u0441\u0442\u0430\u0440\u044b\u0439 GLiNER \u043d\u0430\u00a0DeBERTa \u0438 \u043d\u0435\u00a0\u0431\u044b\u043b\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u043e\u0434\u00a0\u0441\u0432\u044f\u0437\u043a\u0443 ModernBERT + GLiNER-2. \u041f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0432\u043e\u0438\u00a0\u2014 \u043a\u043e\u043d\u0444\u0438\u0433, \u043c\u0430\u043f\u043f\u0438\u043d\u0433 \u0432\u0435\u0441\u043e\u0432, IO\u2011\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440 (\u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b \u043a\u043e\u043b\u043b\u0435\u0433\u0430). \u041f\u043b\u0430\u0433\u0438\u043d \u043f\u043e\u0442\u043e\u043c \u0432\u043b\u0438\u043b\u0438 \u0432\u00a0upstream, \u0442\u0430\u043a \u0447\u0442\u043e\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u044d\u0442\u043e\u0442 \u043a\u0443\u0441\u043e\u043a \u0440\u0430\u0431\u043e\u0442\u044b \u0443\u0436\u0435 \u043d\u0435\u00a0\u043d\u0443\u0436\u043d\u043e.<\/p>\n<p><strong>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u043b\u0430\u0433\u0438\u043d\u0430 \u0438 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044f<\/strong><\/p>\n<pre><code class=\"python\">plugins\/mmbert_gliner2\/\u251c\u2500\u2500 init.py \u00a0 \u00a0 \u00a0 # \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0432 vLLM registry\u251c\u2500\u2500 config.py \u00a0 \u00a0 \u00a0 \u00a0 # \u043a\u043e\u043d\u0444\u0438\u0433 \u043c\u043e\u0434\u0435\u043b\u0438\u251c\u2500\u2500 model.py\u00a0 \u00a0 \u00a0 \u00a0 \u00a0 # \u044d\u043d\u043a\u043e\u0434\u0435\u0440 + pooler + \u043c\u0430\u043f\u043f\u0438\u043d\u0433 \u0432\u0435\u0441\u043e\u0432\u2514\u2500\u2500 io_processor.py \u00a0 # \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u0430from forge.registration import register_pluginfrom .config import GLiNER2ModernBertConfigfrom .model import GLiNER2ModernBertModelregister_plugin(\u00a0\u00a0\u00a0\u00a0\"mmbert_gliner2\",\u00a0\u00a0\u00a0\u00a0GLiNER2ModernBertConfig,\u00a0\u00a0\u00a0\u00a0GLiNER2ModernBertModel,)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u041b\u0430\u0439\u0444\u0445\u0430\u043a: \u0441\u043e\u0432\u0440\u0430\u0442\u044c \u0434\u0432\u0438\u0436\u043a\u0443 \u043f\u0440\u043e\u00a0\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432<\/h4>\n<p>vLLM \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 KV\u2011\u043a\u044d\u0448 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e num_hidden_layers. \u041b\u043e\u0433\u0438\u043a\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f\u00a0\u2014 \u0447\u0435\u043c \u0433\u043b\u0443\u0431\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043d\u0430\u0434\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0448\u0430\u0433\u0430\u043c\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u042d\u043d\u043a\u043e\u0434\u0435\u0440\u0443 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e\u00a0\u2014 \u0448\u0430\u0433\u043e\u0432 \u043d\u0435\u0442. \u041d\u043e\u00a0\u0434\u0432\u0438\u0436\u043e\u043a \u043e\u0431\u00a0\u044d\u0442\u043e\u043c \u043d\u0435\u00a0\u0437\u043d\u0430\u0435\u0442 \u0438 \u0447\u0435\u0441\u0442\u043d\u043e \u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u0443\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0434\u00a0\u043a\u044d\u0448, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d.<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u044b\u043c: \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u043e\u043b\u044c \u0441\u043b\u043e\u0435\u0432, \u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u043b\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0447\u0438\u0442\u0430\u0435\u0442 \u0443\u0436\u0435 \u0441\u0430\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<pre><code class=\"python\">class GLiNER2ModernBertConfig(PretrainedConfig):\u00a0\u00a0\u00a0\u00a0model_type = \"mmbert_gliner2\"\u00a0\u00a0\u00a0\u00a0def init(self, ...):\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0self.num_hidden_layers = 0\u00a0 \u00a0 # vLLM \u0432\u0438\u0434\u0438\u0442 0 \u0441\u043b\u043e\u0451\u0432 \u0438 \u043d\u0435 \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 KV-\u043a\u044d\u0448\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0self.encoder_num_layers = 22\u00a0 # \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430 - \u0432 \u0441\u0432\u043e\u0451\u043c \u043f\u043e\u043b\u0435<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u044b\u0447\u043d\u044b\u0439:<\/p>\n<pre><code class=\"python\">vllm serve \/path\/to\/model \\\u00a0\u00a0--runner pooling \\\u00a0\u00a0--io-processor-plugin mmbert_gliner2_io \\\u00a0\u00a0--dtype float16<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0427\u0442\u043e\u00a0\u0442\u044e\u043d\u0438\u043b\u0430<\/h4>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0430\u0441\u044c, \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u043c\u0435\u0441\u0442\u0438\u043b\u0441\u044f \u0441 \u00ab\u043a\u0430\u043a \u0437\u0430\u0432\u0435\u0441\u0442\u0438\u00bb \u043d\u0430 \u00ab\u043a\u0430\u043a \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c GPU\u00bb. \u0418 \u0437\u0434\u0435\u0441\u044c \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0432\u044b\u0432\u043e\u0434 \u0442\u0440\u0435\u043a\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u00a0\u043f\u0440\u043e\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433.<\/p>\n<p>\u042f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u00a0\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0445 \u0440\u0443\u0447\u0435\u043a: \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430, \u0442\u0430\u0439\u043c\u0430\u0443\u0442, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430. \u0422\u0440\u0438 \u0441\u0435\u0440\u0438\u0438, \u0448\u0435\u0441\u0442\u043d\u0430\u0434\u0446\u0430\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439. \u041d\u0438 \u043e\u0434\u043d\u0430 \u043d\u0435\u00a0\u043f\u043e\u0431\u0438\u043b\u0430 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0435\u0440\u0438\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0427\u0442\u043e\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041b\u0443\u0447\u0448\u0438\u0439 \u043a\u043e\u043d\u0444\u0438\u0433<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Throughput<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Avg latency<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">v1<\/p>\n<\/td>\n<td>\n<p align=\"left\">dtype, CUDA graphs,\u00a0\u043b\u0438\u043c\u0438\u0442 batched tokens<\/p>\n<\/td>\n<td>\n<p align=\"left\">float16\u00a0+ cudagraph<\/p>\n<\/td>\n<td>\n<p align=\"left\">108.6\u00a0RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">866\u00a0\u043c\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">v2<\/p>\n<\/td>\n<td>\n<p align=\"left\">max\u2011model\u2011len, max\u2011num\u2011seqs, max\u2011num\u2011batched\u2011tokens<\/p>\n<\/td>\n<td>\n<p align=\"left\">multi-4x<\/p>\n<\/td>\n<td>\n<p align=\"left\">124.9\u00a0RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">752\u00a0\u043c\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">v3<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u043f\u043b\u043e\u0442\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0430\u043d\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">multi-4x<\/p>\n<\/td>\n<td>\n<p align=\"left\">139.7\u00a0RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">669\u00a0\u043c\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0441\u0435\u0440\u0438\u044f\u043c\u0438\u00a0\u0431\u044b\u043b, \u043d\u043e\u00a0\u0443\u043f\u0438\u0440\u0430\u043b\u0441\u044f \u0432\u00a0\u043f\u043e\u0442\u043e\u043b\u043e\u043a. \u0421\u0434\u0432\u0438\u043d\u0443\u043b\u043e\u0441\u044c \u0432\u0441\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0433\u0434\u0430 \u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0430 \u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0438 \u0437\u0430\u043d\u044f\u043b\u0430\u0441\u044c \u0442\u0435\u043c, \u043a\u0430\u043a\u00a0\u0440\u0430\u0431\u043e\u0442\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u00a0backend\u2011\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u043c \u0438 \u0431\u044e\u0434\u0436\u0435\u0442\u0443 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041c\u0443\u043b\u044c\u0442\u0438\u0438\u043d\u0441\u0442\u0430\u043d\u0441\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0443\u043b\u0443\u0447\u0448\u0430\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u043e\u00a0\u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u0441\u0435\u0440\u0438\u044f\u0445\u00a0\u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u00a0\u0431\u044b\u043b\u0430 \u0432\u00a0\u0442\u043e\u043c, \u0447\u0442\u043e\u00a0\u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0430\u043d\u0441 \u043d\u0435\u00a0\u0434\u043e\u0433\u0440\u0443\u0436\u0430\u043b \u043a\u0430\u0440\u0442\u0443, \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0432\u0442\u043e\u0440\u0438\u0447\u0435\u043d.<\/p>\n<p><strong>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: \u0434\u043b\u044f\u00a0\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0442\u044e\u043d\u0438\u043d\u0433 \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430 \u0434\u0430\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 GPU.<\/strong><\/p>\n<h4>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P50, \u043c\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Errors<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">len2048-tokens49k<\/p>\n<\/td>\n<td>\n<p align=\"left\">181.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">440<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">len2048-tokens65k<\/p>\n<\/td>\n<td>\n<p align=\"left\">179.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">430<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u043c\u0435\u043d\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u043e\u0432 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 2048\u00a0\u0438 \u0431\u044e\u0434\u0436\u0435\u0442 \u0431\u0430\u0442\u0447\u0430 \u0432 49\u00a0\u0438 65\u00a0\u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n<p>\u041f\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 181.4\u00a0RPS\u00a0\u2014 \u044d\u0442\u043e \u043d\u0438\u0436\u0435 \u043e\u0431\u043e\u0438\u0445 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u0432: 185.3\u00a0\u0443\u00a0litserve\u2011torch \u0438 193.6\u00a0\u0443\u00a0litserve\u2011onnx\u2011trt. \u0417\u0430\u0442\u043e \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0435 \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0435: 440\u00a0\u043c\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 500\u00a0\u0443\u00a0litserve\u2011torch.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c vLLM \u043d\u0435\u00a0\u0432\u044b\u0438\u0433\u0440\u0430\u043b \u0433\u043e\u043d\u043a\u0443 \u043f\u043e\u00a0RPS, \u043d\u043e\u00a0\u0434\u0430\u043b \u0441\u0430\u043c\u044b\u0439\u00a0\u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u0414\u043b\u044f\u00a0guard\u2011\u0441\u043b\u043e\u044f \u044d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e\u0442 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b.<\/p>\n<p>\u041f\u043e\u0432\u0435\u0440\u0445 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u043a\u043e\u043d\u0444\u0438\u0433\u0430 \u0432\u043a\u043b\u044e\u0447\u0438\u043b\u0430 CUDA graphs (CUDA 13.0):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Throughput<\/p>\n<\/td>\n<td>\n<p align=\"left\">+11.1%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u044f\u044f latency<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221210.4%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">P99<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221228.6%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0438\u043a\u043e\u0432\u044b\u0439 VRAM<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d75.1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u0438\u043d\u0443\u0441 28.6% \u043d\u0430\u00a0P99\u00a0\u2014 \u0437\u0434\u0435\u0441\u044c \u0441\u0430\u043c\u043e\u0435 \u0446\u0435\u043d\u043d\u043e\u0435, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e\u00a0\u0434\u043b\u044f\u00a0guard\u2011\u0441\u043b\u043e\u044f \u0445\u0432\u043e\u0441\u0442\u044b \u0438 \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430. \u041f\u044f\u0442\u0438\u043a\u0440\u0430\u0442\u043d\u044b\u0439 \u0440\u043e\u0441\u0442 \u043f\u0430\u043c\u044f\u0442\u0438 \u0437\u0432\u0443\u0447\u0438\u0442 \u043c\u0430\u043b\u043e\u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e\u00a0\u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0432\u0435\u0441\u0438\u0442 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u043b\u0433\u0438\u0433\u0430)\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u0442\u0430\u043a \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043f\u044f\u0442\u0438\u043a\u0440\u0430\u0442\u043d\u044b\u0439 \u0440\u043e\u0441\u0442 \u043e\u0442\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0431\u0430\u0437\u044b \u043d\u0430\u00a0A100 80GB \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f vLLM \u0441\u00a0CUDA Graphs \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u043b\u0443\u0447\u0448\u0438\u0439 throughput, \u043d\u043e\u00a0\u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 35\u202f514\u00a0MiB \u043f\u0438\u043a\u043e\u0432\u043e\u0439 VRAM\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 5,1\u00a0\u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c LitServe baseline \u0441 6\u202f946\u00a0MiB. \u041d\u0430\u00a0\u043a\u0430\u0440\u0442\u0435 \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043b\u0438\u00a0\u043f\u0440\u0438\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c GPU \u0432\u044b\u0432\u043e\u0434\u044b \u043c\u043e\u0433\u0443\u0442\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u043c\u0438.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434 \u043f\u043e\u00a0\u0442\u0440\u0435\u043a\u0443.<\/strong> vLLM \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u044f \u043e\u0436\u0438\u0434\u0430\u043b\u0430 \u043e\u0442\u00a0\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430, \u0432\u00a0\u0447\u0435\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u043d\u0438 \u043e\u0434\u043d\u0438\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c. \u041f\u043b\u0430\u0433\u0438\u043d\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0438\u0439, \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442 \/pooling \u0434\u0435\u043b\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0442\u043e, \u0447\u0442\u043e\u00a0\u043d\u0443\u0436\u043d\u043e \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0443, \u0438 \u043f\u043e\u0441\u043b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 GPU \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0441\u0442\u0430\u043b \u0432\u00a0\u0432\u0435\u0440\u0445\u043d\u044e\u044e \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0435.<\/p>\n<p>\u0426\u0435\u043d\u0430\u00a0\u2014 \u0432\u00a0\u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438. \u041d\u0443\u0436\u0435\u043d \u0441\u0432\u043e\u0439 \u043f\u043b\u0430\u0433\u0438\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0434\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u00a0\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u0445 vLLM. \u041d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043a\u0430\u043a\u00a0\u0434\u0432\u0438\u0436\u043e\u043a \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0431\u044e\u0434\u0436\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0434\u0435\u0444\u043e\u043b\u0442\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443. \u0418 \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0437\u0430\u00a0\u043f\u0430\u043c\u044f\u0442\u044c\u044e: CUDA graphs \u0434\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u0445\u0432\u043e\u0441\u0442\u044b, \u043d\u043e\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442 \u0444\u043e\u0440\u043c\u0443 \u0432\u0445\u043e\u0434\u0430, \u0430\u00a0\u0444\u043e\u0440\u043c\u0430 \u0443\u00a0\u043d\u0430\u0441 \u043f\u043b\u0430\u0432\u0430\u0435\u0442 \u043f\u043e\u00a0\u0443\u0441\u043b\u043e\u0432\u0438\u044e \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p>\u0415\u0441\u043b\u0438\u00a0\u0431\u044b \u0443\u00a0\u043c\u0435\u043d\u044f\u00a0\u0431\u044b\u043b \u043e\u0434\u0438\u043d \u0437\u0430\u0445\u043e\u0434 \u0438 \u043d\u0435\u00a0\u0431\u044b\u043b\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430\u00a0\u043f\u043b\u0430\u0433\u0438\u043d\u00a0\u2014 \u044f\u00a0\u0431\u044b \u0441\u044e\u0434\u0430 \u043d\u0435\u00a0\u043f\u043e\u0448\u043b\u0430. \u0418\u043c\u0435\u044f \u0432\u0440\u0435\u043c\u044f\u00a0\u2014 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439.<\/p>\n<h3>\u0422\u0440\u0435\u043a 4. Triton: \u0433\u0434\u0435 \u043d\u0430\u00a0\u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435\u00a0\u0431\u044b\u043b\u043e \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e<\/h3>\n<p>\u042d\u0442\u043e\u00a0\u0431\u044b\u043b \u043c\u043e\u0439 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0442\u0440\u0435\u043a, \u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u044f\u043b \u043d\u0435 \u00ab\u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u0432\u044b\u0436\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 RPS\u00bb, \u0430 \u00ab\u0447\u0442\u043e \u0434\u0430\u0435\u0442 production\u2011\u0441\u0435\u0440\u0432\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0438 \u0435\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u043c\u0435\u043d\u044f\u0442\u044c\u00bb. \u041e\u0442\u0432\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u00a0\u043f\u0440\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c.<\/p>\n<h4>\u0428\u0430\u0433 1. \u041f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0Triton<\/h4>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u0432\u0437\u044f\u0442\u044c \u043b\u043e\u0433\u0438\u043a\u0443 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430 \u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0435\u0435 \u0432\u00a0Triton Python backend, \u043d\u0435\u00a0\u0442\u0440\u043e\u0433\u0430\u044f \u0441\u0430\u043c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d. \u041f\u0435\u0440\u0435\u0434 \u044d\u0442\u0438\u043c \u044f \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0430 \u043c\u043e\u043a\u2011\u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043f\u0440\u043e\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0431\u0435\u0437\u00a0\u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0434\u0435\u043f\u043b\u043e\u044f.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0412\u0430\u0440\u0438\u0430\u043d\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0412\u043e\u0440\u043a\u0435\u0440\u044b<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P50<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P95<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P99<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Errors<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0394RPS<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">litserve\u2011torch, \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">185.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">500<\/p>\n<\/td>\n<td>\n<p align=\"left\">1500<\/p>\n<\/td>\n<td>\n<p align=\"left\">1700<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Mock Triton<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">145.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">840<\/p>\n<\/td>\n<td>\n<p align=\"left\">960<\/p>\n<\/td>\n<td>\n<p align=\"left\">990<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014 21.3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Triton Python backend, REST<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">146.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">600<\/p>\n<\/td>\n<td>\n<p align=\"left\">1200<\/p>\n<\/td>\n<td>\n<p align=\"left\">1900<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014 20.8%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Triton Python backend, gRPC<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">148.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">620<\/p>\n<\/td>\n<td>\n<p align=\"left\">1000<\/p>\n<\/td>\n<td>\n<p align=\"left\">1600<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014 20.0%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u044b\u0432\u043e\u0434 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439: Triton \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0443 \u043e\u043a\u043e\u043b\u043e 21% \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438. \u0418\u0434\u0435\u044f \u00ab\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c production\u2011\u0441\u0435\u0440\u0432\u0435\u0440, \u0438 \u0432\u0441\u0435 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u043e\u00bb \u043d\u0435\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u00a0\u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0441\u0435 \u0435\u0449\u0435 \u0437\u0430\u0432\u044f\u0437\u0430\u043d \u043d\u0430\u00a0\u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0443\u044e \u043e\u0431\u0432\u044f\u0437\u043a\u0443, \u043e\u0432\u0435\u0440\u0445\u0435\u0434 \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448.<\/p>\n<p>\u041f\u043e\u0431\u043e\u0447\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e. <strong>REST \u043f\u0440\u043e\u0442\u0438\u0432 gRPC \u043f\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 1\u20132%, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0438\u043a\u0430\u043a\u043e\u0439. \u041f\u0440\u0438\u00a0\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u00a0\u043f\u043e\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0435 gRPC \u0443\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u044b\u0431\u0440\u043e\u0441\u044b \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 4\u00a0\u0440\u0430\u0437\u0430.<\/strong> \u0412\u00a0\u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043f\u0430\u0440\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f latency \u0434\u043b\u044f\u00a0REST \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 16.7\u00a0s, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u00a0\u0434\u043b\u044f\u00a0gRPC \u043e\u043d\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 3.85\u00a0s.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430 \u0432\u044b\u0431\u043e\u0440 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0435\u00a0\u043d\u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u0430\u00a0\u043d\u0430\u00a0\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0445\u0432\u043e\u0441\u0442\u043e\u0432, \u0438 \u044d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0442\u043e, \u0447\u0442\u043e\u00a0\u043d\u0443\u0436\u043d\u043e guard\u2011\u0441\u043b\u043e\u044e.<\/p>\n<h4>\u0428\u0430\u0433 2. \u0420\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043d\u0430\u00a0\u0441\u0442\u0430\u0434\u0438\u0438<\/h4>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u044f \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u043d\u0430\u00a0\u0442\u0440\u0438 \u0441\u0442\u0430\u0434\u0438\u0438 \u0438 \u0441\u0442\u0430\u043b\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043f\u043e\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438:<\/p>\n<p><code>text \u2192 preprocessor \u2192 encoder \u2192 postprocessor \u2192 result<\/code><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P50<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P95<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P99<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>Errors<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1+1+1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">1200<\/p>\n<\/td>\n<td>\n<p align=\"left\">1300<\/p>\n<\/td>\n<td>\n<p align=\"left\">1400<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4+1+4<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1200<\/p>\n<\/td>\n<td>\n<p align=\"left\">1200<\/p>\n<\/td>\n<td>\n<p align=\"left\">1500<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4+2+4<\/p>\n<\/td>\n<td>\n<p align=\"left\">124.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">790<\/p>\n<\/td>\n<td>\n<p align=\"left\">1000<\/p>\n<\/td>\n<td>\n<p align=\"left\">1300<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4+4+4<\/p>\n<\/td>\n<td>\n<p align=\"left\">134.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">700<\/p>\n<\/td>\n<td>\n<p align=\"left\">1100<\/p>\n<\/td>\n<td>\n<p align=\"left\">1500<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0426\u0438\u0444\u0440\u044b \u0432\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0435\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 \u0432\u00a0ensemble\u2011\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0435 Triton, \u0430\u00a0\u043d\u0435\u00a0\u0447\u0442\u043e\u2011\u043b\u0438\u0431\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f 1+1+1\u00a0\u0434\u0430\u043b\u0430 \u0432\u0441\u0435\u0433\u043e 79.9\u00a0RPS, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0430\u043c\u0430 \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u0434\u0435\u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0432\u0441\u0435 \u0443\u0445\u0443\u0434\u0448\u0438\u043b\u0430. \u0427\u0435\u0442\u044b\u0440\u0435\u0445\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0435\u2011 \u0438 \u043f\u043e\u0441\u0442\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433\u0430 (4+1+4) \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u043e 7.6%, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435\u00a0\u043e\u0441\u043e\u0431\u043e \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u044e\u0449\u0435. \u0410\u00a0\u0432\u043e\u0442 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0435 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0434\u0430\u043b\u043e <strong>+44.5%<\/strong>. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0435, \u0441\u00a0\u0434\u0432\u0443\u0445 \u0434\u043e\u00a0\u0447\u0435\u0442\u044b\u0440\u0451\u0445,\u00a0\u2014 \u0443\u0436\u0435 \u0442\u043e\u043b\u044c\u043a\u043e +8.4%, \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430\u00a0\u0437\u0430\u043a\u043e\u043d \u0443\u0431\u044b\u0432\u0430\u044e\u0449\u0435\u0439 \u043e\u0442\u0434\u0430\u0447\u0438.<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u043f\u0440\u0438\u0448\u0435\u043b \u043e\u0442\u0432\u0435\u0442 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0442. \u0423\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u00a0\u0432\u00a0\u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u043e\u0431\u0432\u044f\u0437\u043a\u0435, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0434\u0443\u043c\u0430\u043b\u0430 \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0435 \u043d\u0435\u0434\u0435\u043b\u0438, \u0430\u00a0\u0432\u00a0encoder path. \u042d\u0442\u043e\u00a0\u0436\u0435 \u0437\u0430\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0448\u0430\u0433\u0430\u00a0\u2014 \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u043e\u0431\u0432\u044f\u0437\u043a\u0438 \u0432\u00a0Triton \u043d\u0435\u00a0\u043f\u043e\u043c\u043e\u0433, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043e\u0431\u0432\u044f\u0437\u043a\u0430 \u043d\u0438\u0447\u0435\u0433\u043e \u0438 \u043d\u0435\u00a0\u0434\u0435\u0440\u0436\u0430\u043b\u0430.<\/p>\n<p><strong>Ensemble \u0437\u0434\u0435\u0441\u044c \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043a\u0430\u043a\u00a0\u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 (\u043d\u043e \u043d\u0435\u00a0\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f).<\/strong> \u041b\u0443\u0447\u0448\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f 4+4+4\u00a0\u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0443 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b\u0430 \u043f\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438, \u043d\u043e\u00a0\u043f\u043e\u00a0P95\u00a0\u0443\u0436\u0435 \u0432\u044b\u0438\u0433\u0440\u0430\u043b\u0430, 1100\u00a0\u043c\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 1500.<\/p>\n<h4>\u0428\u0430\u0433 3. \u0427\u0435\u0442\u044b\u0440\u0435 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0432\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0435<\/h4>\n<p>\u041f\u043e\u0432\u0435\u0440\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 4+4+4\u00a0\u0441\u00a0\u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u043e\u043c, \u044f \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e:<\/p>\n<pre><code>optimization {\u00a0\u00a0graph { level: 3 }}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0444\u0438\u0433<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P95<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>P99<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u043e\u00a0graph opt<\/p>\n<\/td>\n<td>\n<p align=\"left\">1100<\/p>\n<\/td>\n<td>\n<p align=\"left\">1500<\/p>\n<\/td>\n<td>\n<p align=\"left\">134.6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u043e\u0441\u043b\u0435 graph opt = 3<\/p>\n<\/td>\n<td>\n<p align=\"left\">790<\/p>\n<\/td>\n<td>\n<p align=\"left\">970<\/p>\n<\/td>\n<td>\n<p align=\"left\">136.1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>P95\u00a0\u043c\u0438\u043d\u0443\u0441 28%, P99\u00a0\u043c\u0438\u043d\u0443\u0441 35%, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u00a0\u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c.<\/strong><\/p>\n<p>\u042d\u0442\u043e \u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0441\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e\u00a0\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u043a\u00a0\u0437\u0430\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u043c \u0443\u0441\u0438\u043b\u0438\u044f\u043c. \u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c, \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c, \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u00a0\u043f\u0440\u043e\u0434\u0435. \u0414\u043b\u044f\u00a0\u0441\u043b\u043e\u044f, \u0443\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u00a0\u2014 \u0445\u0432\u043e\u0441\u0442\u044b, \u044d\u0442\u043e \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0435 \u0442\u0440\u0438\u0434\u0446\u0430\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0443\u0442\u043e\u0447\u043d\u044e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u0443\u0442\u0430\u043d\u0438\u0446\u0430: count: 4\u00a0\u0432\u00a0instance_group \u0441\u00a0kind: KIND_GPU\u00a0\u2014 \u044d\u0442\u043e \u0447\u0435\u0442\u044b\u0440\u0435 \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0435, \u0430\u00a0\u043d\u0435\u00a0\u0447\u0435\u0442\u044b\u0440\u0435 \u043a\u0430\u0440\u0442\u044b.<\/p>\n<h4>\u0427\u0442\u043e\u00a0\u043d\u0435\u00a0\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u043e\u0441\u044c<\/h4>\n<p><strong>TorchScript \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e \u043d\u0435\u0440\u0430\u0431\u043e\u0447\u0438\u043c.<\/strong> torch.jit.trace \u043f\u0430\u0434\u0430\u043b \u0432\u043d\u0443\u0442\u0440\u0438 sdpa_mask \u043d\u0430\u00a0\u043d\u0443\u043b\u044c\u043c\u0435\u0440\u043d\u043e\u043c \u0442\u0435\u043d\u0437\u043e\u0440\u0435\u00a0\u2014 \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u0442 ModernBERT. \u0420\u0430\u0431\u043e\u0447\u0438\u043c \u043f\u0443\u0442\u0435\u043c \u0441\u0442\u0430\u043b \u044d\u043a\u0441\u043f\u043e\u0440\u0442 \u0432\u00a0ONNX \u0447\u0435\u0440\u0435\u0437 <code>dynamo=True<\/code>, \u0442\u043e \u0435\u0441\u0442\u044c AOT\u2011\u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0438.<\/p>\n<p><strong>FP16\u00a0\u0434\u043b\u044f\u00a0ONNX\u2011\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043e\u0442\u043a\u0430\u0442\u0438\u0442\u044c.<\/strong> ONNX Runtime \u0443\u0445\u043e\u0434\u0438\u043b \u0432\u00a0stall, \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u043b\u0430\u0441\u044c, \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u043d\u0430\u00a0FP32. \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434: fp16\u00a0\u2014 \u043d\u0435\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f, \u0435\u0441\u043b\u0438 \u0441\u0442\u0435\u043a \u0432\u043e\u043a\u0440\u0443\u0433 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u00a0\u0434\u0435\u0440\u0436\u0438\u0442 \u0435\u0433\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e, \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0445\u0443\u0436\u0435.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434 \u043f\u043e\u00a0\u0442\u0440\u0435\u043a\u0443.<\/strong> Triton \u043d\u0435\u00a0\u0432\u044b\u0438\u0433\u0440\u0430\u043b \u043f\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043d\u0438 \u0432\u00a0\u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438. \u041d\u043e\u00a0\u043e\u043d \u043f\u043e\u0434\u0441\u0432\u0435\u0442\u0438\u043b \u0432\u0430\u0436\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b\u00a0\u2014 \u0433\u0434\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e, \u0438 \u0432\u0442\u043e\u0440\u043e\u0435\u00a0\u2014 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0441\u0440\u0435\u0437\u0430\u0442\u044c \u0442\u0440\u0435\u0442\u044c \u0445\u0432\u043e\u0441\u0442\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u0441\u0442\u0440\u043e\u0447\u043a\u0430\u043c\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0430.<\/p>\n<p>\u0415\u0441\u043b\u0438\u00a0\u0431\u044b \u044f \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0RPS, \u044f\u00a0\u0431\u044b \u044d\u0442\u043e\u0442 \u0442\u0440\u0435\u043a \u0437\u0430\u043a\u0440\u044b\u043b\u0430 \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u0442\u0430\u043a \u043d\u0438\u0447\u0435\u0433\u043e\u00a0\u0431\u044b \u0438 \u043d\u0435\u00a0\u0443\u0437\u043d\u0430\u043b\u0430 \u043f\u0440\u043e\u00a0encoder path.\u00a0<\/p>\n<p>\u0412\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435\u00a0\u0431\u044b\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0430 \u0432\u0435\u0440\u0441\u0438\u044f Triton Inference Server 25.01-py3<\/p>\n<h3>\u0422\u0440\u0435\u043a 5. Ray Serve: \u0437\u0440\u0435\u043b\u044b\u0439 serving\u2011\u0441\u043b\u043e\u0439\u00a0<\/h3>\n<h3>\u0417\u0434\u0435\u0441\u044c \u044f \u0441\u043a\u043e\u0440\u0435\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0430 \u043d\u0430\u0431\u043e\u0440 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043e\u00a0\u0442\u043e\u043c, \u043a\u0430\u043a\u00a0\u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0439 serving\u2011\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a. \u0423\u00a0\u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 7\u00a0\u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0439.<\/h3>\n<p><strong>REST \u0431\u0435\u0437\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0443.<\/strong> 34.1\u00a0RPS \u043f\u0440\u043e\u0442\u0438\u0432 193.6\u00a0\u0443\u00a0litserve\u2011onnx\u2011trt. \u0420\u0430\u0437\u0440\u044b\u0432 \u0432 5.7\u00a0\u0440\u0430\u0437\u0430. \u0411\u0435\u0437\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430 Ray Serve \u043d\u0435\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d.<\/p>\n<p><strong>\u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u043d\u0435\u00a0\u0434\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d.<\/strong> \u0411\u0430\u0442\u0447\u0438\u043d\u0433 \u0432\u044b\u0442\u0430\u0449\u0438\u043b Ray \u0441 34.1\u00a0\u0434\u043e 147.2\u00a0RPS, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u00a0\u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u00a0\u043b\u0438\u0448\u043d\u0438\u043c \u0440\u0430\u0437\u0430. \u041d\u043e\u00a0\u0434\u043e 193.6\u00a0\u043d\u0435\u00a0\u0434\u043e\u0442\u044f\u043d\u0443\u043b.<\/p>\n<p><strong>gRPC \u043b\u0443\u0447\u0448\u0435 REST \u043f\u043e\u00a0\u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430\u043c \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043f\u0440\u0430\u0432\u0434\u0430.<\/strong> \u041d\u0430\u00a0\u0431\u0430\u0442\u0447\u0435 16\u00a0P50\u00a0\u043b\u0443\u0447\u0448\u0435 \u043d\u0430 5.7%, \u043d\u0430 32\u00a0\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0443\u043b\u0435\u0432\u0430\u044f, \u043d\u0430 64\u00a0\u0445\u0432\u043e\u0441\u0442\u044b \u0441\u0442\u0430\u043b\u0438 \u0445\u0443\u0436\u0435.<\/p>\n<p><strong>gRPC \u043b\u0443\u0447\u0448\u0435 REST \u043f\u043e\u00a0RPS\u00a0\u2014 \u0442\u043e\u0436\u0435 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043f\u0440\u0430\u0432\u0434\u0430.<\/strong> \u0411\u0430\u0442\u0447 16\u00a0\u0434\u0430\u0435\u0442 +6.3%, \u0431\u0430\u0442\u0447 32\u00a0\u2014 \u043f\u0430\u0440\u0438\u0442\u0435\u0442 (+1.2%), \u0431\u0430\u0442\u0447 64\u00a0\u2014 \u0443\u0436\u0435 -2.1%. \u0412\u044b\u0438\u0433\u0440\u044b\u0448 \u043e\u0442\u00a0gRPC \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0439, \u0430\u00a0\u043d\u0435\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439, \u043e\u043d \u0435\u0441\u0442\u044c \u043d\u0430\u00a0\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0431\u0430\u0442\u0447\u0430\u0445 \u0438 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u043d\u0430\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u0445.<\/p>\n<p><strong>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u0430\u0442\u0447 16\u201332\u00a0(\u043d\u043e \u0432\u00a0\u043c\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435).<\/strong> \u041b\u0443\u0447\u0448\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u0434\u043b\u044f\u00a0\u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 \u043e\u043a\u043e\u043b\u043e 16. \u0420\u043e\u0441\u0442 \u0434\u043e 64\u00a0\u0443\u0445\u0443\u0434\u0448\u0438\u043b \u0445\u0432\u043e\u0441\u0442\u044b \u0438 \u043d\u0435\u00a0\u0443\u043b\u0443\u0447\u0448\u0438\u043b \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u00a0\u2014 \u0440\u043e\u0432\u043d\u043e \u0442\u043e, \u0447\u0442\u043e\u00a0\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2116\u00a05\u00a0\u0438\u0437\u00a0\u0432\u0432\u043e\u0434\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438\u00a0\u2014 \u0432\u00a0\u0431\u0430\u0442\u0447\u0435 \u0432\u0441\u0435 \u0436\u0434\u0443\u0442 \u0441\u0430\u043c\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442.<\/p>\n<p><strong>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0430\u0439\u043c\u0430\u0443\u0442 \u043e\u043a\u043e\u043b\u043e 0.05\u00a0\u0441 (\u0442\u043e\u0436\u0435 \u0434\u043b\u044f\u00a0\u043c\u043e\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438).<\/strong> \u0414\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0431\u0430\u0442\u0447\u0430. \u041f\u0440\u0438 0.01\u00a0s \u0431\u0430\u0442\u0447 \u043d\u0435\u00a0\u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u043d\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u044c\u0441\u044f, \u043f\u0440\u0438 0.10\u00a0s \u0437\u0430\u043f\u0440\u043e\u0441\u044b\u00a0\u043b\u0438\u0448\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0441\u0442\u043e\u044f\u0442 \u0432\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u0438.<\/p>\n<p><strong>UniEncoder \u0438 BiEncoder \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0438 \u043f\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438.<\/strong> \u0412 21\u00a0\u043f\u0430\u0440\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439 \u0438\u0437 32\u00a0\u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0443\u043b\u043e\u0436\u0438\u043b\u0430\u0441\u044c \u0432 15%, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 12.2% \u0432\u00a0\u043f\u043e\u043b\u044c\u0437\u0443 UniEncoder.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434 \u043f\u043e\u00a0\u0442\u0440\u0435\u043a\u0443.<\/strong> Ray Serve\u00a0\u2014 \u0432\u043f\u043e\u043b\u043d\u0435 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u043e\u0433\u043e. \u041e\u043d \u0443\u0434\u043e\u0431\u0435\u043d \u0434\u043b\u044f\u00a0\u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u0440\u0435\u043f\u043b\u0438\u043a \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u043e\u043c \u0431\u0435\u0437\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u044b. \u041d\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u043d \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u00a0\u0443\u0441\u043a\u043e\u0440\u0438\u0442: \u0432\u0435\u0441\u044c \u0435\u0433\u043e \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0432\u00a0\u044d\u0442\u043e\u043c \u0442\u0440\u0435\u043a\u0435 \u043f\u0440\u0438\u0448\u0435\u043b \u043e\u0442\u00a0\u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0442\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438 \u0441\u00a0\u0434\u0440\u0443\u0433\u0438\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c.<\/p>\n<h3>\u0427\u0442\u043e\u00a0\u0434\u0430\u043b \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0440\u0435\u043a<\/h3>\n<p>\u0421\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u0441\u0435 \u0432\u00a0\u043e\u0434\u043d\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441\u00a0\u043a\u043e\u043b\u043e\u043d\u043a\u043e\u0439 RPS \u043d\u0435\u043b\u044c\u0437\u044f \u0438\u0437\u2011\u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0430\u0431\u043b\u0438\u0446 \u0432\u00a0\u0438\u0442\u043e\u0433\u0435 \u0432\u044b\u0448\u043b\u043e \u0434\u0432\u0435.<\/p>\n<p><strong>Runtime\u2011\u0442\u0440\u0435\u043a<\/strong> (1\u00a0\u0432\u043e\u0440\u043a\u0435\u0440, 50\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, 60\u00a0\u0441\u0435\u043a\u0443\u043d\u0434):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0420\u0435\u0448\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0421\u0438\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TensorRT<\/p>\n<\/td>\n<td>\n<p align=\"left\">130.72\u00a0RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">+23% \u043a\u00a0PyTorch \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0443\u0436\u0435\u043d \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0439 conversion path<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Flash DeBERTa<\/p>\n<\/td>\n<td>\n<p align=\"left\">105.7\u00a0RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0431\u044d\u043a\u0431\u043e\u043d\u0430 \u0431\u0435\u0437\u00a0\u043f\u0435\u0440\u0435\u0441\u0431\u043e\u0440\u043a\u0438 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u043e\u00a0TensorRT \u043d\u0435\u00a0\u0434\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>Serving\u2011\u0442\u0440\u0435\u043a\u0438<\/strong> (4\u00a0\u0432\u043e\u0440\u043a\u0435\u0440\u0430, 100\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, 15\u00a0\u043c\u0438\u043d\u0443\u0442):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0420\u0435\u0448\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0421\u0438\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">litserve\u2011onnx\u2011trt<\/p>\n<\/td>\n<td>\n<p align=\"left\">193.6\u00a0RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043b\u0443\u0447\u0448\u0438\u0439 throughput \u0432\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043c\u0430\u043b\u043e \u043c\u0435\u0441\u0442\u0430 \u0434\u043b\u044f\u00a0\u0434\u0435\u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">litserve\u2011torch<\/p>\n<\/td>\n<td>\n<p align=\"left\">185.3\u00a0RPS, P50 500<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u043d\u0430\u00a0\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u0440\u0435\u043f\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e\u00a0\u0436\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">vLLM<\/p>\n<\/td>\n<td>\n<p align=\"left\">181.4\u00a0RPS, <strong>P50 440<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043b\u0443\u0447\u0448\u0430\u044f \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0432\u043e\u0439 \u043f\u043b\u0430\u0433\u0438\u043d, \u0440\u043e\u0441\u0442 VRAM, \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0442\u044e\u043d\u0438\u043d\u0433<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Ray Serve<\/p>\n<\/td>\n<td>\n<p align=\"left\">147.2\u00a0RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443\u0434\u043e\u0431\u043d\u0430\u044f \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0431\u0435\u0437\u00a0\u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432 \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Triton<\/p>\n<\/td>\n<td>\n<p align=\"left\">136.1\u00a0RPS, <strong>P95 790<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043b\u0443\u0447\u0448\u0438\u0435 \u0445\u0432\u043e\u0441\u0442\u044b, \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0443\u0437\u043a\u0438\u0445 \u043c\u0435\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u00a0\u043b\u0438\u0434\u0435\u0440 \u043f\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435, \u0447\u0442\u043e\u00a0\u0432\u0438\u0434\u043d\u043e \u0438\u0437\u00a0\u0432\u0442\u043e\u0440\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b: <strong>\u043b\u0443\u0447\u0448\u0438\u0439 \u043f\u043e\u00a0RPS, \u043b\u0443\u0447\u0448\u0438\u0439 \u043f\u043e\u00a0P50\u00a0\u0438 \u043b\u0443\u0447\u0448\u0438\u0439 \u043f\u043e\u00a0P95\u00a0\u2014 \u044d\u0442\u043e \u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430<\/strong>. Triton \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0443 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0434\u0430\u0435\u0442 \u0432\u0434\u0432\u043e\u0435 \u043b\u0443\u0447\u0448\u0438\u0439 P95. \u0414\u043b\u044f\u00a0guard\u2011\u0441\u043b\u043e\u044f, \u0433\u0434\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0436\u0434\u0435\u0442 \u0434\u0432\u0430\u0436\u0434\u044b \u0437\u0430\u00a0\u0445\u043e\u0434, \u0432\u0430\u0436\u043d\u0435\u0435 \u0432\u0442\u043e\u0440\u043e\u0435.<\/p>\n<h3>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u044b\u0431\u043e\u0440\u0430<\/h3>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0443\u00a0\u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0442\u0430\u043a\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u044b\u0431\u043e\u0440\u0430. \u041a\u0430\u043a\u00a0\u0448\u043f\u043e\u0440\u0430 \u043d\u0430\u00a0\u0431\u0443\u0434\u0443\u0449\u0435\u0435.\u00a0<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0415\u0441\u043b\u0438 \u0432\u0430\u0436\u043d\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u0421\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u041f\u043e\u0447\u0435\u043c\u0443<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u00a0\u0436\u0435\u043b\u0435\u0437\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">TensorRT<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043b\u0443\u0447\u0448\u0438\u0439 raw performance \u0442\u0430\u043c, \u0433\u0434\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0435 \u0445\u0432\u043e\u0441\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">Triton<\/p>\n<\/td>\n<td>\n<p align=\"left\">graph optimization, ensemble, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u0430\u044f \u043c\u0435\u0434\u0438\u0430\u043d\u0430 \u0431\u0435\u0437\u00a0\u0441\u0432\u043e\u0435\u0433\u043e \u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">vLLM<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0434\u0430\u0436\u0435 \u043d\u0430\u00a0\u0447\u0443\u0436\u043e\u0439 \u0434\u043b\u044f\u00a0\u043d\u0435\u0433\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c \u0438 \u043d\u0435\u00a0\u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">LitServe<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0431\u043e\u0433\u043d\u0430\u0442\u044c \u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u043a\u0430\u0436\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0423\u0441\u043a\u043e\u0440\u0438\u0442\u044c DeBERTa\u2011\u0431\u044d\u043a\u0431\u043e\u043d \u043c\u0430\u043b\u043e\u0439 \u043a\u0440\u043e\u0432\u044c\u044e<\/p>\n<\/td>\n<td>\n<p align=\"left\">Flash DeBERTa<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u043e\u043c \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u044f, \u0440\u0435\u043f\u043b\u0438\u043a\u0438, Python\u2011\u0441\u0442\u0435\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">Ray Serve<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437\u0440\u0435\u043b\u044b\u0439 \u0441\u043b\u043e\u0439, \u043d\u043e\u00a0\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043d\u0435\u00a0\u0436\u0434\u0438\u0442\u0435<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0438 \u0447\u0442\u043e\u00a0\u044f \u0441\u0434\u0435\u043b\u0430\u043b\u0430\u00a0\u0431\u044b \u0438\u043d\u0430\u0447\u0435<\/h3>\n<p><strong>\u0415\u0434\u0438\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0441\u00a0\u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430.<\/strong> Runtime\u2011\u0442\u0440\u0435\u043a \u0433\u043e\u043d\u044f\u043b\u0441\u044f \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435, serving\u2011\u0442\u0440\u0435\u043a\u0438 \u043d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c, \u0438\u0437\u2011\u0437\u0430 \u0447\u0435\u0433\u043e \u0438\u0445 \u0447\u0438\u0441\u043b\u0430 \u043d\u0435\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b. \u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u043e\u043b\u0433 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p><strong>\u042f \u043d\u0435\u00a0\u0438\u0437\u043c\u0435\u0440\u0438\u043b\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/strong> \u041d\u0438 \u043e\u0434\u043d\u0430 \u0446\u0438\u0444\u0440\u0430 \u0432\u044b\u0448\u0435 \u043d\u0435\u00a0\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441, \u043e\u0431\u00a0\u0438\u0442\u043e\u0433\u043e\u0432\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043b\u043e\u0432\u0438\u0442\u00a0\u043b\u0438 \u043e\u043d\u0430 \u0441\u0442\u043e\u043b\u044c\u043a\u043e\u00a0\u0436\u0435 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f. \u0414\u043b\u044f\u00a0FP16\u00a0\u0438 graph optimization \u0440\u0438\u0441\u043a \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0434\u043b\u044f\u00a0INT8\u00a0\u2014 \u043f\u0440\u044f\u043c\u043e\u0439 \u0438 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u0439. \u0422\u0430\u043a \u0447\u0442\u043e\u00a0\u0432\u0441\u0435 \u0432\u044b\u0432\u043e\u0434\u044b \u043f\u0440\u043e\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0437\u0434\u0435\u0441\u044c\u00a0\u2014 \u043f\u0440\u043e\u00a0\u0442\u043e, \u043f\u043e\u0435\u0445\u0430\u043b\u043e \u0438\u043b\u0438\u00a0\u043d\u0435\u00a0\u043f\u043e\u0435\u0445\u0430\u043b\u043e, \u0430\u00a0\u043d\u0435\u00a0\u043f\u0440\u043e\u00a0\u0442\u043e, \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u044d\u0442\u043e \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u00a0\u043f\u0440\u043e\u0434.<\/p>\n<p><strong>INT8\u00a0\u0432\u00a0TensorRT \u044f \u043d\u0435\u00a0\u0434\u043e\u0432\u0435\u043b\u0430.<\/strong> \u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441\u00a0FP16\u00a0\u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 fallback, \u0430\u00a0\u043d\u0435\u00a0\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0430, \u0438 \u044d\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043b\u043e\u0433\u043e\u043c \u0441\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p><strong>ONNX\u2011\u043f\u0443\u0442\u044c \u0432\u00a0\u043f\u0435\u0440\u0432\u043e\u043c \u0442\u0440\u0435\u043a\u0435\u00a0\u0431\u044b\u043b \u0441\u043b\u043e\u043c\u0430\u043d.<\/strong> \u041e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u0446\u0438\u0444\u0440\u044b \u0432\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043a\u0430\u043a\u00a0\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044e, \u043d\u043e\u00a0\u0432\u044b\u0432\u043e\u0434\u043e\u0432 \u043f\u0440\u043e\u00a0ONNX Runtime \u0438\u0437\u00a0\u043d\u0438\u0445 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434<\/h3>\n<p>\u0414\u043b\u044f\u00a0\u043c\u0435\u043d\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u0432\u044b\u0432\u043e\u0434: \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u0447\u0435\u043c \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c\u00bb\u00a0\u0431\u044b\u043b \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d. \u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u0430, \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044f \u043e\u0441\u0442\u0430\u0432\u0448\u0430\u044f\u0441\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0435\u00a0\u0432\u00a0\u043d\u0435\u0439, \u0430\u00a0\u0432\u043e\u043a\u0440\u0443\u0433: \u0432\u00a0\u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0435, \u0441\u043b\u043e\u0435 \u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0430, \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0435, \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 GPU \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u043f\u043e\u0434\u00a0\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439.<\/p>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u0437\u0432\u0443\u0447\u0438\u0442 \u0435\u0449\u0435 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0435\u0435: \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043a \u043b\u0443\u0447\u0448\u0435 \u0432\u043f\u0438\u0448\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u00a0\u2014 \u043f\u043e\u00a0SLA \u043d\u0430\u00a0\u0445\u0432\u043e\u0441\u0442\u044b, \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430\u00a0\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e, \u043f\u043e\u00a0\u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u00a0\u0442\u043e\u043c\u0443, \u043a\u0442\u043e \u044d\u0442\u043e \u043f\u043e\u0442\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c, \u0438 \u043f\u043e\u00a0\u0446\u0435\u043d\u0435 \u043e\u0448\u0438\u0431\u043a\u0438. \u0423\u00a0\u043c\u0435\u043d\u044f \u0446\u0435\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0438\u00a0\u0431\u044b\u043b\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u0439, \u0430\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439\u00a0\u0431\u044b\u043b\u0438 \u0445\u0432\u043e\u0441\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0438\u0433\u0440\u0430\u043b \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b \u043f\u043e\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0412\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u0434\u0440\u0443\u0433\u0438\u0435. \u0427\u0438\u0441\u043b\u0430 \u0438\u0437\u00a0\u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0432\u0430\u043c \u043d\u0435\u00a0\u043f\u043e\u0434\u043e\u0439\u0434\u0443\u0442, \u0430\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0437, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1067008\/\">https:\/\/habr.com\/ru\/articles\/1067008\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041a\u043e\u0433\u0434\u0430 \u0432\u00a0\u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0435\u0441\u0442\u044c \u0443\u0437\u0435\u043b \u043c\u0435\u0436\u0434\u0443 LLM \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0435\u0433\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u0430, \u043a\u0430\u043a\u00a0\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0430\u043c\u043e\u0439 LLM. \u041a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e\u0442 \u0443\u0437\u0435\u043b \u0441\u0430\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e (\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435\u00a0\u2014\u00a0\u0442\u043e\u0436\u0435 LLM)\u00a0\u2014\u00a0\u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u0432\u0435\u0441\u0435\u043b\u043e\u0439 \u0438 \u0435\u0451 \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u0435\u0442\u044c \u0440\u0435\u0448\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438. \u0412\u00a0\u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u044f \u043e\u043f\u0438\u0448\u0443 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f guardrail\u2011\u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014\u00a0\u0443\u0437\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u00a0\u2014 \u043d\u0435\u0442\u00a0\u043b\u0438 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434\u0435 \u0438\u043b\u0438\u00a0\u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u043f\u0430\u0441\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430.Guard \u0441\u0442\u043e\u0438\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434\u0435\/\u0432\u044b\u0445\u043e\u0434\u0435 LLM\u2011\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f. \u0412\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u0440\u043e\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u2014 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 0.5\u00a0Gb. \u041d\u043e\u00a0\u043e\u043d\u0430 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0430\u0436\u0434\u044b \u0437\u0430\u00a0\u043e\u0434\u0438\u043d \u0445\u043e\u0434 \u0434\u0438\u0430\u043b\u043e\u0433\u0430, \u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0436\u0434\u0435\u0442, \u043f\u043e\u043a\u0430 guard \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442 \u0435\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0432\u00a0LLM, \u0437\u0430\u0442\u0435\u043c\u00a0\u2014 \u043f\u043e\u043a\u0430 \u043e\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043f\u0435\u0440\u0435\u0434 \u0432\u044b\u0434\u0430\u0447\u0435\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e.\u041c\u043e\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439\u00a0\u0431\u044b\u043b\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e guard\u2011\u043c\u043e\u0434\u0435\u043b\u044c (Locustfile, \u0431\u0430\u0437\u043e\u0432\u044b\u0435 benchmark\u2011\u043a\u043e\u043d\u0444\u0438\u0433\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u043f\u043e\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0440\u0435\u043f\u043e). \u042f \u043f\u043e\u0442\u0435\u0441\u0442\u0438\u043b\u0430 \u043f\u044f\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432: TensorRT, NVIDIA Triton, vLLM, Ray Serve \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u00a0\u2014 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u0431\u044d\u043a\u0431\u043e\u043d\u0430 \u043d\u0430\u00a0Flash DeBERTa.\u041f\u0440\u043e\u00a0\u0434\u043e\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0432\u044b\u0432\u043e\u0434\u044b\u00a0\u2014 \u043e\u00a0\u0442\u043e\u043c, \u043a\u0430\u043a\u00a0\u0431\u044b \u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0430 \u043f\u043e\u0434\u043e\u0431\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0435\u0439\u0447\u0430\u0441\u00a0\u2014\u00a0\u043d\u0438\u0436\u0435. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u044d\u0442\u043e \u0441\u0431\u0435\u0440\u0435\u0436\u0435\u0442 \u0432\u0430\u043c \u0432\u0440\u0435\u043c\u044f.\u0427\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 PII\u2011\u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u044f\u0436\u0435\u043b\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a\u00a0\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u00a0\u0442\u0435\u043c\u0443.\u0417\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043d\u0430\u0439\u0442\u0438 \u0432\u00a0\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438: \u0438\u043c\u0435\u043d\u0430, \u0430\u0434\u0440\u0435\u0441\u0430, \u0442\u0435\u043b\u0435\u0444\u043e\u043d\u044b, \u043f\u043e\u0447\u0442\u044b, \u043d\u043e\u043c\u0435\u0440\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0438 \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 \u043f\u043e\u00a0\u0442\u0435\u043a\u0441\u0442\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u0435\u043d \u043e\u043d \u0438\u043b\u0438\u00a0\u043d\u0435\u0442. \u041f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c\u00a0\u2014 \u044d\u0442\u043e NER, \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0412\u0442\u043e\u0440\u0430\u044f\u00a0\u2014 \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f.\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 NER\u2011\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0442\u0430\u043a: \u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u043f\u043e\u0432\u0435\u0440\u0445 \u043d\u0435\u0433\u043e \u0433\u043e\u043b\u043e\u0432\u0430 \u043d\u0430\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u043f\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c. \u041d\u043e\u00a0\u0434\u043b\u044f\u00a0guard\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043d\u0430\u0431\u043e\u0440 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u043a\u00a0\u043a\u043b\u0438\u0435\u043d\u0442\u0443 \u0438 \u043e\u0442\u00a0\u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0430 \u043a\u00a0\u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0443, \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u0435 \u0442\u0430\u043a\u043e\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f zero\u2011shot: \u0442\u0438\u043f\u044b \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0432\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0441\u0430\u043c\u043e\u043c \u0432\u0445\u043e\u0434\u0435, \u0447\u0442\u043e\u00a0\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442. \u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u0432\u0445\u043e\u0434 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a:[ENT] person [ENT] address [ENT] email [ENT] phone [SEP] Send $500 to John Smith at john.smith@gmail.com\u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0432\u0441\u044e \u044d\u0442\u0443 \u0441\u043a\u043b\u0435\u0439\u043a\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0438 \u043d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0432\u00a0\u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043c\u0435\u0442\u043e\u043a \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u043f\u0430\u043d\u044b (\u043f\u043e\u0434\u0441\u0442\u0440\u043e\u043a\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b), \u043f\u043e\u0441\u043b\u0435 \u0441\u0442\u0440\u043e\u0438\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043f\u0430\u043d\u0430 \u0438\u0437\u00a0\u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0435\u0433\u043e \u043a\u0440\u0430\u0439\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0441\u043a\u043e\u0440\u0438\u0442 \u0441\u043f\u0430\u043d \u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0435\u0442\u043a\u0438. \u0421\u043a\u043e\u0440 \u0432\u044b\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430\u00a0\u2014 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u0430.\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u043d\u0436\u0435\u043a\u0442\u0438\u0442\u0441\u044f \u0442\u0443\u0434\u0430\u00a0\u0436\u0435 \u0438 \u0442\u0435\u043c\u00a0\u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u043c\u0435\u0442\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u043a\u0443\u0441\u043a\u043e\u043c \u0432\u0445\u043e\u0434\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0434\u0430\u0435\u0442 \u0438 \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043f\u0435\u0440\u0441\u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 \u0437\u0430\u00a0\u043e\u0434\u0438\u043d forward pass.\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u043b\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0438\u0431\u043a\u043e\u0439, \u043d\u0430\u0431\u043e\u0440 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0440\u044f\u043c\u043e \u0432\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0435, \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u041d\u043e\u00a0\u0437\u0430\u00a0\u044d\u0442\u0443 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044c. \u0414\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043e\u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0441\u0435\u043c\u044c \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439:1. \u0424\u043e\u0440\u043c\u0430 \u0432\u0445\u043e\u0434\u0430 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043a\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0443. \u0414\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0441\u0445\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0430\u043a\u0436\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u0414\u043b\u044f\u00a0\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u0438 \u044d\u0442\u043e \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439. TensorRT \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u0444\u043e\u0440\u043c\u0430 \u0432\u0445\u043e\u0434\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438 \u043f\u043e\u0434\u00a0\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u044f\u0434\u0440\u0430. \u041f\u0440\u0438\u00a0\u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u0438 min\/opt\/max, \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0432\u0445\u043e\u0434\u044b \u043f\u0430\u0434\u0434\u0438\u043d\u0433\u043e\u043c \u0438\u043b\u0438\u00a0\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 engine \u043f\u043e\u0434\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u044b. CUDA Graphs \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435\u00a0\u0436\u0435\u0441\u0442\u043a\u043e\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u00a0\u2014 \u0433\u0440\u0430\u0444 \u0437\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u044b \u0432\u0445\u043e\u0434\u0430. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u00a0\u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 \u043d\u0435\u00a0\u043c\u043e\u0433\u0443\u0442 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u042d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437\u00a0\u043f\u0440\u0438\u0447\u0438\u043d \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0445\u043e\u0434\u0430 \u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u0432\u00a0\u0442\u0440\u0435\u043a\u0435 \u043f\u0440\u043e\u00a0vLLM.2. \u041d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u0435 \u043d\u0435\u00a0\u0442\u0435\u043d\u0437\u043e\u0440. \u041f\u043e\u0441\u043b\u0435 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u0442\u0430\u043f span\u2011\u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0430: \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u043e\u00a0\u043f\u043e\u0440\u043e\u0433\u0443, \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u043f\u0430\u043d\u0430\u043c\u0438, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0432\u00a0\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u00a0\u0442\u0438\u043f\u0430\u043c. \u042d\u0442\u0430 \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0CPU \u0438 \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430\u00a0GPU \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u00a0\u0432\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0444 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0442\u00a0\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435.3. \u0412\u00a0\u0433\u0440\u0430\u0444\u0435 \u0435\u0441\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u0420\u0430\u0431\u043e\u0442\u0430 \u0441\u043e \u0441\u043f\u0430\u043d\u0430\u043c\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 gather \u043f\u043e\u00a0\u043f\u0430\u0440\u0430\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u00ab\u043d\u0430\u0447\u0430\u043b\u043e\u00a0\u2014 \u043a\u043e\u043d\u0435\u0446\u00bb, \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0438 \u0431\u0438\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0441\u043a\u043e\u0440\u0438\u043d\u0433 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a. \u042d\u043a\u0441\u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0444 \u0432\u00a0ONNX \u043c\u043e\u0436\u043d\u043e, \u043d\u043e\u00a0\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 INT8-\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0438 \u0441\u0432\u0435\u0440\u0442\u043a\u0438, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043c\u0435\u044e\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044f\u0434\u0440\u0430 \u0434\u043b\u044f\u00a0\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0432\u0435\u0440\u0445 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430.\u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u0441\u0435 \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u0432\u0448\u0438\u0435\u0441\u044f INT8-\u043f\u0443\u0442\u0438 \u043d\u0438\u0436\u0435.4. \u0423\u00a0\u0431\u044d\u043a\u0431\u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 attention. \u041c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0431\u044d\u043a\u0431\u043e\u043d\u044b \u0441\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u0435\u0433\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u043e. \u0414\u043b\u044f\u00a0NER \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e: \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0447\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0412\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0\u044d\u0442\u0438\u043c \u0441\u00a0\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0442\u0430\u043a\u043e\u0439 attention \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0414\u043b\u044f\u00a0\u043d\u0435\u0433\u043e \u043d\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e fused\u2011\u044f\u0434\u0440\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u043d\u0430 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0433\u0440\u0430\u0444\u0435 \u0432\u00a0\u043d\u0430\u0431\u043e\u0440 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 GPU\u2011\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0441\u00a0\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438 \u044f\u0434\u0435\u0440 \u0438 \u043e\u0431\u043c\u0435\u043d\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043b\u043a\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0439\u00a0\u0431\u044b\u0441\u0442\u0440\u043e\u0439. \u042d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u043b\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0440\u0435\u043a\u0430 \u0441\u00a0Flash DeBERTa.5. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0431\u0430\u0442\u0447\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0441\u0430\u043c\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442. \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e \u043f\u043e\u00a0\u0434\u043b\u0438\u043d\u0435, \u043f\u0430\u0434\u0434\u0438\u043d\u0433 \u0438\u0434\u0435\u0442 \u0434\u043e\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0432\u00a0\u0431\u0430\u0442\u0447\u0435. \u0423\u00a0\u0434\u0435\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0440\u0435\u0448\u0435\u043d\u0430 continuous batching: \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u0445\u043e\u0434\u044f\u0442 \u0438 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0438\u0437\u00a0\u0431\u0430\u0442\u0447\u0430 \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043d\u0435\u00a0\u0436\u0434\u0443\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0445. \u0423\u00a0\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u00a0\u2014 \u0432\u044b\u0439\u0442\u0438 \u0438\u0437\u00a0\u0431\u0430\u0442\u0447\u0430 \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043d\u0435\u0433\u043e \u043d\u0435\u043b\u044c\u0437\u044f. \u041e\u0434\u0438\u043d \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043d\u0430\u00a0\u043f\u044f\u0442\u044c\u0441\u043e\u0442 \u0441\u043b\u043e\u0432 \u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0448\u0435\u0441\u0442\u044c\u0434\u0435\u0441\u044f\u0442 \u0442\u0440\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0440\u0430\u0449\u0438\u0432\u0430\u043d\u0438\u0435 \u0431\u0430\u0442\u0447\u0430 \u0434\u043e 64\u00a0\u0443\u0445\u0443\u0434\u0448\u0438\u043b\u043e \u0445\u0432\u043e\u0441\u0442\u044b, \u043d\u0435\u00a0\u0443\u043b\u0443\u0447\u0448\u0438\u0432 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u0430\u00a0\u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0441\u0442\u0430\u043b \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0438\u0436\u0435.6. \u0412\u0441\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0430 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041c\u043d\u043e\u0433\u0438\u0435 serving\u2011\u0434\u0432\u0438\u0436\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u044b \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f\u00a0\u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0445 LLM. \u041e\u043d\u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442 KV\u2011\u043a\u044d\u0448\u0435\u043c, \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 prefill \u0438 decode, \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0432\u0440\u0435\u043c\u044f \u0434\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.\u0423 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041e\u043d \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0445\u043e\u0434, \u0434\u0435\u043b\u0430\u0435\u0442 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434 \u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0424\u0430\u0437\u044b decode \u0443\u00a0\u043d\u0435\u0433\u043e \u043d\u0435\u0442, \u0430\u00a0KV\u2011\u043a\u044d\u0448 \u0434\u043b\u044f\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0430\u0441\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u0437\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043f\u043b\u0430\u0442\u0438\u043c \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430, \u0432\u00a0\u0442\u0430\u043a\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438\u00a0\u043b\u0438\u0431\u043e \u043d\u0435\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f,\u00a0\u043b\u0438\u0431\u043e \u043d\u0435\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0440\u043e\u0444\u0438\u043b\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438.7. \u0426\u0435\u043b\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0438\u0437\u2011\u0437\u0430 \u043c\u0435\u0441\u0442\u0430 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412\u00a0\u043e\u0431\u044b\u0447\u043d\u043e\u043c LLM\u2011\u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0435 \u043a\u0430\u043a\u00a0\u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 throughput\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0437\u0430\u00a0\u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0414\u043b\u044f\u00a0guard\u2011\u0441\u043b\u043e\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043e\u043d \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0443\u0442\u0438 \u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0430\u0436\u0434\u044b \u0437\u0430\u00a0\u043e\u0434\u0438\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0445\u043e\u0434. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0432\u0445\u043e\u0434\u0430 \u0438 \u0432\u044b\u0434\u0430\u0447\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0436\u0434\u0435\u0442 \u04252. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043a\u0440\u043e\u043c\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e RPS, \u043a\u0440\u0430\u0439\u043d\u0435 \u0432\u0430\u0436\u043d\u044b \u0445\u0432\u043e\u0441\u0442\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f latency\u00a0\u2014 \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e P95\u00a0\u0438 P99. \u0414\u0430\u0436\u0435 \u0440\u0435\u0434\u043a\u0438\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.\u0418\u0442\u0430\u043a, \u043d\u0438\u0436\u0435 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0443\u0447\u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043d\u044e\u0430\u043d\u0441\u044b \u0438 \u043d\u0430\u0439\u0442\u0438 \u043e\u0434\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435.\u00a0\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0427\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435\u00a0\u0431\u044b\u043b\u043e \u0447\u0435\u0441\u0442\u043d\u044b\u043c \u0445\u043e\u0442\u044f\u00a0\u0431\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0432\u043e\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u044f \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u043e\u0431\u0449\u0443\u044e \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044e.\u0411\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u043e\u0432 \u0434\u0432\u0430, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u044f \u0431\u0443\u0434\u0443 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c, \u0441\u00a0\u043a\u0430\u043a\u0438\u043c \u0438\u0437\u00a0\u043d\u0438\u0445 \u0438\u0434\u0451\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435:litserve-torch\u00a0\u2014 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430\u00a0LitServe \u043f\u043e\u0432\u0435\u0440\u0445 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c PyTorch\u2011\u0444\u043e\u0440\u043c\u0430\u0442\u0435, 185.3\u00a0RPS. \u041f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0434\u0430\u0435\u0442 \u0433\u043e\u043b\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u043d\u0433 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0432\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0442\u0440\u0435\u043a\u043e\u0432).litserve-onnx-trt\u00a0\u2014 \u0442\u0430\u00a0\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0440\u0435\u0437 ONNX + TensorRT \u043f\u043e\u0434\u00a0\u0442\u0435\u043c\u00a0\u0436\u0435 serving\u2011\u0441\u043b\u043e\u0435\u043c, 193.6\u00a0RPS (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043a\u0430\u043a\u00a0baseline \u0432\u00a0\u0442\u0440\u0435\u043a\u0435 Ray Serve). \u041f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0442\u043e\u043b\u043e\u043a, \u0434\u043e\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0439\u0442\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437\u00a0\u0441\u043c\u0435\u043d\u044b serving\u2011\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430.LitServe \u0432\u044b\u0431\u0440\u0430\u043d \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u043e\u043d \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u00a0\u043f\u043e\u043b\u0447\u0430\u0441\u0430 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0438\u00a0\u2014 \u044d\u0442\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u00ab\u043f\u0440\u043e\u0441\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u00a0HTTP\u00bb. \u041b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0438\u043b\u0438\u00a0\u043f\u043e\u0442\u0435\u0440\u044f \u0432\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0440\u0435\u043a\u0430\u0445 \u0434\u0430\u043b\u044c\u0448\u0435 \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u0432\u043a\u043b\u0430\u0434 \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430, \u0430\u00a0\u043d\u0435\u00a0\u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b.\u0423\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e baseline \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0442\u0430\u043a:\u041a\u043e\u0434 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u0430 \u0438 \u0444\u043e\u0440\u043c\u0430\u0442 API@app.post(&#171;\/predict&#187;)def predict(req: GuardRequest):\u00a0\u00a0\u00a0\u00a0text = req.text\u00a0\u00a0\u00a0\u00a0schema = (\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0model.create_schema()\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0.entities(entity_types=[&#171;person&#187;, &#171;address&#187;, &#171;email&#187;, &#171;phone&#187;], threshold=0.4)\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0.classification(task=&#187;safety&#187;, labels=[&#171;safe&#187;, &#171;unsafe&#187;])\u00a0\u00a0\u00a0\u00a0)\u00a0\u00a0\u00a0\u00a0result = model.batch_extract(\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0texts=[text],\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0schemas=schema,\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0batch_size=1,\u00a0\u00a0\u00a0\u00a0)[0]\u00a0\u00a0\u00a0\u00a0return result\u0424\u043e\u0440\u043c\u0430\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u00a0\u0431\u044b\u043b \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u043c:{\u00a0\u00a0&#171;text&#187;: &#171;Send $500 to John Smith at john.smith@gmail.com&#187;}\u041e\u0442\u0432\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u0434\u0432\u0435 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0447\u0430\u0441\u0442\u0438:\u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 PII\u2011\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439\u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e safety\u2011\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430\u0421\u044b\u0440\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435\u00a0\u2014 \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439:\u00a0{\u00a0&#171;entities&#187;: [\u00a0\u00a0\u00a0{\u00a0\u00a0\u00a0\u00a0\u00a0&#171;text&#187;: &#171;John Smith&#187;,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;label&#187;: &#171;person&#187;,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;start&#187;: 13,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;end&#187;: 23,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;score&#187;: 0.91\u00a0\u00a0\u00a0},\u00a0\u00a0\u00a0{\u00a0\u00a0\u00a0\u00a0\u00a0&#171;text&#187;: &#171;john.smith@gmail.com&#187;,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;label&#187;: &#171;email&#187;,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;start&#187;: 27,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;end&#187;: 47,\u00a0\u00a0\u00a0\u00a0\u00a0&#171;score&#187;: 0.97\u00a0\u00a0\u00a0}\u00a0],\u00a0&#171;safety&#187;: &#171;unsafe&#187;}\u0414\u043b\u044f\u00a0API \u0442\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u00a0\u0442\u0438\u043f\u0430\u043c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439:{\u00a0\u00a0&#171;entities&#187;: {\u00a0\u00a0\u00a0\u00a0&#171;person&#187;: [&#171;John Smith&#187;],\u00a0\u00a0\u00a0\u00a0&#171;address&#187;: [],\u00a0\u00a0\u00a0\u00a0&#171;email&#187;: [&#171;john.smith@gmail.com&#187;],\u00a0\u00a0\u00a0\u00a0&#171;phone&#187;: []\u00a0\u00a0},\u00a0\u00a0&#171;safety&#187;: &#171;unsafe&#187;}\u0414\u0430\u043d\u043d\u044b\u0435. \u0414\u0432\u0430 \u0444\u0430\u0439\u043b\u0430 \u043f\u043e 500\u00a0\u0441\u0442\u0440\u043e\u043a: \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u0435\u043a\u0441\u0442\u044b \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0433\u0440\u044f\u0437\u043d\u044b\u0435\u00a0\u2014 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u00a0\u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0430\u043c\u0438,\u00a0\u043b\u0438\u0448\u043d\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438 \u043e\u0431\u0440\u044b\u0432\u043a\u0430\u043c\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432. \u0414\u043b\u0438\u043d\u0430 \u043e\u0442 128\u00a0\u0434\u043e 536\u00a0\u0441\u043b\u043e\u0432, \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c ~ 320. \u0414\u043b\u044f\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u2011\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u044d\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e: \u0434\u043b\u0438\u043d\u0430 \u0438 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0431\u044c\u044e\u0442 \u043f\u043e\u00a0latency, \u0430\u00a0\u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0447\u0438\u0441\u0442\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u043b\u044e\u0431\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e.\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430Regarding container orchestration with Kubernetes, there are several important aspects to consider. The serialization format was chosen for its compact size and fast encoding and decoding. Input sanitization prevents injection attacks by escaping special characters in user data&#8230;Regarding microservices communication, there are several important aspects to consider. Chaos engineering experiments validate system resilience by injecting controlled failures. The API gateway handles request routing, authentication, and protocol translation&#8230;\u0421\u0442\u0435\u043d\u0434&#8230;.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-489866","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/489866","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=489866"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/489866\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=489866"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=489866"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=489866"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}