{"id":362756,"date":"2024-05-21T01:41:35","date_gmt":"2024-05-21T01:41:35","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=362756"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-05-21T01:41:35","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=362756","title":{"rendered":"<span>Observability. \u0427\u0430\u0441\u0442\u044c 1, \u043f\u0440\u043e \u043b\u043e\u0433\u0438<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/41f\/b95\/9fe\/41fb959fec21ad34bac82ce5fd2593a6.jpg\" width=\"1280\" height=\"731\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41f\/b95\/9fe\/41fb959fec21ad34bac82ce5fd2593a6.jpg\" data-blurred=\"true\"\/><\/figure>\n<p><em>&#171;\u041f\u0438\u0440\u0430\u0442\u044b \u0436\u0443\u0440\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u043e\u0440\u044f&#187;<\/em><\/p>\n<p><em>\u0410\u0432\u0442\u043e\u0440 \u2014 \u0418\u0433\u043e\u0440\u044c \u041e\u0432\u0441\u044f\u043d\u043d\u0438\u043a\u043e\u0432, \u0434\u0435\u043a\u0430\u0431\u0440\u044c 2023 \u0433. DevOps \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0432 <\/em><a href=\"http:\/\/GFN.AM\"><em>GFN.AM<\/em><\/a><em>, \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u0443\u0440\u0441\u0430 DevOps \u0432 OTUS.<\/em><\/p>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u0440\u0435\u0448\u0430\u044f \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442 \u0438\u043b\u0438 \u0430\u0432\u0430\u0440\u0438\u044e \u0432 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435, \u044f \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0441\u044f: \u0430 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0431\u044b\u043b\u043e \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c? \u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u0431\u044b\u043b\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435, \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e, \u0430 \u043d\u0435 \u043e\u0442 \u043d\u0435\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432? \u0421\u0435\u0439\u0447\u0430\u0441 \u044f \u0441\u0447\u0438\u0442\u0430\u044e, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e, \u0441 \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u043e\u043c \u0438 observability pipelines.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u2014 \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0446\u0438\u043a\u043b\u0430 \u0441\u0442\u0430\u0442\u0435\u0439 \u043e \u0442\u043e\u043c, \u0438\u0437 \u0447\u0435\u0433\u043e \u0438 \u043a\u0430\u043a \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 <em>\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u0438<\/em> \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b. \u0412 \u043f\u0435\u0440\u0432\u044b\u0445 \u0447\u0430\u0441\u0442\u044f\u0445 \u044f \u0431\u0443\u0434\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043e \u043b\u043e\u0433\u0430\u0445, \u043a\u0430\u043a\u0438\u0435 \u043e\u043d\u0438 \u0431\u044b\u0432\u0430\u044e\u0442, \u0438 \u043a\u0430\u043a \u0438\u0445 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<h2>\u041f\u0440\u043e \u043b\u043e\u0433\u0438<\/h2>\n<p>\u042d\u0442\u043e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0442\u0435\u043a\u0441\u0442\u0430. \u041f\u043e\u0436\u0430\u043b\u0443\u0439, \u043f\u0435\u0440\u0432\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0435\u0440\u0435\u0433\u043e\u0440\u0435\u0432\u0448\u0438\u0445 \u043b\u0430\u043c\u043f \u0432 \u043b\u0430\u043c\u043f\u043e\u0432\u044b\u0445 \u042d\u0412\u041c \u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043b\u043e\u0433\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0438\u0448\u0443\u0442\u0441\u044f \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u043a\u0430\u043a \u0442\u0430\u043a\u043e\u0432\u043e\u0433\u043e \u043d\u0435\u0442: \u0414\u0430, \u0435\u0441\u0442\u044c \u043e\u0442\u043c\u0435\u0442\u043a\u0430 \u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043d\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a Unix timestamp, \u0442\u0430\u043a \u0438 \u0434\u0430\u0442\u0430 \u0432 ISO 8601 \/ RFC 3339. \u0412 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043a\u0430\u0445? \u0414\u0430, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0430\u043a! \u0410 \u0442\u0443\u0442 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u044f \u043f\u043e\u0442\u043e\u043a\u0430. \u0418 \u0437\u0430\u0442\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u041e, \u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0431\u0443\u0434\u0435\u043c \u043f\u0438\u0441\u0430\u0442\u044c \u0443\u0436\u0435 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435! \u0418 \u0435\u0449\u0451 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a, \u043d\u0443, \u0447\u0442\u043e\u0431\u044b \u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0431\u044b\u043b\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435! \u041e\u041a, \u0435\u0441\u0442\u044c syslog, \u0435\u0441\u0442\u044c Journald log. \u041d\u043e \u044d\u0442\u043e \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0438 \u0438\u0437 \u0434\u0435\u0441\u044f\u0442\u043a\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u0432, \u0438 \u043b\u0443\u0447\u0448\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0432\u0440\u044f\u0434 \u043b\u0438 \u043a\u043e\u0433\u0434\u0430-\u043b\u0438\u0431\u043e \u0441\u0442\u0430\u043d\u0435\u0442 (\u0441\u043c. <a href=\"https:\/\/xkcd.com\/927\/\"><u>xkcd 927<\/u><\/a>).<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0443\u043c\u0430\u0442\u044c\u0441\u044f, \u043d\u0443\u0436\u043d\u044b \u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u044b \u043b\u043e\u0433\u043e\u0432 \u0438\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442 \u0432 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430\u0445, \u0435\u0441\u043b\u0438 \u043b\u043e\u0433\u0430\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c. \u042d\u0442\u043e, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u043e \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b. \u041a\u0442\u043e \u0443 \u0432\u0430\u0441 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c \u043b\u043e\u0433\u043e\u0432 \u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0438\u043b\u0438 Ops-\u044b \u0438 SRE? \u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043b\u043e\u0433 \u0447\u0435\u0440\u0435\u0437 println, \u0437\u043d\u0430\u0447\u0438\u0442, \u0435\u043c\u0443 \u0442\u0430\u043a \u0443\u0434\u043e\u0431\u043d\u043e. \u0415\u0441\u043b\u0438 \u043b\u043e\u0433\u0430\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0442\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u0430\u043c\u0438 \u043e \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442\u0435 \u043b\u043e\u0433\u043e\u0432. \u0427\u0442\u043e\u0431\u044b \u0435\u0441\u043b\u0438 \u0431\u044d\u043a\u0435\u043d\u0434 \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0438\u043b\u0441\u044f \u043f\u0440\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043a \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0442\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u043b\u0441\u044f \u0431\u044b \u0438 URL \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0422\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0431\u0438\u043b\u043b\u0438\u043d\u0433 \u044d\u0442\u043e \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f \ud83d\ude42<\/p>\n<p>\u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043f\u0440\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430\u0445 \u0438 \u043e\u0431\u0449\u0438\u0445 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430\u0445 \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0438\u0432\u0451\u0442\u0441\u044f \u043b\u0435\u0433\u0447\u0435. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u043a\u0435 \u043b\u043e\u0433\u043e\u0432 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u0411\u0414.<\/p>\n<h2>\u041b\u0430\u043d\u0434\u0448\u0430\u0444\u0442 \u0441\u0438\u0441\u0442\u0435\u043c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, 2023 \u0433\u043e\u0434<\/h2>\n<p>\u0425\u043e\u043b\u0441\u0442, Open Source, \u043c\u0430\u0441\u043b\u043e<\/p>\n<p>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0441\u0442\u0435\u043a \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0442\u0440\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430: \u0441\u0431\u043e\u0440\u0449\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440\u044b), \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 (\u0421\u0423\u0411\u0414 \u0438 \u043f\u043e\u043b\u0443\u0421\u0423\u0411\u0414), \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u043e\u0432, \u043f\u043b\u044e\u0441 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0430\u043b\u0435\u0440\u0442\u0438\u043d\u0433. \u041d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432\u0441\u0435 \u0442\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438\u0437 \u043c\u0438\u0440\u0430 OSS, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043d\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b.<\/p>\n<p>\u0421\u0431\u043e\u0440\u0449\u0438\u043a\u0438 \u043b\u043e\u0433\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>Logstash;<\/p>\n<\/li>\n<li>\n<p>Fluentd;<\/p>\n<\/li>\n<li>\n<p>Fluent bit;<\/p>\n<\/li>\n<li>\n<p>Vector;<\/p>\n<\/li>\n<li>\n<p>Filebeat;<\/p>\n<\/li>\n<li>\n<p>Elastic Agent;<\/p>\n<\/li>\n<li>\n<p>Promtail.<\/p>\n<\/li>\n<\/ul>\n<p>\u0425\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430:<\/p>\n<ul>\n<li>\n<p>Elasticsearch<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>Object storage (S3, minio, etc);<\/p>\n<\/li>\n<li>\n<p>Kafka;<\/p>\n<\/li>\n<li>\n<p>ClickHouse;<\/p>\n<\/li>\n<li>\n<p>Grafana Loki;<\/p>\n<\/li>\n<li>\n<p>Manticore Search;<\/p>\n<\/li>\n<li>\n<p>PostgreSQL;<\/p>\n<\/li>\n<li>\n<p>HDFS.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>Kibana;<\/p>\n<\/li>\n<li>\n<p>Grafana;<\/p>\n<\/li>\n<li>\n<p>Metabase;<\/p>\n<\/li>\n<li>\n<p>Redash;<\/p>\n<\/li>\n<li>\n<p>Apache Superset;<\/p>\n<\/li>\n<li>\n<p>DataLens.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0447\u0438\u0442\u0430\u0435\u0442\u0435, \u043b\u0438\u0448\u044c \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u0446\u0438\u043a\u043b\u0430 \u0441\u0442\u0430\u0442\u0435\u0439 Observability. \u0417\u0434\u0435\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b:<\/p>\n<ul>\n<li>\n<p>Fluent bit;<\/p>\n<\/li>\n<li>\n<p>Vector;<\/p>\n<\/li>\n<li>\n<p>Elasticsearch \u0438 Kibana;<\/p>\n<\/li>\n<li>\n<p>Loki \u0438 Grafana.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>Promtail \u0438 Loki;<\/p>\n<\/li>\n<li>\n<p>Loki (\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432);<\/p>\n<\/li>\n<li>\n<p>Fluent bit\/Vector\/Promtail \u0438 Loki (JSON);<\/p>\n<\/li>\n<li>\n<p>Logstash + Elasticsearch;<\/p>\n<\/li>\n<li>\n<p>Fluentd + Elasticsearch;<\/p>\n<\/li>\n<li>\n<p>Filebeat \u0438 Elastic Agent + Elasticsearch.<\/p>\n<\/li>\n<\/ul>\n<p>\u0410 \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u043e\u0441\u043e\u0431\u044b\u0435 \u0433\u043e\u0441\u0442\u0438: \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<ol>\n<li>\n<p>Feeder, \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430 Go, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0447\u0438\u0442\u0430\u0435\u0442 <a href=\"https:\/\/spansh.co.uk\/dumps\"><u>\u0434\u0430\u043c\u043f \u0433\u0430\u043b\u0430\u043a\u0442\u0438\u043a\u0438<\/u><\/a> \u0438\u0437 \u0438\u0433\u0440\u044b Elite: Dangerous \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c Spansh, \u0438 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u0432 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0434\u043b\u044f \u043b\u043e\u0433\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <a href=\"https:\/\/pkg.go.dev\/log\"><u>log<\/u><\/a> \u0438\u0437 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>Statistics, \u0432\u0435\u0431-\u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430 Ktor, Kotlin-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435. \u041e\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 JSON-\u044b \u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0445, \u0432\u044b\u0434\u0430\u0432\u0430\u044f \u0432 \u043b\u043e\u0433\u0438 \u043e\u0431\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043b\u0430\u043d\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0432\u0451\u0437\u0434, \u0438 \u0442.\u043f.). \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 JVM-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 SLF4J \u0438 Logback.<\/p>\n<\/li>\n<li>\n<p>Storage, \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 Kafka. \u041d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 Flask, Python-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u043f\u043e\u0447\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0438. Feeder, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0435\u043b\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439, \u0438 \u0431\u044b\u0441\u0442\u0440\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043b\u0438\u043c\u0438\u0442\u044b HTTP-\u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u0410 \u0441\u0435\u0440\u0432\u0438\u0441 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u043a\u0438\u0434\u0430\u0442\u044c \u0441\u0442\u0435\u043a\u0442\u0440\u0435\u0439\u0441\u044b, \u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u043a\u0438\u0434\u0430\u0435\u0442 Error-\u044b, \u0435\u0441\u043b\u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442 \u0432 JSON \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435 \u0447\u0451\u0440\u043d\u043e\u0439 \u0434\u044b\u0440\u044b. \u0418 \u0443 storage-\u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0441\u0432\u043e\u0438 \u201c\u043f\u0440\u0438\u043a\u043e\u043b\u044b\u201d. \u042d\u0442\u043e \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0432 \u0446\u0435\u043b\u044f\u0445 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 Compose \u0444\u0430\u0439\u043b\u043e\u0432, \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<h3>Fluent bit<\/h3>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445, \u0435\u0441\u043b\u0438 \u0435\u0449\u0451 \u043d\u0435 \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439, \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440 \u043b\u043e\u0433\u043e\u0432 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c. \u042f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u043a\u043e\u043c Fluentd, \u043e\u0434\u043d\u0430\u043a\u043e \u043a\u043e\u0433\u0434\u0430 Fluentd \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 Ruby, Fluent bit \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 \u0421\u0438. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u043c\u0430\u043b\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432. \u041c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c, \u0432 \u0442\u0435\u043e\u0440\u0438\u0438, \u0431\u0430\u0433\u0438 \u0438 \u0443\u044f\u0437\u0432\u0438\u043c\u043e\u0441\u0442\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u043c\u043d\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u043e\u0441\u044c \u0437\u0430 \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u0440\u044c\u0435\u0440\u044b \u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430.<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u044f \u0441\u043a\u0430\u0437\u0430\u043b \u201c\u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440 \u043b\u043e\u0433\u043e\u0432\u201d. \u042d\u0442\u043e \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u0432\u0435\u0440\u043d\u043e \u0438 \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u043d\u0435\u0442. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0433\u043e \u0437\u043d\u0430\u044e\u0442 \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 \u0441\u0438\u0441\u0442\u0435\u043c. \u041d\u043e \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 2.0 \u043e\u043d \u0443\u0436\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u0442\u0440\u0435\u0439\u0441\u044b, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u043e\u043c \u0441\u0431\u043e\u0440\u0430 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0438 (\u043d\u0435 \u043f\u0443\u0442\u0430\u0442\u044c \u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0435\u0439, \u0443 \u043d\u0430\u0441 \u0437\u0434\u0435\u0441\u044c \u0440\u0435\u0447\u044c \u043f\u0440\u043e \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u044e \u043e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c).<\/p>\n<p>\u0418\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0432 conf-\u0444\u0430\u0439\u043b\u0430\u0445. \u041d\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433 \u043d\u0430 YAML, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c, \u043f\u043e \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c, \u0444\u0430\u0439\u043b\u0430 \u0441 \u043f\u0430\u0440\u0441\u0435\u0440\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 Lua \u0438 WASM.<\/p>\n<\/li>\n<li>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u043b\u0430\u0433\u0438\u043d\u043e\u0432 \u0432\u0432\u043e\u0434\u0430: \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0439 \u043f\u0430\u0440\u0441\u0435\u0440 nginx stats, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0451\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, OpenTelemetry input, \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 node exporter \u0438 process exporter (\u043d\u0435 \u043d\u0430\u0434\u043e \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u0438\u043d\u0430\u0440\u0438 \u043e\u0442 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 Prometheus!), \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0436\u0435 \u0441\u0431\u043e\u0440 \u0438\u0437 WASI-\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438 \u043f\u0440\u043e input-\u044b: \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u043c\u043d\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u201c\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u201d \u0443\u043c\u0435\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043b\u043e\u0433\u0438 \u0441 \u043f\u043e\u0434\u043e\u0432 \u0432 Kubernetes, \u043d\u043e \u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 (\u043a\u043e\u0442\u043e\u0440\u044b\u0435 kubectl get events).<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 output-\u044b: \u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Prometheus remote write, \u0432 OpenTelemetry protocol, PostgreSQL, Kafka, \u0438 Loki.<\/p>\n<\/li>\n<\/ul>\n<p>\u041b\u0438\u0447\u043d\u044b\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f \u043e\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u201c\u0431\u0438\u0442\u043e\u043c\u201d \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0435\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u043e\u0434 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0432 \u043f\u043b\u0430\u043d\u0435 \u0431\u0443\u0444\u0435\u0440\u043e\u0432, \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u0438\u0445 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0439 \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0437\u0434\u043e\u0440\u043e\u0432\u043e.<\/p>\n<h3>Vector<\/h3>\n<p>\u0422\u043e\u0436\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u043a\u043e\u0433\u0434\u0430 \u0446\u0435\u043b\u044c Fluent bit \u044d\u0442\u043e \u0441\u0431\u043e\u0440, \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u043a\u0430 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0438 \u0432 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, Vector \u0441\u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438. \u0422\u0430\u043a, \u0443 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0439 \u044f\u0437\u044b\u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, Vector Remap Language (VRL), \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u043c\u0438 \u0438 \u043f\u0430\u0440\u0441\u0435\u0440\u0430\u043c\u0438.<\/p>\n<p>\u0418\u0437 \u043f\u0440\u0438\u043a\u043e\u043b\u044c\u043d\u044b\u0445 \u0448\u0442\u0443\u043a \u0445\u043e\u0447\u0443 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 Rust. \u041f\u043e \u0438\u0434\u0435\u0435, \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u0435\u0435 fluent bit \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b \u043f\u043e\u0437\u0436\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0442\u0440\u0451\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440: TOML, YAML \u0438 JSON.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438: VRL-\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b, \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0438 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f, \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043b\u043e\u0433\u043e\u0432 \u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e, \u0442\u0440\u043e\u0442\u0442\u043b\u0438\u043d\u0433 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0423\u043c\u0435\u0435\u0442 \u043f\u0438\u0441\u0430\u0442\u044c \u0432 ClickHouse! \u042d\u0442\u043e \u043d\u0430\u043c \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0446\u0438\u043a\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u0441\u0432\u043e\u0439 API (GraphQL), \u0433\u0434\u0435, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043c\u043e\u0436\u043d\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f Vector \u0441\u0432\u043e\u0438\u043c\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438. \u0423 \u043d\u0435\u0433\u043e, \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u201c\u0431\u0438\u0442\u043e\u043c\u201d, \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e input-\u043e\u0432, \u0434\u0430 \u0438 \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u0435\u043b\u0430 \u043f\u043e\u0445\u0443\u0436\u0435 (\u043a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u0441\u044f \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445), \u043d\u043e VRL \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u044f\u0437\u044b\u043a \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 Lua, \u0438 \u0443\u0436\u0435 \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0443 \u043c\u0435\u043d\u044f \u0442\u0430\u0435\u0442 \u0441\u0435\u0440\u0434\u0435\u0447\u043a\u043e.<\/p>\n<h3>Elasticsearch<\/h3>\n<p>\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Elastic, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u043f\u043e\u043b\u044f\u043c \u0432 JSON-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445. \u041d\u0435\u0447\u0451\u0442\u043a\u0438\u0439 \u043f\u043e\u0438\u0441\u043a, \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c, \u043f\u043e \u043c\u0430\u0441\u043a\u0435, \u0438 \u043f\u0440\u043e\u0447\u0435\u0435, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0434\u0432\u0438\u0436\u043e\u043a Apache Lucene.<\/p>\n<p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u201c\u042d\u043b\u0430\u0441\u0442\u0438\u043a\u0430\u201d:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 JSON-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0445, \u0430 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432 alias-\u044b. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c \u0441 \u043e\u0431\u0449\u0438\u043c\u0438 \u043f\u043e\u043b\u044f\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0438\u0435\u043d\u0442\u044b \u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u043c \u043f\u043e HTTP REST API. \u042f\u0437\u044b\u043a \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 JSON \u0438 \u043e\u0442\u0442\u043e\u0433\u043e \u0432\u0435\u0441\u044c\u043c\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u043d (\u043c\u043d\u0435\u043d\u0438\u0435 \u0430\u0432\u0442\u043e\u0440\u0430).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043d\u0430 Java. \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0446\u0435\u043d\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438. \u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 &#8212; 1 \u0413\u0411. \u0414\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432 3 \u0413\u0411.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0433\u0435\u043e-\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f (cross-datacenter replication).<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u0442\u0443\u0440\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0435 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 object storage (S3 \u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438). \u0423\u0442\u0438\u043b\u0438\u0442 \u0442\u0438\u043f\u0430 pg_dump \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0423\u043c\u0435\u0435\u0442 \u0434\u0435\u043b\u0438\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439: hot, warm \u0438 cold. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0433\u043e\u0440\u044f\u0447\u0435\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439 \u043d\u0430 SSD, \u0430 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u043c \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0442\u044c \u0431\u0430\u043a\u0435\u0442 object storage.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0430\u043b\u0435\u0440\u0442\u0438\u043d\u0433, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435. \u041f\u043e\u043b\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c <a href=\"https:\/\/www.elastic.co\/elasticsearch\/features\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>.<\/p>\n<\/li>\n<\/ul>\n<p>\u042f \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043e\u0442\u043d\u043e\u0448\u0443\u0441\u044c \u043a Elasticsearch, \u0434\u0430\u0436\u0435 \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u0443\u044e \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044e. \u0418\u0437 \u0433\u0440\u0443\u0441\u0442\u043d\u043e\u0433\u043e &#8212; \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043c\u043d\u043e\u0433\u043e \u201c\u043a\u0443\u0448\u0430\u0435\u0442\u201d \u043f\u0430\u043c\u044f\u0442\u0438, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0451 \u0442\u0440\u0443\u0434\u043d\u044b\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f \u043f\u0435\u0442-\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432. \u0422\u0430\u043a, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 &#8212; \u044d\u0442\u043e 3 \u0443\u0437\u043b\u0430, \u0438 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0432\u044b\u0434\u0430\u0442\u044c \u043f\u043e 4 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438. \u0415\u0449\u0451 \u043c\u0435\u043d\u044f \u0441\u043c\u0443\u0449\u0430\u0435\u0442 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0435 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0433\u0434\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u0442\u044c S3\/Minio \u0432 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u0432\u0437\u0440\u043e\u0441\u043b\u043e\u0435 \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u044b\u043d\u043a\u0435, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0443 \u043d\u0435\u0433\u043e, \u043f\u043e \u0438\u0434\u0435\u0435, \u043c\u0430\u043b\u043e \u0431\u043e\u043b\u044f\u0447\u0435\u043a, \u043f\u0440\u043e \u043d\u0435\u0433\u043e \u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0442\u0435\u0439, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0438\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a.<\/p>\n<p>\u041f\u0440\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445: \u0432 ES \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0436\u0430\u0442\u0438\u0435 LZ4, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0436\u0435 \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u043c\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c\u0438 \u043f\u043e \u043b\u043e\u0433\u0430\u043c \u0441 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0432 \u0424\u0421 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u0431\u044b\u043b\u043e \u0432\u0441\u0435\u0433\u043e 6.6 \u0413\u0411.<\/p>\n<p>\u0410 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 DEFLATE \u043d\u0430 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0431\u044b\u043b\u043e \u0443\u0436\u0435\u2026 \u0421\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0434\u0443\u043c\u0430\u043b, \u044d\u0442\u043e \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0430, \u0438 \u043d\u0430\u0434\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0443 force merge. \u041d\u043e \u0438 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u0438\u043d\u0434\u0435\u043a\u0441\u0430! \u0418, \u043f\u043e\u0445\u043e\u0436\u0435, \u0441\u043c\u0435\u043d\u0430 \u043a\u043e\u0434\u0435\u043a\u0430 \u0441\u0436\u0430\u0442\u0438\u044f \u043d\u0430 DEFLATE <a href=\"https:\/\/gitlab.com\/gitlab-org\/gitlab\/-\/issues\/10420\"><u>\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442<\/u><\/a>.<\/p>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043e\u043f\u0438\u0441\u0430\u043d\u0430 <a href=\"https:\/\/www.elastic.co\/guide\/en\/elasticsearch\/reference\/current\/targz.html\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>, \u0435\u0441\u0442\u044c \u043a\u0430\u043a tgz, \u0442\u0430\u043a \u0438 deb\/rpm, \u0430 \u0442\u0430\u043a\u0436\u0435 Docker-\u043e\u0431\u0440\u0430\u0437\u044b. \u041e\u0442\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u043f\u0430\u043a\u0435\u0442\u044b Elasticsearch, \u043a\u0430\u043a \u0438 \u0432\u0441\u0435\u0433\u043e Elastic Stack, \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0438\u0437 \u0420\u043e\u0441\u0441\u0438\u0438 (HTTP 403). \u041d\u043e \u0435\u0441\u0442\u044c \u0438 \u043e\u0431\u0445\u043e\u0434\u043d\u044b\u0435 \u043f\u0443\u0442\u0438. \u0422\u0430\u043a, Elastic Stack \u0435\u0441\u0442\u044c \u043d\u0430 Docker Hub \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435.<\/p>\n<h3>Kibana<\/h3>\n<p>\u041f\u0440\u043e\u0434\u0443\u043a\u0442 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Elastic. \u0412 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438, Kibana \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0432\u044f\u0437\u0430\u043d\u0430 \u043d\u0430 Elasticsearch, \u0434\u043e \u0442\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438, \u0447\u0442\u043e \u043e\u043d\u0430 \u0445\u0440\u0430\u043d\u0438\u0442 \u0441\u0432\u043e\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0432 \u0442\u043e\u043c \u0436\u0435 Elasticsearch.<\/p>\n<p>Kibana <a href=\"https:\/\/github.com\/elastic\/kibana\"><u>\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043d\u0430 Typescript<\/u><\/a>, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0432\u0435\u0434\u0451\u0442\u0441\u044f <a href=\"https:\/\/github.com\/elastic\/kibana\/graphs\/contributors\"><u>\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u043f\u043e \u0441\u0435\u0439 \u0434\u0435\u043d\u044c<\/u><\/a>. \u0414\u0435\u043f\u043b\u043e\u0439 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u0435\u043d Elasticsearch.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0432\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 Kibana, \u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438, \u043d\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u044d\u0442\u0438\u0445 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0439 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f Elastic Beats \u0438\u043b\u0438 Elastic Agent. \u0415\u0435\u0435, \u0432\u0435\u043d\u0434\u043e\u0440-\u043b\u043e\u043a!<\/p>\n<p>\u0418 \u0432\u0441\u0451 \u0436\u0435, \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0440\u0443\u0442\u043e\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442, \u0445\u043e\u0442\u044f \u0431\u044b \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 ES, \u0430 \u0446\u0435\u043b\u0430\u044f IDE, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u043e \u0432\u0441\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430.<\/p>\n<p>\u041a\u0430\u043a \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430 \u0444\u0438\u0447, Kibana \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044f \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b \u043b\u043e\u0433\u0438 \u0447\u0435\u0440\u0435\u0437 Fluent bit \u0432 Elasticsearch \u0438 \u0445\u043e\u0447\u0443 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0438\u0445 as is. \u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u043c\u0435\u043d\u044e:<\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5d2\/957\/169\/5d2957169372396ca7f964fd4c74eb28.png\" width=\"681\" height=\"908\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d2\/957\/169\/5d2957169372396ca7f964fd4c74eb28.png\"\/><\/figure>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d Observability -> Logs? \u041d\u0435\u0442!<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/074\/9fb\/ad4\/0749fbad49fb6ba4cbd6a6c7e8fe42cb.png\" width=\"463\" height=\"444\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/074\/9fb\/ad4\/0749fbad49fb6ba4cbd6a6c7e8fe42cb.png\"\/><\/figure>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 Filebeat \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 Elastic-\u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 Analytics -> Discover.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/19c\/560\/844\/19c560844902cbb3649cc516ddee2d6e.png\" width=\"1600\" height=\"776\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/19c\/560\/844\/19c560844902cbb3649cc516ddee2d6e.png\"\/><\/figure>\n<p>Discover \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0445\u043e\u0440\u043e\u0448\u043e. \u041c\u043e\u0436\u043d\u043e \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u044b, \u043d\u0430 \u0432\u044b\u0431\u043e\u0440 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0434\u0432\u0430 \u044f\u0437\u044b\u043a\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, Kibana \u0438 Lucene, \u0412\u044b\u0431\u043e\u0440\u043a\u0430 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 \u043f\u043e\u043b\u044f\u043c\u0438 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0432 Kibana \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043b\u043e\u0433\u0438, \u0430 \u0434\u0435\u043b\u0430\u0442\u044c \u0446\u0435\u043b\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443, \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0430\u043c\u0438 \u043f\u043e \u043f\u043e\u043b\u044f\u043c.<\/p>\n<p>\u0412\u043e\u0442, \u043a\u0430\u043a\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0430\u0448\u0431\u043e\u0440\u0434 \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 (JSON) \u043b\u043e\u0433\u043e\u0432:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/159\/60d\/541\/15960d54105ff733c71cdf7fe6e16b9b.png\" width=\"1600\" height=\"662\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/159\/60d\/541\/15960d54105ff733c71cdf7fe6e16b9b.png\"\/><\/figure>\n<p>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u0430 \u0437\u0430\u043d\u044f\u043b\u043e \u043e\u043a\u043e\u043b\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0441\u0430. \u0412\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f \u043e\u0442 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440\u0430 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0443\u0434\u043e\u0431\u043d\u043e.<\/p>\n<h3>Grafana<\/h3>\n<p><a href=\"https:\/\/grafana.com\/oss\/grafana\/\"><u>Grafana<\/u><\/a>, \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u043e\u0432, \u0441\u0435\u0440\u0434\u0446\u0435 <a href=\"https:\/\/grafana.com\/oss\/\"><u>\u043e\u0434\u043d\u043e\u0438\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0442\u0435\u043a\u0430<\/u><\/a>. \u042f \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0441\u044f \u0441 \u201c\u0413\u0440\u0430\u0444\u0430\u043d\u043e\u0439\u201d \u0435\u0449\u0451 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043a\u0430\u0440\u044c\u0435\u0440\u044b \u0432 2016-\u043c, \u043a\u043e\u0433\u0434\u0430 Prometheus \u0435\u0449\u0451 \u043d\u0435 \u0431\u044b\u043b \u0442\u0430\u043a \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u0435\u043d, \u0438 \u0432\u0441\u0435 \u0437\u043d\u0430\u043b\u0438 \u043f\u0440\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u0441\u0442\u0435\u043a\u0443 Graphite. \u0423\u0436\u0435 \u0442\u043e\u0433\u0434\u0430 \u044f \u0431\u044b\u043b \u043f\u043e\u0440\u0430\u0436\u0451\u043d \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 Grafana \u0432 \u043f\u043b\u0430\u043d\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/161\/0cc\/a79\/1610cca79ac012489711271e3d89fbe0.png\" width=\"1600\" height=\"742\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/161\/0cc\/a79\/1610cca79ac012489711271e3d89fbe0.png\"\/><\/figure>\n<p>\u042d\u0442\u043e \u044f \u201c\u0441\u043e\u0441\u0442\u0440\u044f\u043f\u0430\u043b\u201d \u0437\u0430 \u043f\u043e\u043b\u0447\u0430\u0441\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043f\u043e HTTP-\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430\u043c \u0438\u0437 Prometheus blackbox exporter.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c0a\/ae3\/8e8\/c0aae38e876b06d141914541fa774c9a.png\" width=\"1600\" height=\"690\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c0a\/ae3\/8e8\/c0aae38e876b06d141914541fa774c9a.png\"\/><\/figure>\n<p>\u041a\u0430\u0436\u0434\u0443\u044e \u043f\u0430\u043d\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u044f\u0445: \u0446\u0432\u0435\u0442\u0430 \u043b\u0438\u043d\u0438\u0439, \u0442\u043e\u043b\u0449\u0438\u043d\u0443, \u0442\u0438\u043f \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043b\u0435\u0433\u0435\u043d\u0434\u044b (\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438\u043b\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435), \u0446\u0432\u0435\u0442\u043e\u0432\u044b\u0435 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439, \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435.<\/p>\n<p>\u0418\u0437 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0432\u043a\u0443\u0441\u043d\u0435\u043d\u044c\u043a\u043e\u0433\u043e:<\/p>\n<ul>\n<li>\n<p>Grafana \u044d\u0442\u043e \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440-\u043f\u043e\u043b\u0438\u0433\u043b\u043e\u0442: \u0432\u044b \u043c\u043e\u0436\u0435 \u0432 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 Prometheus, Loki, PostgreSQL, \u0438 \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043f\u0430\u043d\u0435\u043b\u044f\u0445 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0441\u0451. \u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e. \u0412\u0441\u0451. \u041a\u0440\u043e\u043c\u0435 \u0448\u0440\u0438\u0444\u0442\u043e\u0432, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u044b\u0431\u043e\u0440 \u043a\u0430\u043a \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0430\u043a \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u043d\u043e\u0441\u0438\u0442\u044c \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441 \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f Loki \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043c\u044b\u0448\u043a\u043e\u0439, \u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440 LogQL.<\/p>\n<\/li>\n<li>\n<p>\u0423\u0434\u043e\u0431\u043d\u044b\u0439 \u0440\u0430\u0437\u0434\u0435\u043b Explore \u0434\u043b\u044f ad-hoc \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u0438\u0437 \u043b\u044e\u0431\u043e\u0439 \u043f\u0430\u043d\u0435\u043b\u0438. \u041d\u0430 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u0435 \u0435\u0441\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a \u0441 \u043e\u0431\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0439, \u0438 \u043d\u0443\u0436\u043d\u044b \u0434\u0435\u0442\u0430\u043b\u0438? \u041d\u0430\u0436\u0438\u043c\u0430\u0435\u0442\u0435 \u043d\u0430 Explore \u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442\u0435 \u0432 \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438!<\/p>\n<\/li>\n<li>\n<p>\u0410\u043b\u0435\u0440\u0442\u0438\u043d\u0433, \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0439\u0441\u043e\u0432, \u0442\u0451\u043c\u043d\u0430\u044f \u0442\u0435\u043c\u0430, \u0438 \u043c\u043d\u043e\u0433\u043e \u0447\u0435\u0433\u043e \u0435\u0449\u0451.<\/p>\n<\/li>\n<\/ul>\n<h3>Loki<\/h3>\n<p>\u0427\u0430\u0441\u0442\u044c \u0441\u0442\u0435\u043a\u0430 Grafana. \u041f\u0440\u043e\u0435\u043a\u0442 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0432 2018-\u043c \u0433\u043e\u0434\u0443 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0431\u0440\u0430\u043b \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c, \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0443 <a href=\"https:\/\/github.com\/grafana\/loki\"><u>GitHub-\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f<\/u><\/a> 20 752 \u0437\u0432\u0435\u0437\u0434\u044b.<\/p>\n<p>\u0427\u0442\u043e \u043e \u043d\u0451\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439?<\/p>\n<ul>\n<li>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 Elasticsearch, \u041b\u043e\u043a\u0438 \u043d\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u0441\u0430\u043c\u0438 \u0441\u0442\u0440\u043e\u043a\u0438 \u043b\u043e\u0433\u043e\u0432, \u043e\u043d \u0441\u0442\u0440\u043e\u0438\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u043f\u043e\u043b\u044f\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u043c\u044f \u043f\u043e\u0434\u0430 Kubernetes, \u0438\u043b\u0438 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043b\u043e\u0433\u0430, error\/info). \u042d\u0442\u043e \u0437\u0434\u043e\u0440\u043e\u0432\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/830\/905\/286\/8309052864324efaa76c6a331176b83b.png\" width=\"947\" height=\"285\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/830\/905\/286\/8309052864324efaa76c6a331176b83b.png\"\/><\/figure>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>\u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0442\u0435\u043a\u0430\u0435\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u2014 Loki \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0434\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u0433\u043e \u0436\u0435 Elasticsearch.<\/p>\n<\/li>\n<li>\n<p>Loki \u0441\u0434\u0435\u043b\u0430\u043d \u0441 \u0438\u0434\u0435\u0435\u0439 \u201cPrometheus \u0434\u043b\u044f \u043b\u043e\u0433\u043e\u0432\u201d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u044f\u0437\u044b\u043a \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u044f\u0437\u044b\u043a \u201c\u043f\u0440\u043e\u043c\u0435\u0442\u0435\u044f\u201d.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 Prometheus,\u00a0 Loki \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u043d \u0441 \u043e\u0433\u043b\u044f\u0434\u043a\u043e\u0439 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044e: \u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 Object Storage, \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435, \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c CLI (logcli), \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u043b\u043e\u0433\u043e\u0432 \u0438\u0437 Kubernetes, \u0438 \u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 datasource \u0432 Grafana.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438<\/h2>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0431\u0443\u0434\u0435\u043c \u043d\u0430 pytest. \u041c\u044b \u0435\u0433\u043e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043a\u0430\u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f: \u0434\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u043d\u0451\u043c \u043b\u0435\u0433\u043a\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0444\u0438\u043a\u0441\u0442\u0443\u0440, \u043f\u043e\u043c\u0435\u0447\u0430\u0442\u044c \u0438\u0445 \u0438 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c. Make \u0438\u043b\u0438 pyinvoke \u043d\u0430 \u0442\u0430\u043a\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b.<\/p>\n<p>\u041d\u0443 \u043b\u0430\u0434\u043d\u043e, \u0441\u0430\u043c\u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0442\u043e\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0442\u0430\u043a\u0430\u044f (\u043f\u0440\u0438\u043c\u0435\u0440 \u0441 Fluent bit \u0438 ES): \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c Elasticsearch, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 Fluent bit \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c \u201c\u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0441\u044c, \u043a\u0430\u043a \u0434\u043e\u0447\u0438\u0442\u0430\u0435\u0448\u044c \u0434\u043e \u043a\u043e\u043d\u0446\u0430\u201d. \u041f\u043e\u043a\u0430 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f, \u043c\u044b \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u0451\u0440\u0433\u0430\u0435\u043c \u0432 \u0444\u043e\u043d\u0435 pidstat, \u043f\u0430\u0440\u0441\u0438\u043c \u0432\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 jc, \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a. \u0412 \u043a\u043e\u043d\u0446\u0435 \u0442\u0435\u0441\u0442\u043e\u0432 (\u043a\u043e\u0433\u0434\u0430 Fluent bit \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u0441\u044f) \u0432\u044b\u0434\u0430\u0451\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f RSS \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 CPU \u0432 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445. \u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0432\u043e\u0434\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443.<\/p>\n<p>\u0418\u0437 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c:<\/p>\n<ul>\n<li>\n<p>Fluent bit: \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0430 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044e \u0447\u0442\u0435\u043d\u0438\u044f \u0444\u0430\u0439\u043b\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043c\u0435\u0440\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043a\u0430\u0437\u0430\u0432 \u201cexit_on_eof: yes\u201d \u0432 input-\u0435 \u0447\u0442\u0435\u043d\u0438\u044f \u0441\u0430\u043c\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043b\u043e\u0433\u0430, \u0447\u0442\u043e \u044f \u0438 \u0441\u0434\u0435\u043b\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>Vector: \u0423 \u043d\u0435\u0433\u043e \u0442\u0430\u043a\u043e\u0439 \u043e\u043f\u0446\u0438\u0438 \u043d\u0435\u0442. \u041d\u043e \u0435\u0441\u0442\u044c GraphQL API! \u0422\u0430\u043a, \u043a \u043d\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u043e WebSocket \u0438 \u201c\u043f\u043e\u0434\u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f\u201d \u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0447\u0435\u0440\u0435\u0437 elasticsearch output \u0441\u0442\u0430\u043d\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u044b\u043c, \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u0439 \u0438 \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u0441\u0442\u044b \u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u041f\u041a \u0441 Ryzen 5600X \u0438 32\u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438. SSD &#8212; NVMe Kingston NV2 2TB, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 KDE Neon. \u041f\u0440\u0438\u0437\u043d\u0430\u044e, \u043e\u0431\u0437\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0442\u043e\u0447\u043d\u044b\u043c. \u041d\u043e \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0432\u0441\u0451 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435, \u0447\u0442\u043e\u0431\u044b \u0432\u044b \u043c\u043e\u0433\u043b\u0438 \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0442\u0435\u0441\u0442\u044b: \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0435\u0441\u0442\u044c \u0438 readme, \u0438 \u0440\u0430\u043d\u0435\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0435 pytest-\u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<h3>Fluent bit \u0438 Elasticsearch (plaintext)<\/h3>\n<p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043a fluent bit \u0434\u043b\u044f ES \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code class=\"yaml\">  outputs:   - name: es     match: app.*     host: es01     port: 9200     compress: gzip     suppress_type_name: on     http_user: elastic     http_passwd: changeme     logstash_format: yes     tls: on     tls.ca_file: \/ca\/ca\/ca.crt<\/code><\/pre>\n<p>Fluent bit \u0441 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u043d\u0435 \u0441\u043c\u043e\u0433 \u0434\u043e\u0436\u0438\u0442\u044c \u0434\u043e \u043a\u043e\u043d\u0446\u0430: \u044f \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u043b \u043b\u0438\u043c\u0438\u0442 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432 \u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 \u043d\u0430 2 \u0413\u0411, \u0438, \u043a \u043c\u043e\u0435\u043c\u0443 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u044e, \u0441\u043f\u0443\u0441\u0442\u044f \u043f\u043e\u043b\u0442\u043e\u0440\u044b \u043c\u0438\u043d\u0443\u0442\u044b \u043e\u043d \u0443\u043f\u0430\u043b \u0441 OOM-\u043a\u043e\u0434\u043e\u043c (137).<\/p>\n<p>\u0412 \u0435\u0433\u043e \u043b\u043e\u0433\u0435 \u043a\u0440\u0430\u0441\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<pre><code>[2023\/12\/04 06:00:49] [error] [output:es:es.0] HTTP status=429 URI=\/_bulk, response: {\"error\":{\"root_cause\":[{\"type\":\"es_rejected_execution_exception\",\"reason\":\"rejected execution of coordinating operation [coordinating_and_primary_bytes=212260263, replica_bytes=0, all_bytes=212260263, coordinating_operation_bytes=4143309, max_coordinating_and_primary_bytes=214748364]\"}],\"type\":\"es_rejected_execution_exception\",\"reason\":\"rejected execution of coordinating operation [coordinating_and_primary_bytes=212260263, replica_bytes=0, all_bytes=212260263, coordinating_operation_bytes=4143309, max_coordinating_and_primary_bytes=214748364]\"},\"status\":429}<\/code><\/pre>\n<p>\u041f\u043e\u0447\u0438\u0442\u0430\u0432 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e, \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432 <a href=\"http:\/\/output.es\">output.es<\/a> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 buffer_size: 16M \u0438 \u0432\u043e \u0432\u0441\u0435\u0445 input.tail mem_buf_limit: 64M.<br \/>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0435\u0440\u0432\u0438\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (max)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (max)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<\/p>\n<\/td>\n<td>\n<p align=\"left\">748.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">947.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">3238.8MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">3958.9MB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Fluent bit<\/p>\n<\/td>\n<td>\n<p align=\"left\">256.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">301.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">237.4MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">344.1MB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u0440\u0435\u043c\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438: 484.5s (0:08:04). \u041f\u043e\u0434\u0435\u043b\u0438\u0432 \u043e\u0431\u044a\u0451\u043c \u043b\u043e\u0433\u043e\u0432 (79565209) \u043d\u0430 \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0432 164 000 \u0441\u0442\u0440\u043e\u043a \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443.<br \/>\u041e\u0431\u044a\u0451\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Elasticsearch \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 6.6 \u0413\u0411.<\/p>\n<h3>Fluent bit \u0438 Elasticsearch (JSON)<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043d\u0430 \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 <a href=\"https:\/\/ndjson.org\/\"><u>ndjson<\/u><\/a>, \u0442\u043e \u043b\u043e\u0433\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c55\/6bb\/891\/c556bb891c8f3f8cbdaea342eecbf9f5.png\" width=\"522\" height=\"215\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c55\/6bb\/891\/c556bb891c8f3f8cbdaea342eecbf9f5.png\"\/><\/figure>\n<p>\u0423 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 statistics \u043e\u0431\u044a\u0451\u043c \u043b\u043e\u0433\u043e\u0432 \u0432\u044b\u0440\u043e\u0441 \u0431\u043e\u043b\u0435\u0435, \u0447\u0435\u043c \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430! \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043e\u0432\u0435\u0440\u0445\u0435\u0434\u043e\u043c JSON. \u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0442\u0443\u0442 \u043d\u0435\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044f (\u0441\u0442\u0440\u043e\u043a\u0438), \u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043d\u044b\u0445 (timestamp, logger, message\u2026), \u0443\u0436\u0435 \u043d\u0430 \u043e\u0434\u043d\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0435\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0432\u0435\u0440\u0445\u0435\u0434. \u0412\u0437\u0433\u043b\u044f\u043d\u0438\u0442\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ad5\/7b5\/f1b\/ad57b5f1b72b40ae1bdf164ce9634240.png\" width=\"1170\" height=\"631\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad5\/7b5\/f1b\/ad57b5f1b72b40ae1bdf164ce9634240.png\"\/><\/figure>\n<p>\u0410 \u043f\u043e\u0447\u0435\u043c\u0443 \u0443 feeder \u043e\u0431\u044a\u0451\u043c \u043b\u043e\u0433\u043e\u0432 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 Kotlin-\u0441\u0435\u0440\u0432\u0438\u0441\u0435 statistics \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 Logback, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0438\u0448\u0435\u0442 \u0432\u0441\u0451, \u0447\u0442\u043e \u043d\u0438 \u043f\u043e\u043f\u0430\u0434\u044f. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 Go-\u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 feeder \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 zerolog, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0438\u0448\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e timestamp, level, \u0438 \u0442\u043e, \u0447\u0442\u043e \u044f\u0432\u043d\u043e \u043f\u0440\u0438\u043a\u0430\u0436\u0435\u0448\u044c. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043b\u043e\u0433\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u0432\u0440\u043e\u0434\u0435 \u0442\u0430\u043a\u0438\u0445:<\/p>\n<pre><code class=\"json\">{\"level\":\"info\",\"service\":\"storage\",\"bytes\":3,\"time\":1701994489605,\"message\":\"response readed\"}<\/code><\/pre>\n<p>\u041b\u0430\u0434\u043d\u043e, \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043b\u0438\u0440\u0438\u043a\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0436\u0435 \u0441\u043f\u0430\u0440\u0441\u0438\u043c \u044d\u0442\u0438 \u043b\u043e\u0433\u0438 \u0438 \u0437\u0430\u043a\u0438\u043d\u0435\u043c \u0432 Elasticsearch!<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/414\/602\/6d8\/4146026d82cad3f2d59f693f8f5b5f58.png\" width=\"1159\" height=\"287\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/414\/602\/6d8\/4146026d82cad3f2d59f693f8f5b5f58.png\"\/><\/figure>\n<p>\u0412\u0440\u0435\u043c\u044f: 13 \u043c\u0438\u043d\u0443\u0442 \u0438 49 \u0441\u0435\u043a\u0443\u043d\u0434. \u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 80 921 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041a \u0441\u043b\u043e\u0432\u0443, \u0440\u0430\u0437\u043c\u0435\u0440 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 Elasticsearch \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 7.0 \u0413\u0411.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0435\u0440\u0432\u0438\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (max)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (max)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<\/p>\n<\/td>\n<td>\n<p align=\"left\">315.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">908.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">3220.3MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">4030.8MB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Fluent bit<\/p>\n<\/td>\n<td>\n<p align=\"left\">228.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">279.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">130.1MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">172.6MB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u043c\u0435\u0435\u043c:<\/p>\n<ul>\n<li>\n<p>JSON-\u043b\u043e\u0433\u0438 \u0432 \u0446\u0435\u043b\u043e\u043c \u0432\u0435\u0441\u044f\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0430 \u0438\u043d\u043e\u0433\u0434\u0430 \u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c\u043c\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 JSON;<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0432 JSON \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043b\u044f Fluent bit \u0432 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u0437-\u0437\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>Elasticsearch-\u0443 \u043b\u0435\u0433\u0447\u0435 \u201c\u0434\u044b\u0448\u0438\u0442\u0441\u044f\u201d \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 JSON-\u043b\u043e\u0433\u0430\u043c\u0438, \u043e\u043d \u0432 2 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 CPU;<\/p>\n<\/li>\n<li>\n<p>\u0410 Fluent bit, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0432 2 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u043a\u0443\u0448\u0430\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<h3>Vector \u0438 Elasticsearch (plaintext)<\/h3>\n<p>Vector \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u0431\u044b\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0438 \u043d\u0430\u0434\u0451\u0436\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c, \u043a\u0430\u043a \u0438 Fluent bit. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0440\u0430\u0437\u0430 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u043d\u043e\u0433\u043e: 13 \u043c\u0438\u043d\u0443\u0442 \u0438 17 \u0441\u0435\u043a\u0443\u043d\u0434. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u044d\u0442\u043e 100 000 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u043d \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u043b \u0431\u043e\u043b\u044c\u0448\u0435 CPU \u0438 RAM, \u0430\u0436 \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u201c\u0431\u0438\u0442\u043e\u043c\u201d:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0435\u0440\u0432\u0438\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (max)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (max)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<\/p>\n<\/td>\n<td>\n<p align=\"left\">622.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1058.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">3488.8MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">3981.4MB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Fluent bit<\/p>\n<\/td>\n<td>\n<p align=\"left\">520.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1084.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">516.1MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">569.5MB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u0430\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e Vector \u0442\u0443\u0442 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0439 \u0430\u0443\u0442\u0441\u0430\u0439\u0434\u0435\u0440: \u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u043b \u0431\u043e\u043b\u044c\u0448\u0435, \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0434\u043e\u043b\u044c\u0448\u0435, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u043e\u0442 \u0436\u0435. \u041d\u043e \u0434\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0441\u0451 \u0436\u0435 \u0438\u043d\u043e\u0439. \u0420\u0430\u0437\u043c\u0435\u0440 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 Vector \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 8.4 \u0413\u0411.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ce9\/7d6\/440\/ce97d64404e5c3d2d95444e394897d0a.png\" width=\"1600\" height=\"755\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce9\/7d6\/440\/ce97d64404e5c3d2d95444e394897d0a.png\"\/><\/figure>\n<p>Logstash \u044d\u0442\u043e \u0438\u043d\u0434\u0435\u043a\u0441 Fluent bit \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u0438 \u0441 Logstash, Vector \u2014 \u043d\u0443, \u0442\u0443\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043a\u0442\u043e.<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u044d\u0442\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u044b. \u0412 \u043e\u0434\u043d\u043e\u043c 79 \u043c\u043b\u043d \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0432 \u0434\u0440\u0443\u0433\u043e\u043c &#8212; 88 \u043c\u043b\u043d. \u0412\u0447\u0438\u0442\u0430\u0432\u0448\u0438\u0441\u044c \u0432 \u043b\u043e\u0433\u0438, \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e Fluent bit \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0442\u0435\u0440\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u0435\u0441\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Elasticsearch \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 429-\u043c \u043a\u043e\u0434\u043e\u043c (\u043f\u0440\u043e\u0441\u0438\u0442 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043e\u0431\u043e\u0440\u043e\u0442\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432), \u0430 \u0431\u0443\u0444\u0435\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440\u0430 \u043b\u043e\u0433\u043e\u0432 \u0443\u0436\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0442\u0430\u043a\u0438\u043c\u0438 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u0438. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043e\u043d \u0443\u043c\u0435\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0438\u0436\u0435\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e \u0441\u0432\u043e\u0451\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438. \u0412 \u0442\u0435\u043e\u0440\u0438\u0438, tail input \u043f\u0440\u0438 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u0432\u043e\u0438\u0445 \u0431\u0443\u0444\u0435\u0440\u043e\u0432 \u0438 \u0432\u044b\u0448\u0435\u0441\u0442\u043e\u044f\u0449\u0438\u0445 output-\u043e\u0432 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u043b \u043f\u0440\u0438\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u0435, \u043e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e\u0433\u043e \u043e\u043d \u043d\u0435 \u0441\u0434\u0435\u043b\u0430\u043b, \u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b 10% \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0411\u0435\u0437\u0443\u0441\u043b\u043e\u0432\u043d\u043e, \u044f \u0447\u0435\u0433\u043e-\u0442\u043e \u043d\u0435\u0434\u043e\u0433\u043b\u044f\u0434\u0435\u043b \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 \u201c\u0431\u0438\u0442\u0430\u201d. \u041d\u043e \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u043e, \u0447\u0442\u043e Vector \u044f <strong>\u0432\u043e\u043e\u0431\u0449\u0435<\/strong> \u043d\u0435 \u0442\u044e\u043d\u0438\u043b. \u0421\u0443\u0434\u044f \u043f\u043e \u0432\u0441\u0435\u043c\u0443, \u0412\u0435\u043a\u0442\u043e\u0440 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0443\u0444\u0435\u0440\u043e\u0432 \u043f\u043e\u0434 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e, \u0446\u0435\u043d\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432.<\/p>\n<h3>Vector \u0438 Elasticsearch (JSON)<\/h3>\n<p>16 \u043c\u0438\u043d\u0443\u0442 \u0438 10 \u0441\u0435\u043a\u0443\u043d\u0434. 69 158 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0420\u0430\u0437\u043c\u0435\u0440 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 7.8 \u0413\u0411. \u0412 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 Fluent bit \u043d\u0430 800 \u041c\u0411 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0442\u043e \u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e \u0441 \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 Vector \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043a \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0435\u0440\u0432\u0438\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (max)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (max)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<\/p>\n<\/td>\n<td>\n<p align=\"left\">484.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">698.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">3340.9MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">3935.8MB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Vector<\/p>\n<\/td>\n<td>\n<p align=\"left\">757.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1139.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">573.3MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">785.4MB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>Fluent bit \u0438 Loki (plaintext)<\/h3>\n<p>\u041a\u043e\u0433\u0434\u0430 \u044f \u0437\u0430\u043c\u0435\u0440\u044f\u043b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c Fluent bit \u0432 \u0441\u0432\u044f\u0437\u043a\u0435 \u0441 Loki, \u0437\u0430\u043c\u0435\u0442\u0438\u043b \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u0430\u043d\u043d\u0443\u044e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c: \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0431\u044b\u043b \u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d, \u043f\u043e \u044f\u0434\u0440\u0443 \u043d\u0430 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440 \u0438 \u0411\u0414.<\/p>\n<p>\u042f \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043a \u201c\u0431\u0438\u0442\u0443\u201d \u0435\u0441\u0442\u044c \u0430\u0436 \u0434\u0432\u0430 \u043f\u043b\u0430\u0433\u0438\u043d\u0430 Loki: \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u201c<a href=\"https:\/\/docs.fluentbit.io\/manual\/pipeline\/outputs\/loki#networking-and-tls-configuration\"><u>loki<\/u><\/a>\u201d \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u201c<a href=\"https:\/\/grafana.com\/docs\/loki\/latest\/send-data\/fluentbit\/\"><u>grafana-loki<\/u><\/a>\u201d \u043e\u0442 Grafana Labs. \u0412\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0432\u043c\u0451\u0440\u0436\u0438\u0442\u044c \u0432\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439, \u0437\u0430 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u043b\u0435\u0434\u0438\u0442\u044c <a href=\"https:\/\/github.com\/grafana\/loki\/issues\/4648\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>.<\/p>\n<p>\u0423 \u043d\u0438\u0445 \u0435\u0441\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u044f: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, grafana-loki \u0443\u043c\u0435\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u201c\u043d\u0430\u0442\u0438\u0432\u043d\u043e\u043c\u201d \u0434\u043b\u044f Loki Protobuf-\u0435, \u0435\u0441\u0442\u044c \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0438 backoff \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435.<\/p>\n<p>\u042f \u0436\u0435 \u0440\u0435\u0448\u0438\u043b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u0442\u0435\u0441\u0442 \u201c\u043d\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e\u201d \u043f\u043b\u0430\u0433\u0438\u043d\u0430. \u0418 \u0432\u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0435\u0440\u0432\u0438\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (max)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (max)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Loki<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">161.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1214.7MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">2235.6MB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Vector<\/p>\n<\/td>\n<td>\n<p align=\"left\">99.7%<\/p>\n<\/td>\n<td>\n<p align=\"left\">101.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">62.7MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.3MB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438: 14 \u043c\u0438\u043d\u0443\u0442 \u0438 37 \u0441\u0435\u043a\u0443\u043d\u0434, \u0438\u043b\u0438 877 \u0441\u0435\u043a\u0443\u043d\u0434. \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043e 79.6 \u043c\u043b\u043d \u0437\u0430\u043f\u0438\u0441\u0435\u0439, \u044d\u0442\u043e 90 \u0442\u044b\u0441\u044f\u0447 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0424\u0421 \u2014 816.7 \u041c\u0411, \u0447\u0442\u043e \u0432 \u0440\u0430\u0437\u044b \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c Elasticsearch! \u0412\u0441\u0451 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f <a href=\"https:\/\/grafana.com\/blog\/2020\/02\/19\/how-loki-reduces-log-storage\/\"><u>\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u043c<\/u><\/a> \u0441\u0436\u0430\u0442\u0438\u044f \u043b\u043e\u0433\u043e\u0432 \u0432 Loki.<\/p>\n<h3>Vector \u0438 loki (plaintext)<\/h3>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 Fluent bit, \u0432 Vector \u0434\u043b\u044f Loki \u043c\u043e\u0436\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u043f\u043e Protobuf. \u041a\u0430\u043a \u043c\u044b \u043f\u043e\u0442\u043e\u043c \u0443\u0432\u0438\u0434\u0438\u043c, \u044d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0422\u0430\u043a\u0436\u0435, \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u0438\u0441\u043f\u044b\u0442\u0430\u043d\u0438\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e Vector \u043f\u043e\u0442\u0435\u0440\u044f\u043b 75% \u043b\u043e\u0433\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f acknowledgements \u0438 \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043f\u0440\u0438\u0448\u043b\u0430 \u0432 \u043d\u043e\u0440\u043c\u0443, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0430\u043a\u0438\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0435\u0440\u0432\u0438\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CPU (max)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (avg)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RAM (max)<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Loki<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">1217.3MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">2317.7MB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Vector<\/p>\n<\/td>\n<td>\n<p align=\"left\">290.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">435.0%<\/p>\n<\/td>\n<td>\n<p align=\"left\">366.4MB<\/p>\n<\/td>\n<td>\n<p align=\"left\">460.5MB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u0435\u0441\u0442\u044b \u0437\u0430\u043d\u044f\u043b\u0438 \u0432\u0441\u0435\u0433\u043e 7 \u043c\u0438\u043d\u0443\u0442 15 \u0441\u0435\u043a\u0443\u043d\u0434, \u0438\u043b\u0438 435 \u0441\u0435\u043a\u0443\u043d\u0434, \u0438\u043b\u0438 180 \u0442\u044b\u0441\u044f\u0447 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u042d\u0442\u043e \u0440\u0435\u043a\u043e\u0440\u0434! \u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e.<\/p>\n<h2>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0411\u0414<\/h2>\n<p>\u0414\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043b\u0430\u0433\u0438\u043d <a href=\"https:\/\/pypi.org\/project\/pytest-benchmark\/\"><u>pytest-benchmark<\/u><\/a>. \u201c\u0411\u0435\u043d\u0447\u0438\u0442\u044c\u201d \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0431\u0443\u0434\u0435\u043c \u0432 \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445: \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0438 \u0441 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u0431\u0440\u043e\u0441\u043e\u043c page cache (echo 1 | suto tee \/proc\/sys\/vm\/drop_caches), \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439.<\/p>\n<h3>\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<\/h3>\n<p>offset=[1:5000], limit=[5001:10000]<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0411\u0430\u0437\u0430 \u043b\u043e\u0433\u043e\u0432<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS \u0431\u0435\u0437 page cache<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<br \/>(lz4, plaintext)<\/p>\n<\/td>\n<td>\n<p align=\"left\">58<\/p>\n<\/td>\n<td>\n<p align=\"left\">59<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<br \/>(DEFLATE, plaintext)<\/p>\n<\/td>\n<td>\n<p align=\"left\">58<\/p>\n<\/td>\n<td>\n<p align=\"left\">50<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<br \/>(lz4, json)<\/p>\n<\/td>\n<td>\n<p align=\"left\">37<\/p>\n<\/td>\n<td>\n<p align=\"left\">40<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u0413\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c<\/h3>\n<p>(COUNT BY service)<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0411\u0430\u0437\u0430 \u043b\u043e\u0433\u043e\u0432<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>RPS \u0431\u0435\u0437 page cache<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<br \/>(lz4, plaintext)<\/p>\n<\/td>\n<td>\n<p align=\"left\">733 137<\/p>\n<\/td>\n<td>\n<p align=\"left\">54<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<br \/>(DEFLATE, plaintext)<\/p>\n<\/td>\n<td>\n<p align=\"left\">749 625<\/p>\n<\/td>\n<td>\n<p align=\"left\">56<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Elasticsearch<br \/>(lz4, json)<\/p>\n<\/td>\n<td>\n<p align=\"left\">838 926<\/p>\n<\/td>\n<td>\n<p align=\"left\">58<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>\u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b<\/h2>\n<p>\u041e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0411\u0414 \u043f\u043e\u043a\u0430 \u0440\u0430\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0437\u0430\u043c\u0435\u0440\u044b \u0431\u044b\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e Elasticsearch \u0438 \u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0439\u0447\u0430\u0441, \u0432 \u0444\u0438\u043d\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u043e\u0441\u043e\u0437\u043d\u0430\u043b, \u0447\u0442\u043e \u0441\u0442\u043e\u0438\u043b\u043e \u0437\u0430\u043c\u0435\u0440\u044f\u0442\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438. \u041d\u043e Elasticsearch \u043c\u0435\u043d\u044f \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0440\u0430\u0434\u043e\u0432\u0430\u043b \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e. \u0422\u043e \u0435\u0441\u0442\u044c\u2026 \u042f \u043c\u043d\u043e\u0433\u043e \u0432\u0435\u0441\u0451\u043b\u043e\u0433\u043e \u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0433\u0440\u0443\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u044b\u0448\u0430\u043b \u043f\u0440\u043e Elasticsearch, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u043a\u0430\u043a \u0432\u0435\u0441\u0435\u043b\u043e \u0435\u0433\u043e \u0447\u0438\u043d\u0438\u0442\u044c \u043f\u0440\u0438 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 \u0438\u0437 >32 \u0443\u0437\u043b\u043e\u0432 \u0438 \u043d\u0430 400 \u0422\u0411. \u0418 \u0432\u044b \u0432\u0441\u0435 \u0437\u043d\u0430\u0435\u0442\u0435 \u043f\u0440\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0443\u044e \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044e Elastic. \u0418 \u044f \u0432\u0438\u0434\u0435\u043b \u0441\u0432\u043e\u0438\u043c\u0438 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 Kibana \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 Analytics. \u041d\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0445\u043e\u0440\u043e\u0448\u0430\u044f, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0438 \u043d\u0430 \u0447\u0442\u043e.<\/p>\n<p>\u041c\u043e\u0451 \u043b\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043e\u0442\u0434\u0430\u0451\u0442\u0441\u044f Grafana Loki. \u041e\u043d \u0445\u043e\u0440\u043e\u0448\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0443\u0435\u0442\u044f, \u0445\u0440\u0430\u043d\u0438\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0431\u0430\u043a\u0435\u0442\u0430\u0445, \u0438 \u043e\u0447\u0435\u043d\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442 \u043b\u043e\u0433\u0438. \u041d\u0438\u0437\u043a\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u043c\u043d\u043e\u0433\u043e \u043f\u0438\u0448\u0435\u0442\u0435 \u0438 \u0440\u0435\u0434\u043a\u043e \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0431\u044a\u0451\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445. \u041c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 Grafana, \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u044f\u0437\u044b\u043a \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043d\u0435 \u0442\u043e \u0447\u0442\u043e JSON \u0432 Elasticsearch (\u0438\u0437\u0432\u0438\u043d\u0438\u0442\u0435). \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0442\u043e\u0440\u043d\u044b\u0439 \u0432\u0437\u0440\u044b\u0432 \u043c\u0435\u0442\u043e\u043a, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0442\u0443\u0442 \u0443 Loki \u0442\u0435 \u0436\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0447\u0442\u043e \u0438 \u0443 Prometheus.\u00a0<\/p>\n<p>\u0418\u0437 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043b\u043e\u0433\u043e\u0432\u2026 \u0421\u043b\u043e\u0436\u043d\u043e \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044f. Fluent Bit \u0445\u043e\u0440\u043e\u0448 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c \u0438 \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u043c \u0441\u0431\u043e\u0440\u0435 \u043c\u0435\u0442\u0440\u0438\u043a, Vector \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u0432 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u0440\u0430\u0437\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u041c\u043e\u0439 \u0441\u043e\u0432\u0435\u0442? \u0421\u043e\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u043b\u043e\u0433\u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 Fluent bit-\u043e\u043c, \u0438 \u043f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u0430\u0439\u0442\u0435 \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 \u0441 Vector, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u043c\u0430\u043b\u044b\u0432\u0430\u0442\u044c \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430.<\/p>\n<p>\u041a\u0430\u043a \u0438 \u043e\u0431\u0435\u0449\u0430\u043b, \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0438 \u0432\u0435\u0442\u043a\u0438:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/github.com\/kam1sh\/o11y\"><u>kamish\/o11y<\/u><\/a> \u2014 GitHub \u043f\u0440\u043e\u0435\u043a\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u0442\u043a\u0430 \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0435\u0439 \u043f\u043e \u043b\u043e\u0433\u0430\u043c: <a href=\"https:\/\/github.com\/kam1sh\/o11y\/tree\/habr\/logging\"><u>habr\/logging<\/u><\/a><u>;<\/u><\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u0442\u043a\u0430 \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438 \u0438 \u0442\u0435\u0441\u0442\u0430\u043c\u0438 \u0434\u043b\u044f JSON \u043b\u043e\u0433\u043e\u0432: <a href=\"https:\/\/github.com\/kam1sh\/o11y\/tree\/habr\/logging-json\"><u>habr\/logging-json<\/u><\/a><u>.<\/u><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0412 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u0445\u043e\u0447\u0443 \u043f\u043e\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u043a\u0443\u0440\u0441 &#171;<\/em><a href=\"https:\/\/otus.pw\/1QNg\/\"><em>Observability: \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0442\u0440\u0435\u0439\u0441\u0438\u043d\u0433<\/em><\/a><em>&#171;. \u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u043e\u0438 \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u0438\u0437 OTUS \u043f\u0440\u043e\u0432\u0435\u0434\u0443\u0442 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0443\u0440\u043e\u043a, \u0433\u0434\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442 \u043f\u0440\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 Zabbix \u0431\u0435\u0437 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 Discovery Trapper. <\/em><a href=\"https:\/\/otus.pw\/1QNg\/\"><em>\u0420\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u0439\u0442\u0435\u0441\u044c<\/em><\/a><em>, \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e!<\/em><\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/780196\/\"> https:\/\/habr.com\/ru\/articles\/780196\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<p><em>&#171;\u041f\u0438\u0440\u0430\u0442\u044b \u0436\u0443\u0440\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u043e\u0440\u044f&#187;<\/em><\/p>\n<p><em>\u0410\u0432\u0442\u043e\u0440 \u2014 \u0418\u0433\u043e\u0440\u044c \u041e\u0432\u0441\u044f\u043d\u043d\u0438\u043a\u043e\u0432, \u0434\u0435\u043a\u0430\u0431\u0440\u044c 2023 \u0433. DevOps \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0432 <\/em><a href=\"http:\/\/GFN.AM\"><em>GFN.AM<\/em><\/a><em>, \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u0443\u0440\u0441\u0430 DevOps \u0432 OTUS.<\/em><\/p>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u0440\u0435\u0448\u0430\u044f \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442 \u0438\u043b\u0438 \u0430\u0432\u0430\u0440\u0438\u044e \u0432 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435, \u044f \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0441\u044f: \u0430 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0431\u044b\u043b\u043e \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c? \u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u0431\u044b\u043b\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435, \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e, \u0430 \u043d\u0435 \u043e\u0442 \u043d\u0435\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432? \u0421\u0435\u0439\u0447\u0430\u0441 \u044f \u0441\u0447\u0438\u0442\u0430\u044e, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e, \u0441 \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u043e\u043c \u0438 observability pipelines.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u2014 \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0446\u0438\u043a\u043b\u0430 \u0441\u0442\u0430\u0442\u0435\u0439 \u043e \u0442\u043e\u043c, \u0438\u0437 \u0447\u0435\u0433\u043e \u0438 \u043a\u0430\u043a \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 <em>\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u0438<\/em> \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b. \u0412 \u043f\u0435\u0440\u0432\u044b\u0445 \u0447\u0430\u0441\u0442\u044f\u0445 \u044f \u0431\u0443\u0434\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043e \u043b\u043e\u0433\u0430\u0445, \u043a\u0430\u043a\u0438\u0435 \u043e\u043d\u0438 \u0431\u044b\u0432\u0430\u044e\u0442, \u0438 \u043a\u0430\u043a \u0438\u0445 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<h2>\u041f\u0440\u043e \u043b\u043e\u0433\u0438<\/h2>\n<p>\u042d\u0442\u043e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0442\u0435\u043a\u0441\u0442\u0430. \u041f\u043e\u0436\u0430\u043b\u0443\u0439, \u043f\u0435\u0440\u0432\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0435\u0440\u0435\u0433\u043e\u0440\u0435\u0432\u0448\u0438\u0445 \u043b\u0430\u043c\u043f \u0432 \u043b\u0430\u043c\u043f\u043e\u0432\u044b\u0445 \u042d\u0412\u041c \u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043b\u043e\u0433\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0438\u0448\u0443\u0442\u0441\u044f \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u043a\u0430\u043a \u0442\u0430\u043a\u043e\u0432\u043e\u0433\u043e \u043d\u0435\u0442: \u0414\u0430, \u0435\u0441\u0442\u044c \u043e\u0442\u043c\u0435\u0442\u043a\u0430 \u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043d\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a Unix timestamp, \u0442\u0430\u043a \u0438 \u0434\u0430\u0442\u0430 \u0432 ISO 8601 \/ RFC 3339. \u0412 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043a\u0430\u0445? \u0414\u0430, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0430\u043a! \u0410 \u0442\u0443\u0442 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u044f \u043f\u043e\u0442\u043e\u043a\u0430. \u0418 \u0437\u0430\u0442\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u041e, \u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0431\u0443\u0434\u0435\u043c \u043f\u0438\u0441\u0430\u0442\u044c \u0443\u0436\u0435 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435! \u0418 \u0435\u0449\u0451 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u043a, \u043d\u0443, \u0447\u0442\u043e\u0431\u044b \u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0431\u044b\u043b\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435! \u041e\u041a, \u0435\u0441\u0442\u044c syslog, \u0435\u0441\u0442\u044c Journald log. \u041d\u043e \u044d\u0442\u043e \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0438 \u0438\u0437 \u0434\u0435\u0441\u044f\u0442\u043a\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u0432, \u0438 \u043b\u0443\u0447\u0448\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0432\u0440\u044f\u0434 \u043b\u0438 \u043a\u043e\u0433\u0434\u0430-\u043b\u0438\u0431\u043e \u0441\u0442\u0430\u043d\u0435\u0442 (\u0441\u043c. <a href=\"https:\/\/xkcd.com\/927\/\"><u>xkcd 927<\/u><\/a>).<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0443\u043c\u0430\u0442\u044c\u0441\u044f, \u043d\u0443\u0436\u043d\u044b \u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u044b \u043b\u043e\u0433\u043e\u0432 \u0438\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442 \u0432 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430\u0445, \u0435\u0441\u043b\u0438 \u043b\u043e\u0433\u0430\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0430\u043c\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c. \u042d\u0442\u043e, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u043e \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b. \u041a\u0442\u043e \u0443 \u0432\u0430\u0441 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c \u043b\u043e\u0433\u043e\u0432 \u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0438\u043b\u0438 Ops-\u044b \u0438 SRE? \u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043b\u043e\u0433 \u0447\u0435\u0440\u0435\u0437 println, \u0437\u043d\u0430\u0447\u0438\u0442, \u0435\u043c\u0443 \u0442\u0430\u043a \u0443\u0434\u043e\u0431\u043d\u043e. \u0415\u0441\u043b\u0438 \u043b\u043e\u0433\u0430\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0442\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u0430\u043c\u0438 \u043e \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442\u0435 \u043b\u043e\u0433\u043e\u0432. \u0427\u0442\u043e\u0431\u044b \u0435\u0441\u043b\u0438 \u0431\u044d\u043a\u0435\u043d\u0434 \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0438\u043b\u0441\u044f \u043f\u0440\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043a \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0442\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u043b\u0441\u044f \u0431\u044b \u0438 URL \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0422\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0431\u0438\u043b\u043b\u0438\u043d\u0433 \u044d\u0442\u043e \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f \ud83d\ude42<\/p>\n<p>\u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043f\u0440\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430\u0445 \u0438 \u043e\u0431\u0449\u0438\u0445 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430\u0445 \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0438\u0432\u0451\u0442\u0441\u044f \u043b\u0435\u0433\u0447\u0435. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u043a\u0435 \u043b\u043e\u0433\u043e\u0432 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u0411\u0414.<\/p>\n<h2>\u041b\u0430\u043d\u0434\u0448\u0430\u0444\u0442 \u0441\u0438\u0441\u0442\u0435\u043c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, 2023 \u0433\u043e\u0434<\/h2>\n<p>\u0425\u043e\u043b\u0441\u0442, Open Source, \u043c\u0430\u0441\u043b\u043e<\/p>\n<p>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0441\u0442\u0435\u043a \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0442\u0440\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430: \u0441\u0431\u043e\u0440\u0449\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440\u044b), \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 (\u0421\u0423\u0411\u0414 \u0438 \u043f\u043e\u043b\u0443\u0421\u0423\u0411\u0414), \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u043e\u0432, \u043f\u043b\u044e\u0441 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0430\u043b\u0435\u0440\u0442\u0438\u043d\u0433. \u041d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432\u0441\u0435 \u0442\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438\u0437 \u043c\u0438\u0440\u0430 OSS, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043d\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b.<\/p>\n<p>\u0421\u0431\u043e\u0440\u0449\u0438\u043a\u0438 \u043b\u043e\u0433\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>Logstash;<\/p>\n<\/li>\n<li>\n<p>Fluentd;<\/p>\n<\/li>\n<li>\n<p>Fluent bit;<\/p>\n<\/li>\n<li>\n<p>Vector;<\/p>\n<\/li>\n<li>\n<p>Filebeat;<\/p>\n<\/li>\n<li>\n<p>Elastic Agent;<\/p>\n<\/li>\n<li>\n<p>Promtail.<\/p>\n<\/li>\n<\/ul>\n<p>\u0425\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430:<\/p>\n<ul>\n<li>\n<p>Elasticsearch<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>Object storage (S3, minio, etc);<\/p>\n<\/li>\n<li>\n<p>Kafka;<\/p>\n<\/li>\n<li>\n<p>ClickHouse;<\/p>\n<\/li>\n<li>\n<p>Grafana Loki;<\/p>\n<\/li>\n<li>\n<p>Manticore Search;<\/p>\n<\/li>\n<li>\n<p>PostgreSQL;<\/p>\n<\/li>\n<li>\n<p>HDFS.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>Kibana;<\/p>\n<\/li>\n<li>\n<p>Grafana;<\/p>\n<\/li>\n<li>\n<p>Metabase;<\/p>\n<\/li>\n<li>\n<p>Redash;<\/p>\n<\/li>\n<li>\n<p>Apache Superset;<\/p>\n<\/li>\n<li>\n<p>DataLens.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0447\u0438\u0442\u0430\u0435\u0442\u0435, \u043b\u0438\u0448\u044c \u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u0446\u0438\u043a\u043b\u0430 \u0441\u0442\u0430\u0442\u0435\u0439 Observability. \u0417\u0434\u0435\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b:<\/p>\n<ul>\n<li>\n<p>Fluent bit;<\/p>\n<\/li>\n<li>\n<p>Vector;<\/p>\n<\/li>\n<li>\n<p>Elasticsearch \u0438 Kibana;<\/p>\n<\/li>\n<li>\n<p>Loki \u0438 Grafana.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>Promtail \u0438 Loki;<\/p>\n<\/li>\n<li>\n<p>Loki (\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432);<\/p>\n<\/li>\n<li>\n<p>Fluent bit\/Vector\/Promtail \u0438 Loki (JSON);<\/p>\n<\/li>\n<li>\n<p>Logstash + Elasticsearch;<\/p>\n<\/li>\n<li>\n<p>Fluentd + Elasticsearch;<\/p>\n<\/li>\n<li>\n<p>Filebeat \u0438 Elastic Agent + Elasticsearch.<\/p>\n<\/li>\n<\/ul>\n<p>\u0410 \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u043e\u0441\u043e\u0431\u044b\u0435 \u0433\u043e\u0441\u0442\u0438: \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<ol>\n<li>\n<p>Feeder, \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430 Go, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0447\u0438\u0442\u0430\u0435\u0442 <a href=\"https:\/\/spansh.co.uk\/dumps\"><u>\u0434\u0430\u043c\u043f \u0433\u0430\u043b\u0430\u043a\u0442\u0438\u043a\u0438<\/u><\/a> \u0438\u0437 \u0438\u0433\u0440\u044b Elite: Dangerous \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c Spansh, \u0438 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u0432 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0434\u043b\u044f \u043b\u043e\u0433\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <a href=\"https:\/\/pkg.go.dev\/log\"><u>log<\/u><\/a> \u0438\u0437 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>Statistics, \u0432\u0435\u0431-\u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430 Ktor, Kotlin-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435. \u041e\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 JSON-\u044b \u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0445, \u0432\u044b\u0434\u0430\u0432\u0430\u044f \u0432 \u043b\u043e\u0433\u0438 \u043e\u0431\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043b\u0430\u043d\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0432\u0451\u0437\u0434, \u0438 \u0442.\u043f.). \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 JVM-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 SLF4J \u0438 Logback.<\/p>\n<\/li>\n<li>\n<p>Storage, \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 Kafka. \u041d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 Flask, Python-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u043f\u043e\u0447\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0438. Feeder, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0435\u043b\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439, \u0438 \u0431\u044b\u0441\u0442\u0440\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043b\u0438\u043c\u0438\u0442\u044b HTTP-\u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u0410 \u0441\u0435\u0440\u0432\u0438\u0441 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u043a\u0438\u0434\u0430\u0442\u044c \u0441\u0442\u0435\u043a\u0442\u0440\u0435\u0439\u0441\u044b, \u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u043a\u0438\u0434\u0430\u0435\u0442 Error-\u044b, \u0435\u0441\u043b\u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442 \u0432 JSON \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435 \u0447\u0451\u0440\u043d\u043e\u0439 \u0434\u044b\u0440\u044b. \u0418 \u0443 storage-\u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0441\u0432\u043e\u0438 \u201c\u043f\u0440\u0438\u043a\u043e\u043b\u044b\u201d. \u042d\u0442\u043e \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0432 \u0446\u0435\u043b\u044f\u0445 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 Compose \u0444\u0430\u0439\u043b\u043e\u0432, \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<h3>Fluent bit<\/h3>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445, \u0435\u0441\u043b\u0438 \u0435\u0449\u0451 \u043d\u0435 \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439, \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440 \u043b\u043e\u0433\u043e\u0432 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c. \u042f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u043a\u043e\u043c Fluentd, \u043e\u0434\u043d\u0430\u043a\u043e \u043a\u043e\u0433\u0434\u0430 Fluentd \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 Ruby, Fluent bit \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 \u0421\u0438. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u043c\u0430\u043b\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432. \u041c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c, \u0432 \u0442\u0435\u043e\u0440\u0438\u0438, \u0431\u0430\u0433\u0438 \u0438 \u0443\u044f\u0437\u0432\u0438\u043c\u043e\u0441\u0442\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u043c\u043d\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u043e\u0441\u044c \u0437\u0430 \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u0440\u044c\u0435\u0440\u044b \u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430.<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u044f \u0441\u043a\u0430\u0437\u0430\u043b \u201c\u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440 \u043b\u043e\u0433\u043e\u0432\u201d. \u042d\u0442\u043e \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u0432\u0435\u0440\u043d\u043e \u0438 \u043e\u0442\u0447\u0430\u0441\u0442\u0438 \u043d\u0435\u0442. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0433\u043e \u0437\u043d\u0430\u044e\u0442 \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 \u0441\u0438\u0441\u0442\u0435\u043c. \u041d\u043e \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 2.0 \u043e\u043d \u0443\u0436\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u0442\u0440\u0435\u0439\u0441\u044b, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u043e\u043c \u0441\u0431\u043e\u0440\u0430 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0438 (\u043d\u0435 \u043f\u0443\u0442\u0430\u0442\u044c \u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0435\u0439, \u0443 \u043d\u0430\u0441 \u0437\u0434\u0435\u0441\u044c \u0440\u0435\u0447\u044c \u043f\u0440\u043e \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u044e \u043e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c).<\/p>\n<p>\u0418\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0432 conf-\u0444\u0430\u0439\u043b\u0430\u0445. \u041d\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433 \u043d\u0430 YAML, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c, \u043f\u043e \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c, \u0444\u0430\u0439\u043b\u0430 \u0441 \u043f\u0430\u0440\u0441\u0435\u0440\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 Lua \u0438 WASM.<\/p>\n<\/li>\n<li>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u043b\u0430\u0433\u0438\u043d\u043e\u0432 \u0432\u0432\u043e\u0434\u0430: \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0439 \u043f\u0430\u0440\u0441\u0435\u0440 nginx stats, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0451\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, OpenTelemetry input, \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 node exporter \u0438 process exporter (\u043d\u0435 \u043d\u0430\u0434\u043e \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u0438\u043d\u0430\u0440\u0438 \u043e\u0442 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 Prometheus!), \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0436\u0435 \u0441\u0431\u043e\u0440 \u0438\u0437 WASI-\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438 \u043f\u0440\u043e input-\u044b: \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u043c\u043d\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u201c\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u201d \u0443\u043c\u0435\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043b\u043e\u0433\u0438 \u0441 \u043f\u043e\u0434\u043e\u0432 \u0432 Kubernetes, \u043d\u043e \u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 (\u043a\u043e\u0442\u043e\u0440\u044b\u0435 kubectl get events).<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 output-\u044b: \u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Prometheus remote write, \u0432 OpenTelemetry protocol, PostgreSQL, Kafka, \u0438 Loki.<\/p>\n<\/li>\n<\/ul>\n<p>\u041b\u0438\u0447\u043d\u044b\u0435 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u044f \u043e\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u201c\u0431\u0438\u0442\u043e\u043c\u201d \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0435\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u043e\u0434 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0432 \u043f\u043b\u0430\u043d\u0435 \u0431\u0443\u0444\u0435\u0440\u043e\u0432, \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u0438\u0445 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0439 \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0437\u0434\u043e\u0440\u043e\u0432\u043e.<\/p>\n<h3>Vector<\/h3>\n<p>\u0422\u043e\u0436\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u043e\u0440 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u043a\u043e\u0433\u0434\u0430 \u0446\u0435\u043b\u044c Fluent bit \u044d\u0442\u043e \u0441\u0431\u043e\u0440, \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u043f\u0435\u0440\u0435\u0441\u044b\u043b\u043a\u0430 \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u0438 \u0432 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, Vector \u0441\u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438. \u0422\u0430\u043a, \u0443 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0439 \u044f\u0437\u044b\u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, Vector Remap Language (VRL), \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u043c\u0438 \u0438 \u043f\u0430\u0440\u0441\u0435\u0440\u0430\u043c\u0438.<\/p>\n<p>\u0418\u0437 \u043f\u0440\u0438\u043a\u043e\u043b\u044c\u043d\u044b\u0445 \u0448\u0442\u0443\u043a \u0445\u043e\u0447\u0443 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 Rust. \u041f\u043e \u0438\u0434\u0435\u0435, \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u0435\u0435 fluent bit \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b \u043f\u043e\u0437\u0436\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0442\u0440\u0451\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440: TOML, YAML \u0438 JSON.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438: VRL-\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b, \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0438 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f, \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043b\u043e\u0433\u043e\u0432 \u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e, \u0442\u0440\u043e\u0442\u0442\u043b\u0438\u043d\u0433 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0423\u043c\u0435\u0435\u0442 \u043f\u0438\u0441\u0430\u0442\u044c \u0432 ClickHouse! \u042d\u0442\u043e \u043d\u0430\u043c \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0446\u0438\u043a\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u0442\u044c \u0441\u0432\u043e\u0439 API (GraphQL), \u0433\u0434\u0435, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043c\u043e\u0436\u043d\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f Vector \u0441\u0432\u043e\u0438\u043c\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438. \u0423 \u043d\u0435\u0433\u043e, \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u201c\u0431\u0438\u0442\u043e\u043c\u201d, \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e input-\u043e\u0432, \u0434\u0430 \u0438 \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u0435\u043b\u0430 \u043f\u043e\u0445\u0443\u0436\u0435 (\u043a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u0441\u044f \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445), \u043d\u043e VRL \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u044f\u0437\u044b\u043a \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 Lua, \u0438 \u0443\u0436\u0435 \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0443 \u043c\u0435\u043d\u044f \u0442\u0430\u0435\u0442 \u0441\u0435\u0440\u0434\u0435\u0447\u043a\u043e.<\/p>\n<h3>Elasticsearch<\/h3>\n<p>\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Elastic, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u043c \u043f\u043e\u043b\u044f\u043c \u0432 JSON-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445. \u041d\u0435\u0447\u0451\u0442\u043a\u0438\u0439 \u043f\u043e\u0438\u0441\u043a, \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c, \u043f\u043e \u043c\u0430\u0441\u043a\u0435, \u0438 \u043f\u0440\u043e\u0447\u0435\u0435, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0434\u0432\u0438\u0436\u043e\u043a Apache Lucene.<\/p>\n<p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u201c\u042d\u043b\u0430\u0441\u0442\u0438\u043a\u0430\u201d:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 JSON-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0445, \u0430 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432 alias-\u044b. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c \u0441 \u043e\u0431\u0449\u0438\u043c\u0438 \u043f\u043e\u043b\u044f\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0438\u0435\u043d\u0442\u044b \u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u043c \u043f\u043e HTTP REST API. \u042f\u0437\u044b\u043a \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 JSON \u0438 \u043e\u0442\u0442\u043e\u0433\u043e \u0432\u0435\u0441\u044c\u043c\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u043d (\u043c\u043d\u0435\u043d\u0438\u0435 \u0430\u0432\u0442\u043e\u0440\u0430).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043d\u0430 Java. \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0446\u0435\u043d\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438. \u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 &#8212; 1 \u0413\u0411. \u0414\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432 3 \u0413\u0411.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0433\u0435\u043e-\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f (cross-datacenter replication).<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u0442\u0443\u0440\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0435 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 object storage (S3 \u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438). \u0423\u0442\u0438\u043b\u0438\u0442 \u0442\u0438\u043f\u0430 pg_dump \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0423\u043c\u0435\u0435\u0442 \u0434\u0435\u043b\u0438\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439: hot, warm \u0438 cold. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0433\u043e\u0440\u044f\u0447\u0435\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439 \u043d\u0430 SSD, \u0430 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u043c \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0442\u044c \u0431\u0430\u043a\u0435\u0442 object storage.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0430\u043b\u0435\u0440\u0442\u0438\u043d\u0433, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435. \u041f\u043e\u043b\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c <a href=\"https:\/\/www.elastic.co\/elasticsearch\/features\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>.<\/p>\n<\/li>\n<\/ul>\n<p>\u042f \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043e\u0442\u043d\u043e\u0448\u0443\u0441\u044c \u043a Elasticsearch, \u0434\u0430\u0436\u0435 \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u0443\u044e \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044e. \u0418\u0437 \u0433\u0440\u0443\u0441\u0442\u043d\u043e\u0433\u043e &#8212; \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043c\u043d\u043e\u0433\u043e \u201c\u043a\u0443\u0448\u0430\u0435\u0442\u201d \u043f\u0430\u043c\u044f\u0442\u0438, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0451 \u0442\u0440\u0443\u0434\u043d\u044b\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f \u043f\u0435\u0442-\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432. \u0422\u0430\u043a, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 &#8212; \u044d\u0442\u043e 3 \u0443\u0437\u043b\u0430, \u0438 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0432\u044b\u0434\u0430\u0442\u044c \u043f\u043e 4 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438. \u0415\u0449\u0451 \u043c\u0435\u043d\u044f \u0441\u043c\u0443\u0449\u0430\u0435\u0442 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0435 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0433\u0434\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u0442\u044c S3\/Minio \u0432 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u0432\u0437\u0440\u043e\u0441\u043b\u043e\u0435 \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u044b\u043d\u043a\u0435, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0443 \u043d\u0435\u0433\u043e, \u043f\u043e \u0438\u0434\u0435\u0435, \u043c\u0430\u043b\u043e \u0431\u043e\u043b\u044f\u0447\u0435\u043a, \u043f\u0440\u043e \u043d\u0435\u0433\u043e \u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0442\u0435\u0439, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0438\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a.<\/p>\n<p>\u041f\u0440\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445: \u0432 ES \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0436\u0430\u0442\u0438\u0435 LZ4, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0436\u0435 \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u043c\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c\u0438 \u043f\u043e \u043b\u043e\u0433\u0430\u043c \u0441 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0432 \u0424\u0421 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u0431\u044b\u043b\u043e \u0432\u0441\u0435\u0433\u043e 6.6 \u0413\u0411.<\/p>\n<p>\u0410 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043d\u0430 DEFLATE \u043d\u0430 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0431\u044b\u043b\u043e \u0443\u0436\u0435\u2026 \u0421\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0434\u0443\u043c\u0430\u043b, \u044d\u0442\u043e \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0430, \u0438 \u043d\u0430\u0434\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0443 force merge. \u041d\u043e \u0438 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u0438\u043d\u0434\u0435\u043a\u0441\u0430! \u0418, \u043f\u043e\u0445\u043e\u0436\u0435, \u0441\u043c\u0435\u043d\u0430 \u043a\u043e\u0434\u0435\u043a\u0430 \u0441\u0436\u0430\u0442\u0438\u044f \u043d\u0430 DEFLATE <a href=\"https:\/\/gitlab.com\/gitlab-org\/gitlab\/-\/issues\/10420\"><u>\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442<\/u><\/a>.<\/p>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043e\u043f\u0438\u0441\u0430\u043d\u0430 <a href=\"https:\/\/www.elastic.co\/guide\/en\/elasticsearch\/reference\/current\/targz.html\"><u>\u0437\u0434\u0435\u0441\u044c<\/u><\/a>, \u0435\u0441\u0442\u044c \u043a\u0430\u043a tgz, \u0442\u0430\u043a \u0438 deb\/rpm, \u0430 \u0442\u0430\u043a\u0436\u0435 Docker-\u043e\u0431\u0440\u0430\u0437\u044b. \u041e\u0442\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u043f\u0430\u043a\u0435\u0442\u044b Elasticsearch, \u043a\u0430\u043a \u0438 \u0432\u0441\u0435\u0433\u043e Elastic Stack, \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0438\u0437 \u0420\u043e\u0441\u0441\u0438\u0438 (HTTP 403). \u041d\u043e \u0435\u0441\u0442\u044c \u0438 \u043e\u0431\u0445\u043e\u0434\u043d\u044b\u0435 \u043f\u0443\u0442\u0438. \u0422\u0430\u043a, Elastic Stack \u0435\u0441\u0442\u044c \u043d\u0430 Docker Hub \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435.<\/p>\n<h3>Kibana<\/h3>\n<p>\u041f\u0440\u043e\u0434\u0443\u043a\u0442 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Elastic. \u0412 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438, Kibana \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0432\u044f\u0437\u0430\u043d\u0430 \u043d\u0430 Elasticsearch, \u0434\u043e \u0442\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438, \u0447\u0442\u043e \u043e\u043d\u0430 \u0445\u0440\u0430\u043d\u0438\u0442 \u0441\u0432\u043e\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0432 \u0442\u043e\u043c \u0436\u0435 Elasticsearch.<\/p>\n<p>Kibana <a href=\"https:\/\/github.com\/elastic\/kibana\"><u>\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043d\u0430 Typescript<\/u><\/a>, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0432\u0435\u0434\u0451\u0442\u0441\u044f <a href=\"https:\/\/github.com\/elastic\/kibana\/graphs\/contributors\"><u>\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u043f\u043e \u0441\u0435\u0439 \u0434\u0435\u043d\u044c<\/u><\/a>. \u0414\u0435\u043f\u043b\u043e\u0439 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u0435\u043d Elasticsearch.<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0432\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 Kibana,<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-362756","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/362756","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=362756"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/362756\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=362756"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=362756"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=362756"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}