{"id":316546,"date":"2021-01-18T15:01:20","date_gmt":"2021-01-18T15:01:20","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=316546"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=316546","title":{"rendered":"\u0413\u0440\u0438\u0433\u043e\u0440\u0438\u0439 \u041a\u043e\u0448\u0435\u043b\u0435\u0432 \u2013 \u0410 \u0432\u044b \u041a\u0430\u0444\u043a\u0443 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p>Apache Kafka \u2014 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0439 \u0431\u0440\u043e\u043a\u0435\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0439 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430. \u041a \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c Apache Kafka \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438: \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0438 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Apache Kafka. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0438 \u0433\u0440\u0430\u0431\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u043d\u0430 \u043f\u0443\u0442\u0438 \u0412\u043e\u0441\u0442\u043e\u043a\u0430.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vp\/m7\/ko\/vpm7ko62n5acusry8shwqjnavfc.png\"><\/p>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<div class=\"oembed\"><iframe allowfullscreen id=\"600558878a93442df6782210\" src=\"https:\/\/embedd.srv.habr.com\/iframe\/600558878a93442df6782210\"><\/iframe><\/div>\n<p>  <\/p>\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0413\u0440\u0438\u0433\u043e\u0440\u0438\u0439! \u0418 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e Kafka.<\/p>\n<p>  <\/p>\n<p>\u041f\u043b\u0430\u043d \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0412\u043d\u0430\u0447\u0430\u043b\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u043d\u0443\u0436\u043d\u0430 \u043d\u0430\u043c Kafka, \u0447\u0442\u043e \u043c\u044b \u0441 \u043d\u0435\u0439 \u0434\u0435\u043b\u0430\u0435\u043c.<\/li>\n<li>\u041f\u043e\u0442\u043e\u043c \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443 \u043d\u0430\u0447\u043d\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u043e\u043d\u0430 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430, \u0442. \u0435. \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 Kafka. <\/li>\n<li>\u0414\u0430\u043b\u0435\u0435 \u043f\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u043e\u0431\u0435\u0436\u0438\u043c\u0441\u044f. <\/li>\n<li>\u0418 \u0441\u0430\u043c\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0434\u043e\u043a\u043b\u0430\u0434\u0430 \u2013 \u044d\u0442\u043e \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u0438. \u041f\u043e-\u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443 \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u0434\u043e \u0431\u044b\u043b\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u00ab\u0433\u0440\u0430\u0431\u043b\u0438, \u0431\u043e\u043b\u044c \u0438 \u0441\u0442\u0440\u0430\u0434\u0430\u043d\u0438\u044f\u00bb, \u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0440\u0438\u0433\u0438. <\/li>\n<li>\u0410 \u0432 \u043a\u043e\u043d\u0446\u0435 \u043f\u043e\u0434\u0432\u0435\u0434\u0435\u043c \u0438\u0442\u043e\u0433\u0438. \u0421\u0434\u0435\u043b\u0430\u0435\u043c \u0432\u044b\u0432\u043e\u0434\u044b \u0438 \u043f\u043e\u0439\u043c\u0435\u043c: \u043d\u0430\u0434\u043e \u043b\u0438 \u0441 \u044d\u0442\u0438\u043c \u0447\u0442\u043e-\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0438 \u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0436\u0438\u0442\u044c.<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435:<\/p>\n<p>  <\/p>\n<p>[TOC]<\/p>\n<p>  <\/p>\n<h3 id=\"zachem-nam-kafka\">\u0417\u0430\u0447\u0435\u043c \u043d\u0430\u043c Kafka?<\/h3>\n<p>  <\/p>\n<p>\u0412 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u0443 \u043d\u0430\u0441 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0442 <a href=\"https:\/\/github.com\/vostok\" rel=\"nofollow noopener noreferrer\">Vostok<\/a>. <\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u0442\u043e\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c\u0438. \u0422. \u0435. \u043e\u043d \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043f\u043e\u0434 \u043f\u0440\u043e\u0435\u043a\u0442 <a href=\"https:\/\/github.com\/vostok\/hercules\" rel=\"nofollow noopener noreferrer\">Hercules<\/a> \u0437\u0430\u0442\u043e\u0447\u0435\u043d. \u041e\u043d \u043d\u0430\u0446\u0435\u043b\u0435\u043d \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043e \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \u0441\u043e \u0432\u0441\u0435\u0445 \u0442\u044b\u0441\u044f\u0447 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0443\u043c\u0435\u0442\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043b\u043e\u0433\u0438, \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0438 \u0441\u0435\u0442\u0435\u0432\u043e\u0433\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c\u0438. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0430\u043a\u0436\u0435 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0448\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438, \u043d\u0430\u0448\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u043c\u043e\u0433\u043b\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u0431\u0438\u0437\u043d\u0435\u0441-\u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0442\u0430\u043a\u0443\u044e \u0442\u0440\u0443\u0431\u0443. <\/p>\n<p>  <\/p>\n<p>\u0410 \u0442\u0430\u043a\u0436\u0435 \u0432 \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Kafka \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gx\/jx\/sq\/gxjxsqkd9kcipghkkltoffl9jqy.png\"><\/p>\n<p>  <\/p>\n<p>\u0422. \u0435. \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0448\u0442\u0443\u043a\u0438, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. Kafka \u0433\u0434\u0435-\u0442\u043e \u044d\u0442\u043e \u0432\u0441\u0435 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u0442. \u041d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f Spark, \u0442\u0443\u0434\u0430 \u0437\u0430\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442. \u0410 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0435 \u0434\u0432\u0438\u0436\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u043e\u044f\u0442 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u043a\u043e\u043d\u0446\u0435. <\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0443 \u043d\u0430\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Kafka \u0432\u0435\u0440\u0441\u0438\u0438 2 \u0438 \u0432\u044b\u0448\u0435, \u0442. \u0435. \u0441\u0430\u043c\u0443\u044e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0442\u0430\u043c Java stack. <\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Kafka \u0432\u0435\u0440\u0441\u0438\u0438 0.11, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0435\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u043d\u0438 \u0434\u043b\u044f Python, \u043d\u0438 \u0434\u043b\u044f DotNet \u0434\u043b\u044f Kafka \u0432\u0435\u0440\u0441\u0438\u0438 1 \u0438 \u0432\u044b\u0448\u0435. \u0423 \u043d\u0430\u0441 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 stack \u2013 \u044d\u0442\u043e DotNet, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0431\u044f\u0442\u0430\u043c \u043e\u0447\u0435\u043d\u044c \u0442\u044f\u0436\u0435\u043b\u043e. \u0418 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0438 \u0441\u0442\u0430\u0440\u0443\u044e Kafka \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442. <\/p>\n<p>  <\/p>\n<p>\u0412 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 Kafka \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0438 \u0431\u0430\u0433\u0438, \u0441\u0432\u043e\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u0418 \u043e\u043d\u0438 \u043b\u0438\u0431\u043e \u043f\u0435\u0440\u0435\u0442\u0435\u043a\u0430\u044e\u0442 \u0438\u0437 \u0432\u0435\u0440\u0441\u0438\u0438 \u0432 \u0432\u0435\u0440\u0441\u0438\u044e, \u043b\u0438\u0431\u043e \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0444\u0438\u043a\u0441\u044f\u0442\u0441\u044f. \u041c\u043e\u0436\u0435\u0442 \u0434\u0430\u0436\u0435 \u0447\u0442\u043e-\u0442\u043e \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u043c \u043f\u043b\u0430\u043d\u0435. \u0418 \u043a \u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0434\u043e \u0431\u044b\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u043c \u043f\u0440\u0438 \u0430\u043f\u0434\u0435\u0439\u0442\u0435 \u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ty\/hq\/jn\/tyhqjns1kkqk_8zsgch53cthy9a.png\"><\/p>\n<p>  <\/p>\n<h3 id=\"davayte-razberemsya-chto-takoe-apache-kafka\">\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Apache Kafka<\/h3>\n<p>  <\/p>\n<h4 id=\"vvedenie-v-apache-kafka\">\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 Apache Kafka<\/h4>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u043d\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u043b \u0441\u0435\u0439\u0447\u0430\u0441 \u0440\u0443\u043a\u0443, \u043f\u043e\u044f\u0441\u043d\u044e, \u0447\u0442\u043e \u0443 Kafka \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. \u041f\u0435\u0440\u0432\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u2013 \u044d\u0442\u043e producer. Producer \u2013 \u044d\u0442\u043e \u0442\u043e\u0442, \u043a\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043a\u0443\u0447\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0445 \u043a\u0443\u0434\u0430-\u0442\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ub\/g0\/ug\/ubg0ugd0m-sqivf_onuk2ujfcbm.png\"><\/p>\n<p>  <\/p>\n<p>\u041d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f consumer. \u041e\u043d\u0438 \u0443\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u044e\u0442 \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u0447\u0442\u043e-\u0442\u043e \u0441 \u043d\u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u044e\u0442. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nf\/tu\/gg\/nftugg6gqwaiyjs6upzcdsrceh4.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440. \u0422\u0430\u043c \u0443 \u043c\u0435\u043d\u044f \u0431\u044b\u043b\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e, \u0447\u0442\u043e Apache Kafka \u2013 \u044d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0431\u0440\u043e\u043a\u0435\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u043a\u0443\u0447\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/t1\/xr\/o7\/t1xro7pxrytxinxqkkpbimmzvoo.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0435\u0441\u0442\u044c \u043a\u0443\u0447\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pj\/x9\/tb\/pjx9tbzyafuw3dshtf_txd0f6w0.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0445. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/te\/o3\/xb\/teo3xbaqx_k7opfqei2fyslxuns.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0430\u043c \u0431\u0440\u043e\u043a\u0435\u0440 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0442\u0430\u043a\u0438\u043c \u0437\u0432\u0435\u043d\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0442 producer \u043a consumer \u043d\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c, \u0430 \u0447\u0435\u0440\u0435\u0437 \u0442\u0430\u043a\u043e\u0439 \u0442\u043e\u043f\u0438\u043a. \u041e\u043f\u044b\u0442\u043d\u044b\u0439 \u0441\u043b\u0443\u0448\u0430\u0442\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u044b\u0439 Message Queue. \u041e\u0431\u044b\u0447\u043d\u044b\u0439, \u043d\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/uv\/mt\/wr\/uvmtwrvobiujc82_73lwif9qhyq.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Publish-Subscribe, \u0442. \u0435. \u0443 \u043d\u0430\u0441 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u0438\u0445\u0430\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432 \u0442\u043e\u043f\u0438\u043a, \u0430 consumers \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0438\u0445. \u0418 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u043c\u0438 consumers. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f poll-\u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430, \u0442. \u0435. \u0431\u0440\u043e\u043a\u0435\u0440 \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c: \u00ab\u0412\u043e\u0442, consumer, \u0442\u0435\u0431\u0435 \u043d\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u0417\u0430\u0431\u0435\u0440\u0438 \u0435\u0433\u043e\u00bb. \u041a\u0430\u0436\u0434\u044b\u0439 consumer \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0438\u0439\u0442\u0438 \u043a Kafka \u0438 \u0441\u043a\u0430\u0437\u0430\u0442\u044c: \u00ab\u0415\u0441\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435?\u00bb. \u0418 \u043e\u043d\u0430 \u043e\u0442\u0434\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043b\u0443\u0447\u0448\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0447\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u0441\u0430\u043c \u0431\u0440\u043e\u043a\u0435\u0440 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 consumers.<\/p>\n<p>  <\/p>\n<h4 id=\"arhitektura-apache-kafka\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Apache Kafka<\/h4>\n<p>  <\/p>\n<ul>\n<li>Topic<\/li>\n<li>Broker<\/li>\n<li>Producer<\/li>\n<li>Consumer<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041c\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438 4 \u0432\u0430\u0436\u043d\u044b\u0435 \u0432\u0435\u0449\u0438. \u042d\u0442\u043e \u0442\u043e\u043f\u0438\u043a, \u0431\u0440\u043e\u043a\u0435\u0440, producer \u0438 consumer. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e \u043d\u0438\u043c \u0438 \u043f\u043e\u0439\u0434\u0435\u043c \u0432 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435. <\/p>\n<p>  <\/p>\n<h4 id=\"arhitektura-kafka-topic\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Kafka Topic<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/lc\/lv\/tv\/lclvtvss9ze4lsby07cnf_mufpu.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u043e\u043f\u0438\u043a \u2013 \u044d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0435\u0434\u0438\u043d\u0438\u0446\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 producers, consumers. \u0418 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0430\u043a\u043e\u0439 \u0442\u043e\u043f\u0438\u043a \u2013 \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. <\/p>\n<p>  <\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0443 \u043d\u0430\u0441 \u0442\u043e\u043f\u0438\u043a \u0441 \u0442\u0440\u0435\u043c\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c\u0438. \u0412 \u043d\u0438\u0445 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u0427\u0442\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0430\u0436\u043d\u043e? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xf\/wy\/3z\/xfwy3zapgfg5bqbgfktv5w8tywq.png\"><\/p>\n<p>  <\/p>\n<ul>\n<li>\u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0438\u0448\u0443\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0435\u0446 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. <\/li>\n<\/ul>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gp\/ne\/dg\/gpnedg_hcdyhlgxzmw23ejtkax0.png\"><\/p>\n<p>  <\/p>\n<ul>\n<li>\u041f\u0438\u0441\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. \u041e\u043d\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b, \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0435\u0449\u0438.<\/li>\n<\/ul>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/p_\/f3\/jh\/p_f3jhcfo6oze8bus5qinoufrzk.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0439 \u043d\u043e\u043c\u0435\u0440, \u0441\u0432\u043e\u0439 offset. \u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u043d\u043e\u043c\u0435\u0440\u0430 0. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xe\/yn\/d5\/xeynd5qzs2yauubnaahyxvmqcee.png\">\u0418 \u0442\u0430\u043c \u043e\u043d\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0443. Offset = 0<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/j-\/ii\/tf\/j-iitfxwubvkrr4utrrfqmw-rwu.png\"><\/p>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u0432\u0440\u043e\u0434\u0435 \u0431\u044b \u043f\u0440\u043e\u0441\u0442\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/_g\/g7\/wn\/_gg7wnqgh451dmnynvtmmxndsmc.png\"><\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439. \u041e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u0432\u0435\u0441\u0438\u0442\u044c \u0434\u0435\u0441\u044f\u0442\u043a\u0438, \u0441\u043e\u0442\u043d\u0438 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442. \u0410 \u0432\u0438\u0434\u0435\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0430\u043a\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u043d\u0435 \u043f\u043e\u0445\u043e\u0440\u043e\u043d\u0438\u0442\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b. <\/p>\n<p>  <\/p>\n<p>\u0412\u043e\u0442 \u0443 \u043d\u0430\u0441 \u0442\u0430\u043a\u0430\u044f \u0434\u043b\u0438\u043d\u043d\u0430\u044f-\u0434\u043b\u0438\u043d\u043d\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ex\/9f\/76\/ex9f761cnm1xskbb9jckzp7egi8.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d\u0430 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u043a\u0443\u0441\u043e\u0447\u043a\u0438. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zi\/_1\/bh\/zi_1bhusjxfss4de2j6sbgjgvbq.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0442. \u0435. 1 \u0441\u0435\u0433\u043c\u0435\u043d\u0442, 2 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u0438 \u0442. \u0434. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/x7\/bp\/ox\/x7bpoxxqid7uv6dgz6kjzm503ju.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0435\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/w_\/e2\/5r\/w_e25rztejxibtppojdzwo1r2kw.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u0435\u0449\u0435 \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u043c. \u042d\u0442\u043e \u0442\u043e\u0442 \u0441\u0435\u0433\u043c\u0435\u043d\u0442, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0447\u0442\u043e \u043f\u0438\u0448\u0435\u043c \u0432\u0441\u0435\u0433\u0434\u0430 \u0432 \u043a\u043e\u043d\u0435\u0446 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u042d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u043d\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mc\/ks\/hv\/mckshvwj4-x04la0kbtbdefxety.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0430\u043a\u043e\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u043b \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. <\/p>\n<p>  <\/p>\n<p>\u0412\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 offset, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rz\/sn\/ap\/rzsnapivie1eeaeoexbu65rpass.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u0432\u0435\u0449\u0435\u0439. \u041f\u0440\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0439 offset \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gf\/im\/jd\/gfimjd1pqvdl67ekvw3griftzei.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435. \u0418 \u0442\u0430\u043a\u0436\u0435 data, index, timeindex \u2013 \u044d\u0442\u043e \u0442\u0440\u0438 \u0444\u0430\u0439\u043b\u0430. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/sh\/ob\/ns\/shobnsawvfswghh37uhtwybhzka.png\"><\/p>\n<p>  <\/p>\n<p>Data \u2013 \u044d\u0442\u043e \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u0442. \u0435. \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0437\u0434\u043e\u0440\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b. \u0418 \u0432 \u043d\u0435\u043c \u043b\u0435\u0436\u0430\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. Kafka \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e, \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0439\u0442\u0435, \u0447\u0442\u043e \u0445\u043e\u0442\u0438\u0442\u0435 \u0432 \u043d\u0435\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/kd\/qp\/sg\/kdqpsge229mnrmsw8o9804ehfvy.png\"><\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 index? \u0415\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044e, \u0442\u043e \u043d\u0430\u0434\u043e \u0443\u043c\u0435\u0442\u044c \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u043e. \u041a\u0430\u043a \u0440\u0430\u0437 index \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ct\/xe\/5d\/ctxe5d792bkbogcsluydh6v7r_w.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u041a\u0430\u0436\u0434\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0432 index \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 \u043e\u0431\u0449\u0435\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 8 \u0431\u0430\u0439\u0442. \u0422\u0430\u043c \u0434\u0432\u0430 int: relative offset, positon. <\/p>\n<p>  <\/p>\n<p>Relative offset \u2013 \u044d\u0442\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430. <\/p>\n<p>  <\/p>\n<p>\u0411\u0435\u0440\u0435\u043c offset \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u044b\u0439 offset, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u043e\u0442 \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e. <\/p>\n<p>  <\/p>\n<p>\u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0439 offset \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0438 \u043d\u0435 \u0432\u043b\u0435\u0437\u0435\u0442 \u0432 int. \u041d\u043e \u0443 \u043d\u0430\u0441 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 offset \u0432\u043b\u0435\u0437\u0435\u0442 \u0432 int. <\/p>\n<p>  <\/p>\n<p>\u0422\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0441 position. Position \u2013 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u044d\u0442\u043e\u043c \u043b\u043e\u0433-\u0444\u0430\u0439\u043b\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/up\/4u\/sp\/up4uspjkjcg1dzjusgni97u1nsi.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0440\u0430\u0441\u0442\u0435\u0442 relative offset \u043d\u0430 \u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0443, \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0441\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/g2\/2y\/cl\/g22ycll6yvax5ohnaytpsglffke.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443 \u0440\u0430\u0441\u0442\u0435\u0442-\u0440\u0430\u0441\u0442\u0435\u0442. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yx\/lb\/5p\/yxlb5p4rgcrvhbzgoeqebnzuj34.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0442\u043e\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441\u0443. \u041c\u044b \u0437\u043d\u0430\u0435\u043c \u043d\u043e\u043c\u0435\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043d\u0430\u0439\u0442\u0438. \u0411\u044b\u0441\u0442\u0440\u043e \u0447\u0435\u0440\u0435\u0437 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 offset \u043d\u0430\u0445\u043e\u0434\u0438\u043c relative offset \u0438 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0435\u0433\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044e, \u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0431\u0438\u0440\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043c \u043d\u0435 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u044b\u0435. \u0422\u0430\u043c \u0435\u0441\u0442\u044c \u0448\u0430\u0433, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0432 \u0438\u043d\u0434\u0435\u043a\u0441. \u042d\u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 Kafka. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/3w\/5o\/5o\/3w5o5ofw4ljhtcf9gfeq-gpaiza.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0443\u0441\u0442\u0440\u043e\u0435\u043d timeindex. \u0414\u043b\u044f \u0447\u0435\u0433\u043e \u043e\u043d \u043d\u0443\u0436\u0435\u043d? \u041a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432 Kafka \u0438\u043c\u0435\u0435\u0442 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043c\u0435\u0442\u043a\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0418 \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0431\u044b \u0443\u043c\u0435\u0442\u044c \u0438\u0441\u043a\u0430\u0442\u044c \u043f\u043e \u044d\u0442\u043e\u0439 \u0432\u0435\u0442\u043a\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. Timeindex \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443. <\/p>\n<p>  <\/p>\n<h4 id=\"arhitektura-kafka-broker\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Kafka Broker<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/v6\/ls\/nl\/v6lsnljaa4v5f3hzo7n2z4va4h4.png\"><\/p>\n<p>  <\/p>\n<p>\u0412\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443, \u043a \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u043c. \u041a\u043b\u0430\u0441\u0442\u0435\u0440 \u2013 \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432. <\/p>\n<p>  <\/p>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/c3\/td\/mi\/c3tdmivdhbpobugqqlgmf-hlqcq.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u041e \u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0447\u0443\u0442\u044c \u043f\u043e\u043f\u043e\u0437\u0436\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fp\/ve\/u6\/fpveu6_gfolkpmheg94e9axg2ya.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u043e\u043f\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0442\u043e\u043f\u0438\u043a \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0438\u0437 \u0442\u0440\u0435\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432. \u0418 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c \u043f\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443. <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c Kafka \u043d\u0430\u0434\u0435\u0436\u043d\u0430\u044f, \u0443 \u043d\u0435\u0435 \u0435\u0441\u0442\u044c replication factor \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430. \u0418 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u043d \u0440\u0430\u0432\u0435\u043d \u0442\u0440\u0435\u043c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vy\/mq\/sa\/vymqsacqthjfnlp_reths2_g5wi.png\"><\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0434\u043e\u043b\u0436\u043d\u0430 \u0438\u043c\u0435\u0442\u044c \u0442\u0440\u0438 \u043a\u043e\u043f\u0438\u0438. \u0423 \u043d\u0430\u0441 \u0442\u0440\u0438 \u043a\u043e\u043f\u0438\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e \u043a\u043e\u043f\u0438\u0438. <\/p>\n<p>  <\/p>\n<p>\u0412\u043e\u0442 \u0443 \u043d\u0430\u0441 4 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c, \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u0438 \u043d\u0430 \u0442\u0440\u0435\u0442\u044c\u0435\u043c. <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c Kafka \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043a \u0442\u043e\u043f\u0438\u043a\u0443. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/re\/p2\/uj\/rep2ujtlnlo-wodfyfgvyin1wkw.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u043d\u0435\u0442 \u043c\u043d\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<p>  <\/p>\n<p>\u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u2013 \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u043d\u0443. \u0418 \u0442\u0430\u043c producers \u0441\u0442\u0430\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0438\u0441\u0430\u0442\u044c \u0441 \u0442\u043e\u0439 \u0436\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e. <\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0440\u043e\u043b\u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u043b\u0438\u0434\u0435\u0440\u0430. \u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0434\u043e\u043b\u0436\u043d\u0430 \u0438\u043c\u0435\u0442\u044c \u0441\u0432\u043e\u0435\u0433\u043e \u043b\u0438\u0434\u0435\u0440\u0430. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2h\/ru\/lz\/2hrulz42siengjdhwk2y7wnwioc.png\"><\/p>\n<p>  <\/p>\n<p>\u041b\u0438\u0434\u0435\u0440 \u2013 \u044d\u0442\u043e \u0442\u043e\u0442 \u0431\u0440\u043e\u043a\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e. \u041d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0443 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0438\u0434\u0435\u0440\u043e\u0432. \u0418\u043d\u0430\u0447\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0447\u0442\u043e-\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0431\u044b \u0441\u0432\u043e\u0435, \u0430 \u043f\u043e\u0442\u043e\u043c \u044d\u0442\u043e \u043d\u0438\u043a\u0430\u043a \u043d\u0435\u043b\u044c\u0437\u044f \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0432 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043e\u0434\u043d\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yr\/dr\/bb\/yrdrbbza19dyi2ahmejiudhe5nk.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u0440\u043e\u043a\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043b\u0438\u0434\u0435\u0440\u043e\u043c \u0443 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gz\/vc\/oc\/gzvcochiye6vaed-suph_mlriey.png\"><\/p>\n<p>  <\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0442\u0430\u043a, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0435 \u043b\u0438\u0434\u0435\u0440\u0441\u0442\u0432\u043e \u0434\u0432\u0443\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u041d\u0430 \u043e\u0434\u043d\u043e\u043c \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0430. <\/p>\n<p>  <\/p>\n<p>Kafka \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443 \u0438 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0442\u0430\u043a, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u0431\u0440\u043e\u043a\u0435\u0440 \u043f\u044b\u0445\u0442\u0438\u0442 \u0438 \u0432 \u0441\u0435\u0431\u044f \u0432\u0441\u0435 \u043f\u0438\u0448\u0435\u0442-\u043f\u0438\u0448\u0435\u0442, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0434\u044b\u0445\u0430\u044e\u0442. \u0427\u0442\u043e\u0431\u044b \u0442\u0430\u043a\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e, \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/cj\/xk\/_u\/cjxk_uylpbmo_cik3qnrmu5fqmq.png\"><\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0434\u0430\u043b\u044c\u0448\u0435? \u0414\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0438\u0448\u0443\u0442\u0441\u044f \u0432 \u043b\u0438\u0434\u0435\u0440\u0430, \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u043f\u043e \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u043c. \u0422\u0435, \u043a\u0442\u043e \u0432 \u0441\u0435\u0431\u044f \u0442\u0430\u0449\u0430\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u043b\u0438\u0434\u0435\u0440\u0430, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f follower. \u041e\u043d\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0437\u0430 \u043d\u0438\u043c \u0438 \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443 \u043f\u043e\u0434\u043a\u0430\u0447\u0438\u0432\u0430\u044e\u0442 \u043a \u0441\u0435\u0431\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/js\/cr\/d4\/jscrd4-pdeqoidsp0x5spuncuc0.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043e\u043d\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0438 \u0432 \u0441\u0435\u0431\u0435 \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043e\u043d\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043a\u0440\u0443\u0442\u044b\u043c\u0438, \u043e\u043d\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f in sync replica. \u042d\u0442\u043e \u0440\u0435\u043f\u043b\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0441 \u043b\u0438\u0434\u0435\u0440\u043e\u043c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wt\/8x\/wd\/wt8xwdm75gtgeapug2iaoafkdi0.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0432 \u0438\u0434\u0435\u0430\u043b\u0435 \u0443 \u043d\u0430\u0441 \u0432\u0435\u0441\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d, \u0442. \u0435. \u0432\u0441\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0432 \u0441\u043f\u0438\u0441\u043a\u0435 in sync replica. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0438\u0437 \u0440\u0435\u043f\u043b\u0438\u043a \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u0430\u0441\u0442\u044c. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e follower, \u0442\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0433\u043e? \u041f\u043e\u0447\u0435\u043c\u0443? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e follower \u0445\u043e\u0434\u0438\u0442 \u0432 \u043b\u0438\u0434\u0435\u0440 \u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u0418 \u043f\u043e\u0434\u0443\u043c\u0430\u0435\u0448\u044c, \u0435\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u0435\u0442 \u0445\u043e\u0434\u0438\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/w2\/uu\/ij\/w2uuij2wt7bg2b3ls88r9c4czsu.png\"><\/p>\n<p>  <\/p>\n<p>\u0410 \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 \u0441\u0430\u043c \u043b\u0438\u0434\u0435\u0440 \u043f\u0440\u043e\u043f\u0430\u0434\u0430\u0435\u0442? <\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0431\u044b\u043b \u043b\u0438\u0434\u0435\u0440 \u0432 \u0431\u0440\u043e\u043a\u0435\u0440 3 \u043d\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 2, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u043e\u043f\u0430\u043b. \u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0435 \u043c\u043e\u0436\u0435\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043b\u0438\u0434\u0435\u0440\u0430 \u043d\u0435\u0442.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/o3\/j6\/ph\/o3j6phntbx5vr6em7m_nohgkioi.png\"><\/p>\n<p>  <\/p>\n<p>Kafka \u043d\u0435 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f, \u043e\u043d\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u043e\u0432\u043e\u0433\u043e \u043b\u0438\u0434\u0435\u0440\u0430. \u0418 \u0437\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440. \u0412\u0441\u0435, \u043e\u0442\u043b\u0438\u0447\u043d\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/r8\/vv\/fu\/r8vvfumalk2y_07fb4-ajk08zni.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441 \u043d\u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0434\u0440\u0443\u0433\u0438\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u043c. \u041d\u043e \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0441\u0442\u0430\u0440\u044b\u0439 \u043b\u0438\u0434\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043e\u0436\u0438\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/bp\/kz\/vs\/bpkzvsl_6-pte6qosfiifgs8dus.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u0436\u0438\u043b, \u0443 \u043d\u0435\u0433\u043e \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u043e\u043d \u0443\u0441\u043f\u0435\u043b \u043e\u0442\u0441\u0442\u0430\u0442\u044c \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043b\u0438\u0434\u0435\u0440\u0441\u0442\u0432\u043e \u0441\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c, \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gl\/oj\/ej\/glojejr1fujhdhd_yjrbqvxoonm.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d \u0443\u0436\u0435 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u043e\u0432\u043e\u0433\u043e \u043b\u0438\u0434\u0435\u0440\u0430. \u041e\u043d \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b. \u041a\u043b\u0430\u0441\u0442\u0435\u0440 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f. \u0418 \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ic\/_b\/zi\/ic_bziozp1pbhk3mlpabhokb-h4.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u043e\u0442\u043e\u043c \u0432 Kafka \u0441\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0433\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u2013 \u0440\u0430\u0437 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043b\u0438\u0434\u0435\u0440\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yc\/cx\/lp\/yccxlptwojwmgsgscygylzhdauo.png\"><\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e? \u0415\u0441\u043b\u0438 \u043c\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u0443\u0434\u0435\u043c \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u043e\u0434\u044b, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u0437\u044f\u0442\u044c \u0438 \u0441\u043e\u0433\u043d\u0430\u0442\u044c \u043b\u0438\u0434\u0435\u0440\u0441\u0442\u0432\u043e \u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u0430. \u042d\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e. \u041e\u043d \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u0437\u0430 \u0432\u0441\u044e \u0437\u0430\u043f\u0438\u0441\u044c, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0431\u0440\u043e\u043a\u0435\u0440\u044b \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0434\u044b\u0445\u0430\u0442\u044c. \u0418 \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e Kafka \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0443\u043c\u0435\u0435\u0442 \u044d\u0442\u043e \u0434\u0435\u043b\u043e \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0418 \u0443 \u043d\u0435\u0435 \u0435\u0441\u0442\u044c \u043a\u0443\u0447\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044d\u0442\u043e \u0434\u0435\u043b\u043e \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u044e\u0442. <\/p>\n<p>  <\/p>\n<h4 id=\"arhitektura-kafka-producer\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Kafka Producer<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/oj\/ei\/du\/ojeidus0mcdhhaha_oh3anbag8y.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0439\u0434\u0435\u043c \u043a \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0443, \u0442. \u0435. \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0438\u0448\u0443\u0442\u0441\u044f. <\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0430\u0440\u0430 \u043a\u043b\u044e\u0447, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043b\u044f Kafka \u0438 \u043a\u043b\u044e\u0447, \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u2013 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0430\u0441\u0441\u0438\u0432 \u0431\u0430\u0439\u0442\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0441\u0435, \u0447\u0442\u043e \u0443\u0433\u043e\u0434\u043d\u043e. \u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u043d \u0442\u0443\u0434\u0430 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u0435\u0442. \u0418 consumer \u0434\u043e\u043b\u0436\u0435\u043d \u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u043d \u0442\u0443\u0434\u0430 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u0435\u0442. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vi\/9f\/xu\/vi9fxu5nyhjoucoofyf5mpwkzrg.png\"><\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u043a\u043b\u044e\u0447? \u041a\u043b\u044e\u0447 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u043e\u043c\u0435\u0440\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043a\u0443\u0434\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/MurmurHash2\" rel=\"nofollow noopener noreferrer\">MurmurHash<\/a> \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u043a\u043b\u044e\u0447 \u0435\u0441\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rx\/er\/hz\/rxerhzrihazfqpmeq8h_vc7ip64.png\"><\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043b\u044e\u0447\u0430 \u043d\u0435\u0442, \u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f round robin, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043f\u043e \u043a\u0440\u0443\u0433\u0443, \u0442. \u0435. \u0434\u043e\u0448\u0435\u043b \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441 \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0438 \u0442.\u0434. <\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0430\u0436\u043d\u044b\u0439 point: \u043a\u0443\u0434\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440. \u0422. \u0435. \u043d\u0435 \u0431\u0440\u043e\u043a\u0435\u0440 \u043a\u0430\u043a-\u0442\u043e \u0442\u0430\u043c \u0441\u0430\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440. \u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u043b\u0438\u0434\u0435\u0440\u0430. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u043d \u043f\u0438\u0448\u0435\u0442 \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u0430, \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e.<\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e \u043a\u043b\u044e\u0447 \u044f \u0443\u0436\u0435 \u0441\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e Kafka \u044d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u043a \u043c\u0430\u0441\u0441\u0438\u0432 \u0431\u0430\u0439\u0442\u043e\u0432 \u0438 \u0442\u0430\u043a \u0436\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0432 \u043b\u043e\u0433, \u043a\u0430\u043a \u0438 \u0434\u0440\u0443\u0433\u0443\u044e \u043c\u0435\u0442\u0430\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0414\u0440\u0443\u0433\u0430\u044f \u043c\u0435\u0442\u0430\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u2013 \u044d\u0442\u043e offset, timestamp \u0438 \u0442. \u0434. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/hv\/zg\/fa\/hvzgfarfz4qxquejyxr3ipmzlqk.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f. \u0418 \u0443 \u043d\u0435\u0435 \u0442\u0440\u0438 \u0440\u0435\u043f\u043b\u0438\u043a\u0438. \u041e\u043d\u0438 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b. <\/p>\n<p>  <\/p>\n<p>\u041e\u0434\u043d\u0430 \u0438\u0437 \u043d\u0438\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0434\u0435\u0440\u043e\u043c. \u0412 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e 9 \u0437\u0430\u043f\u0438\u0441\u0435\u0439. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qb\/lo\/n2\/qblon2vban8p4sslscy_loztjzq.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440. \u0415\u0441\u0442\u044c \u0442\u0430\u043a\u0430\u044f \u0448\u0442\u0443\u043a\u0430 \u0432 Kafka, \u043a\u0430\u043a acknowledgement, \u0442. \u0435. \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0438\u0441\u0438. \u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0438\u0441\u044c <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ea\/kl\/ht\/eaklhtbkvltok8loh1qgp4nnwms.png\"><\/p>\n<p>  <\/p>\n<p>\u041d\u0443\u043b\u0435\u0432\u043e\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u044b\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438. \u041a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/m-\/sc\/eq\/m-sceq1qz_iobyz493gxz-elxta.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u0438\u0441\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u041e\u043d \u043f\u0435\u0440\u0435\u0434\u0430\u043b \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/td\/ch\/jt\/tdchjts3i5acmisfcappb43ze1k.png\"><\/p>\n<p>  <\/p>\n<p>\u0415\u043c\u0443 \u043d\u0435 \u043d\u0430\u0434\u043e \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f. <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f \u0432 Kafka, \u0430 \u043c\u043e\u0433\u043b\u0438 \u043d\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f. \u0422\u0430\u043c \u043c\u043e\u0433\u043b\u0430 \u0431\u044b\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u0418 \u043b\u0438\u0434\u0435\u0440 \u0432 \u0440\u0435\u043f\u043b\u0438\u043a\u0435 0 \u043c\u043e\u0433 \u043d\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0418 \u0442\u0443\u0442 \u0443\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xq\/c-\/ar\/xqc-arwtswus3sbp-irxxx0qyfc.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u043c \u0443\u0440\u043e\u0432\u0435\u043d\u044c. \u0423\u0440\u043e\u0432\u0435\u043d\u044c \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0441\u0442\u0430\u043b 1. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/lm\/q2\/94\/lmq2948untc4q_dtmafwbytof0y.png\"><\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c? \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u0438\u0448\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435. \u041e\u043d \u043f\u0435\u0440\u0435\u0434\u0430\u043b \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 Kafka. Kafka \u043f\u0438\u0448\u0435\u0442. \u041e\u043d \u0436\u0434\u0435\u0442. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/js\/t4\/xn\/jst4xncyzh9krnazzq9ifh6fzpe.png\"><\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u043f\u0438\u0441\u044c \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043d\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0430. \u0411\u0440\u043e\u043a\u0435\u0440 \u0432\u0435\u0440\u043d\u0443\u043b \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2n\/9p\/it\/2n9pitrga236ftjhi-n6cp7ifnu.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e. <\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a\u043e\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vm\/sy\/vi\/vmsyvipnoyodraqd2y4qjkbi58c.png\"><\/p>\n<p>  <\/p>\n<p>Followers \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043a \u043b\u0438\u0434\u0435\u0440\u0443 \u0438 \u0433\u043e\u0432\u043e\u0440\u044f\u0442: \u00ab\u0423 \u0442\u0435\u0431\u044f \u0435\u0441\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435?\u00bb. \u041e\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442: \u00ab\u0414\u0430\u00bb. \u0418 \u043e\u043d\u0438 \u044d\u0442\u043e \u0437\u0430\u0431\u0438\u0440\u0430\u044e\u0442. \u0410 \u043c\u043e\u0433\u043b\u0438 \u0438 \u043d\u0435 \u0437\u0430\u0431\u0440\u0430\u0442\u044c. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e. \u041e\u0431 \u044d\u0442\u043e\u043c \u043c\u044b, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u043f\u043e\u0437\u0436\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0439 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/sd\/1j\/j1\/sd1jj1tbwfiitp0uqnniufxkdj8.png\"><\/p>\n<p>  <\/p>\n<p>\u0418, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c. \u0423\u0440\u043e\u0432\u0435\u043d\u044c all, \u043a\u043e\u0433\u0434\u0430 \u0438\u0434\u0435\u043c \u043d\u0430 \u0432\u0441\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/tc\/kg\/fj\/tckgfj3mg2adn_tajv8kw93i2ng.png\"><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442? \u0423 \u043d\u0430\u0441 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u0438\u0448\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043b\u0438\u0434\u0435\u0440\u0430. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zr\/jc\/dg\/zrjcdgzuek8xwjbnpfzjet19x9s.png\"><\/p>\n<p>  <\/p>\n<p>\u041b\u0438\u0434\u0435\u0440 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b, \u043d\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u043e\u043a\u0430 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0443. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ob\/r-\/_d\/obr-_dgwbmc7y82ajzitadyffpw.png\"><\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 followers \u0444\u043e\u043d\u043e\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wc\/0k\/dz\/wc0kdza1zjucvpmzhutcg9plqbc.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0438\u0445 \u0444\u0435\u0442\u0447\u0438\u0442\u044c \u0441 \u043b\u0438\u0434\u0435\u0440\u0430, \u043f\u0438\u0448\u0443\u0442 \u043a \u0441\u0435\u0431\u0435. \u0417\u0430\u043f\u0438\u0441\u0430\u043b \u043f\u0435\u0440\u0432\u044b\u0439, \u0437\u0430\u043f\u0438\u0441\u0430\u043b \u0432\u0442\u043e\u0440\u043e\u0439. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ff\/ru\/9k\/ffru9kbx6g9zvyto-tsvkaex9r4.png\"><\/p>\n<p>  <\/p>\n<p>\u0411\u0440\u043e\u043a\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043b\u0438\u0434\u0435\u0440, \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0430 \u0432\u0441\u0435\u0445 \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0443, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0438\u0441\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/tv\/bm\/de\/tvbmdeztf0oaol8dotpwieuvlz8.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0443\u0442 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f. \u042d\u0442\u043e min.insync.replicas. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yi\/ce\/sy\/yicesyc39kkngazcujprszzvrfs.png\"><\/p>\n<p>  <\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u044d\u0442\u043e \u0440\u0430\u0432\u043d\u043e 3, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u0438\u0434\u0435\u0440 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0438\u0441\u044c \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 \u044d\u0442\u0438 3 \u0440\u0435\u043f\u043b\u0438\u043a\u0438, \u0442. \u0435. \u0432 \u0441\u0435\u0431\u0435 + \u0435\u0449\u0435 2. <\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u0443 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u0437\u0438\u0442\u044c, \u0442\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0436\u0438\u0434\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0432\u0441\u0435\u0445, \u0430, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, <code>\u0432\u0441\u0435-1<\/code>.<\/p>\n<p>  <\/p>\n<h4 id=\"arhitektura-kafka-consumer\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Kafka Consumer<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mx\/wh\/jp\/mxwhjpfs3kbqxhcmx4ewzq92w3g.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 consumer. \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u041f\u043e\u043a\u0430 consumer \u0431\u0443\u0434\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u041e\u043d \u0435\u0449\u0435 \u043d\u0438 \u0440\u0430\u0437\u0443 \u043d\u0435 \u0447\u0438\u0442\u0430\u043b, \u043e\u043d \u0447\u0438\u0442\u0430\u0435\u0442 \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430. \u0412\u043e\u0442 \u043e\u043d \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/5s\/jz\/ml\/5sjzml1lufuely1wirfnflhtf0u.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0448\u0435\u043b \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u043c\u043e\u043c\u0435\u043d\u0442\u0443, \u0438 \u0442\u0430\u043a \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0434\u043e\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fw\/yn\/ca\/fwyncawvzyoaszol3lvmg5igba8.png\"><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/3s\/55\/g5\/3s55g5oti5ouva95hawwa-yucbw.png\"><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gn\/c9\/ti\/gnc9tiwjvsciubx7yjtqvhayzqa.png\"><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/5f\/_t\/jl\/5f_tjlaibos9ktppf7r79j2cnsq.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jb\/xo\/gg\/jbxoggslhvxppiqhjc_chdmqdpy.png\"><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mq\/qm\/vc\/mqqmvcra2nwmytdruemr1cj3nqm.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u043c\u0435\u0441\u0442\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0437\u0430\u0431\u0438\u0440\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nh\/_k\/rq\/nh_krqm736hbvvgwcxoeeis04m8.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u0437\u0430\u0431\u0440\u0430\u043b \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mh\/ef\/jw\/mhefjwlzsi7ocsxc4nkpfzfxoxu.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0448\u0435\u043b \u0434\u0430\u043b\u044c\u0448\u0435-\u0434\u0430\u043b\u044c\u0448\u0435 \u0438 \u0434\u043e\u0448\u0435\u043b \u0434\u043e \u043a\u043e\u043d\u0446\u0430. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/1m\/fp\/fp\/1mfpfpvb0qfwwvwii613dpvlydc.png\"><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/tn\/v5\/he\/tnv5hepdyfs42sbqtng6smzizgc.png\"><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/3_\/6a\/gm\/3_6agm4qxskrjdv7ruzadxhavqc.png\"><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/8q\/pf\/0u\/8qpf0uvwv7g1y9y6u3neg-hqpaa.png\"><\/p>\n<p>  <\/p>\n<p>\u0410 \u0432 version polled \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432 Kafka \u0435\u0449\u0435 \u043d\u0435\u0442. \u0418 \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u043e\u0432\u044b\u0435 \u043d\u0435 \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f, \u0438 \u043e\u043d \u0438\u0445 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u0435\u0441\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u044c. \u041a\u043e\u0433\u0434\u0430 \u0432\u043e\u0442 \u044d\u0442\u043e \u043e\u043d \u0434\u0435\u043b\u0430\u043b, \u043e\u043d \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043b \u043c\u0435\u0441\u0442\u043e, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435. \u041e\u043d \u043c\u043e\u0433 \u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c\u0441\u044f, \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u043f\u0440\u0438\u0431\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441. \u0418 \u044d\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043b\u0438 \u0438 \u0442\u0435, \u043a\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u0438 Kafka. \u0418 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0442\u0430\u043a\u0443\u044e \u0444\u0438\u0447\u0443, \u043a\u0430\u043a commit offset. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/x8\/m3\/wl\/x8m3wlazxqbvoezriz7_d9sx5m8.png\"><\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pz\/kx\/yt\/pzkxytdlspsk0q_vvebzb1cfkmm.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c consumer, \u043e\u043d \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jn\/zb\/rc\/jnzbrcwkni1xhoxwzx9ldfehgri.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435, \u043e\u043d \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442. \u041e\u043d \u0433\u043e\u0432\u043e\u0440\u0438\u0442 Kafka: \u00ab\u042f \u0434\u043e\u0447\u0438\u0442\u0430\u043b \u0434\u043e \u0432\u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0438 \u0441 \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u044f \u0445\u043e\u0447\u0443 \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c\u00bb. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u043d \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0438 \u0447\u0438\u0442\u0430\u0435\u0442. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/b-\/ho\/9q\/b-ho9qyn05fd62wt-ttrvyi3ev8.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0442\u043e\u043c \u0443 \u043d\u0435\u0433\u043e \u043c\u043e\u0433\u043b\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438 \u0447\u0442\u043e-\u0442\u043e \u0438 \u043e\u043d \u043e\u0442\u0432\u0430\u043b\u0438\u043b\u0441\u044f. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ve\/o5\/yy\/veo5yyev88okguxihy2pqiklnho.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d \u043d\u0435 \u0443\u0441\u043f\u0435\u043b \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0422. \u0435. \u0432\u043e\u0442 \u044d\u0442\u0438 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0447\u0435\u043d\u043d\u044b\u043c\u0438. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/5v\/qa\/an\/5vqaan78klxnwdwxjn5j5yak4qs.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043a\u043e\u0433\u0434\u0430 consumer \u0432\u0435\u0440\u043d\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0431\u043e\u0442\u0443, \u043e\u043d \u043d\u0430\u0447\u043d\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0441 \u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0440\u0430\u0437 \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043b. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/iu\/q4\/qu\/iuq4quuutm5lkzhki5bqr_u0o7u.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0441 \u043d\u0435\u0433\u043e \u0431\u043b\u0430\u0433\u043e\u043f\u043e\u043b\u0443\u0447\u043d\u043e \u043d\u0430\u0447\u043d\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xg\/ba\/lp\/xgbalp9_ba5drlulvsgbxunpiyy.png\"><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0435 \u043b\u043e\u0433\u0438\u0447\u043d\u043e. <\/p>\n<p>  <\/p>\n<p>\u041c\u044b \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043f\u0438\u0441\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0443\u043c\u0435\u0442\u044c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/oc\/g5\/c_\/ocg5c_vj6gp7cj7hj9hups6ddto.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c consumer, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0443\u0436\u0435 \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u0447\u0442\u0435\u043d\u0438\u0435\u043c \u0432\u0441\u0435\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/3z\/ou\/la\/3zoulavvkihrvmmqspmwiwsi8vq.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u043c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d. \u0418 \u043a\u0430\u043a \u0431\u044b \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c? \u041c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e \u043e\u0434\u0438\u043d consumer \u0447\u0438\u0442\u0430\u0435\u0442 \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439, \u0432\u0442\u043e\u0440\u043e\u0439 consumer \u0447\u0438\u0442\u0430\u0435\u0442 \u0438\u0437 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u041d\u043e \u044d\u0442\u0438\u043c \u043e\u0447\u0435\u043d\u044c \u0442\u0440\u0443\u0434\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0440\u0443\u0447\u043a\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 Kafka \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 \u0432\u043e\u0442 \u0442\u0430\u043a\u0430\u044f \u0448\u0442\u0443\u043a\u0430. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/hp\/ro\/t1\/hprot1o3e05t_wjgjvaaykpf1ty.png\"><\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u043d\u0430\u0431\u043e\u0440 consumers \u0432 \u0433\u0440\u0443\u043f\u043f\u0443. \u0418 \u0443 \u043d\u0438\u0445 \u0442\u0430\u043c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0449\u0438\u0439 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2r\/jy\/0b\/2rjy0ba8cfvvs7z8u-afxqrhsjg.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u043e\u043d\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u044e\u0442 \u0432\u0441\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0438 \u043d\u0430\u0447\u043d\u0443\u0442 \u0447\u0438\u0442\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/lj\/or\/zf\/ljorzfl-egysxhmbkuin5qwori0.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0438\u0445 \u0442\u0430\u043c \u0431\u044b\u043b \u043a\u0430\u043a\u043e\u0439-\u0442\u043e offset, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u043d\u0430\u0447\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/m2\/ku\/3t\/m2ku3t5qzsj7dw-ndznr83s7t7w.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0447\u0438\u0442\u0430\u043b, \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0447\u0430\u043b \u0447\u0438\u0442\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yz\/bx\/3l\/yzbx3lgwwj1cgd3fvabni_enwxe.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0432\u0442\u043e\u0440\u043e\u0439 \u2013 \u0431\u0430\u0445 \u0438 \u0443\u043f\u0430\u043b, \u0438 \u043d\u0435 \u0434\u043e\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043b \u0447\u0442\u043e-\u0442\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ur\/bn\/tg\/urbntgwbwvv1iahndmucjuswg_i.png\"><\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442? \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043d\u0430\u0434\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0441\u043d\u043e\u0432\u0430 \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ay\/fu\/sb\/ayfusb2eeaxchoewc2ln7qvf-ns.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u0432 \u044d\u0442\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/oz\/nd\/sw\/ozndsw1uug9vbrsulhufjn5m-qo.png\"><\/p>\n<p>  <\/p>\n<p>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0436\u0438\u0432\u043e\u0439 consumer \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u0438\u0442 \u044d\u0442\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/a8\/uv\/vd\/a8uvvdg9hciblkrs9f4zsefvz6g.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0443\u0436\u0435 \u0441\u0430\u043c \u043d\u0430\u0447\u043d\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pe\/ak\/vc\/peakvc950rhf44ns645unofhqva.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0430\u043a \u0436\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/60\/if\/7l\/60if7l20pvsyp1ejx03dwvytx0y.png\"><\/p>\n<p>  <\/p>\n<p>\u0410 \u043f\u043e\u0442\u043e\u043c consumer \u043e\u0436\u0438\u043b, \u0432\u0441\u0435 \u0443 \u043d\u0435\u0433\u043e \u0445\u043e\u0440\u043e\u0448\u043e. \u041e\u043d \u0441\u043d\u043e\u0432\u0430 \u043f\u0440\u0438\u0441\u043e\u0435\u0434\u0438\u043d\u044f\u0435\u0442\u0441\u044f \u043a \u0433\u0440\u0443\u043f\u043f\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qe\/d1\/q6\/qed1q6eno0bnpm7ycvxtdljgte0.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e, \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0422\u0430\u043c \u043e\u0447\u0435\u043d\u044c \u043a\u043b\u0435\u0432\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u0432\u0441\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e. <\/p>\n<p>  <\/p>\n<h3 id=\"neochevidnosti-kafka\">\u041d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u0438 Kafka<\/h3>\n<p>  <\/p>\n<p>\u041d\u043e \u043f\u043e\u0442\u043e\u043c \u043c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0432\u0441\u0435 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u0435\u0440\u0435\u0436\u0438\u043b\u0438 \u0437\u0430 \u0433\u043e\u0434 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u0447\u0435\u0441\u0442\u043d\u043e \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c-\u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0442\u043a\u043e\u0435 \u0438\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435. <\/p>\n<p>  <\/p>\n<p>\u042f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0442\u043e\u0433\u043e, \u0441 \u0447\u0435\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Kafka. <\/p>\n<p>  <\/p>\n<h4 id=\"nastroyki---kak-razlomat-klaster\">\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u2014 \u041a\u0430\u043a \u0440\u0430\u0437\u043b\u043e\u043c\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440<\/h4>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a. \u041a\u0430\u043a \u0440\u0430\u0437\u043b\u043e\u043c\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440? \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043b\u043e\u043c\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438. \u042f \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0443 \u043e\u0434\u0438\u043d. <\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0432 Kafka. \u041d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f log.dirs. \u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0433\u0430\u0434\u0430\u0442\u044c\u0441\u044f \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f, \u044d\u0442\u043e \u043f\u0430\u043f\u043a\u0438, \u0433\u0434\u0435 \u043b\u0435\u0436\u0430\u0442 \u0434\u0430\u043d\u043d\u044b\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/sm\/dd\/dj\/smdddjjno_uopl7kebcbgkj3tmm.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0430. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445 \u043f\u043e \u0440\u0435\u043f\u043b\u0438\u043a\u0435, \u043f\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/f-\/gj\/oy\/f-gjoyax9-em4ldidfjxyfgs2_k.png\">\u041e\u0434\u0438\u043d \u2013 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c, \u043e\u043d \u043d\u0435 \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u0437\u0430 \u043b\u0438\u0434\u0435\u0440\u043e\u043c. \u041b\u0438\u0434\u0435\u0440 \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0431\u044b\u043b \u043d\u0430\u043c\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d, \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/av\/ck\/2u\/avck2uzyxq2diiahfdfr5ufdu-q.png\"><\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/7s\/de\/zh\/7sdezhivj7dbgptyjte1eu45d6o.png\"><\/p>\n<p>  <\/p>\n<p>\u0410 \u0440\u0435\u043f\u043b\u0438\u043a\u0430 1 \u043e\u0436\u0438\u043b\u0430, \u0443 \u043d\u0435\u0435 \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e. GC \u043f\u0440\u043e\u0448\u0435\u043b \u0434\u043e\u043b\u0433\u0438\u0439. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0432\u043e\u0442 \u043a\u0430\u043a\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f. \u0423 \u043b\u0438\u0434\u0435\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u044b\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0418 \u0432 Kafka \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438 \u0442\u0430\u043a\u0430\u044f \u0448\u0442\u0443\u043a\u0430, \u043a\u0430\u043a \u0433\u0440\u044f\u0437\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u0432\u044b\u0431\u043e\u0440\u044b. \u0412\u0440\u043e\u0434\u0435 \u0431\u044b \u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u0431\u044b\u0442\u044c \u043b\u0438\u0434\u0435\u0440\u043e\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u044e\u0442\u0441\u044f. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/bn\/t-\/ge\/bnt-geijld9841bjznvkcdfvvlq.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u2014 unclean.leader.election.enable=false. \u041e\u043d\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0442\u0430\u043a\u0430\u044f \u0441 0.11 \u0432\u0435\u0440\u0441\u0438\u0438. <\/p>\n<p>  <\/p>\n<p><a href=\"https:\/\/cwiki.apache.org\/confluence\/display\/KAFKA\/KIP-106+-+Change+Default+unclean.leader.election.enabled+from+True+to+False\" rel=\"nofollow noopener noreferrer\">KIP-106 \u2014 Change Default unclean.leader.election.enabled from True to False<\/a> (0.11)<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pv\/t5\/5i\/pvt55idvf3ht_0pqxvsuklj45sy.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0451. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c. \u041d\u0430\u0434\u043e \u0436\u0434\u0430\u0442\u044c. \u0427\u0435\u0433\u043e \u043c\u044b \u0436\u0434\u0435\u043c? \u041c\u044b \u0436\u0434\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u0440\u043d\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u044b\u0439 \u043b\u0438\u0434\u0435\u0440. <\/p>\n<p>  <\/p>\n<p>\u0410 \u043c\u044b \u0436\u0435 \u044d\u0442\u0443 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438. \u0418 \u0441\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0443 \u0442\u0435\u0431\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u043c\u0435\u0441\u0442\u0435. \u042d\u0442\u043e \u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442? \u041a\u043e\u0433\u0434\u0430 \u0431\u0440\u043e\u043a\u0435\u0440 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f, \u0443 \u043d\u0435\u0433\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043f\u0443\u0441\u0442\u0430\u044f. \u0418 \u0442\u0435\u043f\u0435\u0440\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0432\u0438\u0434\u0438\u0442 \u0432\u043e\u0442 \u0442\u0430\u043a\u0443\u044e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e. \u0423 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 1 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0441\u0442\u044c, \u0443 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 0 \u0438\u0445 \u043d\u0435\u0442. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u043a\u0430\u043a \u043c\u044b \u043f\u043e\u043c\u043d\u0438\u043c, \u043c\u044b \u0436\u0434\u0430\u043b\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 0. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/4j\/0s\/ed\/4j0sedmyhcdiduw7o8qililnlqc.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u043f\u043b\u0438\u043a\u0430 1 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u044f \u0442\u0430\u043a \u043d\u0435 \u043c\u043e\u0433\u0443 \u0431\u043e\u043b\u044c\u0448\u0435. \u0418 \u0431\u0440\u043e\u043a\u0435\u0440 \u0443\u043f\u0430\u043b. <\/p>\n<p>  <\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0431\u044b\u043b\u043e \u043c\u043d\u043e\u0433\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u043f\u0435\u0440\u0432\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d \u0441 \u043d\u043e\u0432\u044b\u043c \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u043e\u043c. \u0418 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0431\u0440\u043e\u043a\u0435\u0440\u044b \u0443\u043f\u0430\u043b\u0438, \u043e\u0434\u0438\u043d \u043e\u0441\u0442\u0430\u043b\u0441\u044f. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zy\/3g\/ag\/zy3gagups6-glsrbymboxvgevt4.png\"><\/p>\n<p>  <\/p>\n<p><a href=\"https:\/\/issues.apache.org\/jira\/browse\/KAFKA-3410\" rel=\"nofollow noopener noreferrer\">https:\/\/issues.apache.org\/jira\/browse\/KAFKA-3410<\/a><\/p>\n<p>  <\/p>\n<p>\u0412 Kafka \u0437\u0430\u0432\u0435\u0434\u0435\u043d \u043d\u0435 \u043e\u0434\u0438\u043d \u0431\u0430\u0433 \u043f\u043e \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u0435. \u0418 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u043d \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d \u0432 \u0432\u0435\u0440\u0441\u0438\u0438 1.1. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043c\u0435\u0440\u0435 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0432\u0440\u043e\u0434\u0435 \u0431\u044b \u0431\u0440\u043e\u043a\u0435\u0440\u044b \u0443\u0436\u0435 \u043d\u0435 \u043f\u0430\u0434\u0430\u044e\u0442. \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u043e\u0447\u043d\u043e. <\/p>\n<p>  <\/p>\n<h4 id=\"nastroyki---nastroyki-po-umolchaniyu\">\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u2014 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/z-\/cj\/ys\/z-cjysuo8lso8lkefuhfsib2jsi.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0435\u0445\u0430\u043b\u0438 \u0434\u0430\u043b\u044c\u0448\u0435. \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e. \u0423 \u043d\u0430\u0441 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e default.replication.factor = 1. <\/p>\n<p>  <\/p>\n<p>\u0418 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043f\u043e\u0447\u0435\u043c\u0443. \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438 Kafka \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0435\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c, \u043c\u044b \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u043c \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 dev-\u0442\u0430\u0447\u043a\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0443 \u043d\u043e\u0434\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443, \u0435\u0441\u043b\u0438 \u0431\u044b default.replication.factor \u0431\u044b\u043b \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u0434\u0440\u0443\u0433\u0438\u043c, \u0442\u043e \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u0435\u0431\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c. \u042d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u043d\u043e. <\/p>\n<p>  <\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e, \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0442\u043e\u043f\u0438\u043a\u0430 \u0431\u0443\u0434\u0435\u043c \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c replication.factor, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0445\u043e\u0442\u0438\u043c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/sz\/f3\/d4\/szf3d4sfsec9cansocvr4cd-rhw.png\"><\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u0435\u0441\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0439 \u043a\u0430\u043c\u0435\u043d\u044c \u2013 \u044d\u0442\u043e \u043e\u043f\u0446\u0438\u044f auto.create.topics.enable = true. <\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0442\u0430\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430. \u0427\u0442\u043e \u043e\u043d\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442? \u0415\u0441\u043b\u0438 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0442\u043e\u043f\u0438\u043a \u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438, \u0442\u043e \u0432\u0441\u0435 \u043e\u0442\u043b\u0438\u0447\u043d\u043e, \u043d\u043e \u0435\u0441\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0438\u0441\u0430\u0442\u044c \u043a \u043d\u0430\u043c \u0432 \u043d\u0435\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043f\u0438\u043a \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0442\u043e Kafka \u0434\u0443\u043c\u0430\u0435\u0442: \u00ab\u041e, \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u0435\u043d\u044c\u043a\u043e\u0435\u00bb. \u0418 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043d\u0430\u043c \u0442\u043e\u043f\u0438\u043a. \u0418 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0442\u043e\u043f\u0438\u043a \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u0442. \u0435. \u0441 replication.factor =1. \u0418 \u043c\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438 \u0443 \u0441\u0435\u0431\u044f \u0432 production, \u0447\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 replication.factor, \u0430 \u0443 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043f\u043e\u0447\u0435\u043c\u0443-\u0442\u043e replication.factor = 1. \u0418 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043a\u0442\u043e-\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u043b\u0441\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438 \u0443\u0436\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b \u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445. \u0418 \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u043e \u0432\u043e\u0442 \u0442\u0430\u043a \u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c. <\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0432\u044b\u043c \u0434\u0435\u043b\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u043b\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u043c\u0435\u043d\u044f\u0439\u0442\u0435 \u0432\u043e\u0442 \u044d\u0442\u0438 \u0434\u0432\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fh\/64\/pc\/fh64pcim8bb5_yxsvoer_znos2g.png\"><\/p>\n<p>  <\/p>\n<p>\u0415\u0449\u0435 \u0434\u0432\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438. \u042f \u0434\u0443\u043c\u0430\u044e, \u0432\u0441\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u044b, \u0447\u0442\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0443 \u0431\u0440\u043e\u043a\u0435\u0440\u0430, \u0443 consumer \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c. \u041d\u043e \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u044b\u0442\u044c, \u0430 \u0435\u0449\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u044b. <\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 Kafka \u043f\u043e\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/01\/cc\/2t\/01cc2tops6q33js8_sg1c-ypseg.png\"><\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u0442\u044c \u0442\u0430\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430, \u043a\u0430\u043a message.max.bytes. \u041d\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0435 \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u0430 1 000 012 \u0431\u0430\u0439\u0442. <\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u043e\u043d\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442? \u0413\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043c\u044b \u0441 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0418 \u044d\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0445\u043d\u0443\u0442\u044c \u0432 Kafka. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/7x\/bn\/8o\/7xbn8oatxluajgtu2wq2nzva93k.png\"><\/p>\n<p>  <\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e, \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u0431\u0440\u043e\u043a\u0435\u0440\u0430 \u0435\u0441\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430, \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u0430 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0443 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435. \u041c\u0435\u0433\u0430\u0431\u0430\u0439\u0442 \u0440\u0430\u0432\u0435\u043d \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0441 \u0432\u0430\u043c\u0438 \u043f\u0440\u0438\u0432\u044b\u043a\u043b\u0438. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0443 consumer \u043e\u043d\u0430 \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a\u0430\u044f \u0436\u0435, \u043a\u0430\u043a \u0443 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e consumer \u0438 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440, \u0432\u0438\u0434\u0438\u043c\u043e, \u043e\u0434\u043d\u0438 \u043b\u044e\u0434\u0438 \u043f\u0438\u0441\u0430\u043b\u0438. \u0410 \u0431\u0440\u043e\u043a\u0435\u0440 \u043a\u0442\u043e-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0434\u0435\u043b\u0430\u043b. \u041a\u043b\u0438\u0435\u043d\u0442 Kafka \u043d\u0430 Java \u043d\u0430\u043f\u0438\u0441\u0430\u043d, \u0430 \u0431\u0440\u043e\u043a\u0435\u0440 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 Scala. <\/p>\n<p>  <\/p>\n<p>\u041a \u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438? \u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435-\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0442\u043e, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u044b \u044d\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 production. \u041e\u043d\u043e \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043e\u0434\u0438\u043d \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0431\u0430\u0439\u0442, \u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0430. \u0422. \u0435. \u0441 \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043f\u0443\u043b\u044f \u0432\u044b\u043b\u0435\u0442\u0435\u043b\u0430, \u0430 \u0431\u0440\u043e\u043a\u0435\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442.<\/p>\n<p>  <\/p>\n<p>\u0421 \u044d\u0442\u0438\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u0431\u044b\u043b\u0430 \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u0437\u0430\u0431\u0430\u0432\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f. <\/p>\n<p>  <\/p>\n<h4 id=\"nastroyki---umnozhenie\">\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u2014 \u0423\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/q6\/lo\/qf\/q6loqfw4pu_a0rg2z-yynmm7rgk.png\"><\/p>\n<p>  <\/p>\n<p>\u0422. \u0435. \u0442\u0443\u0442 \u0431\u044b\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u043d\u043e \u043c\u044b \u0432 \u043a\u043e\u0434\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u043d\u0438\u0437\u0438\u043b\u0438. \u041d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u043e\u0434\u0430 \u043c\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0432 Kafka \u0443\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0440\u043e\u0434\u0435 \u0431\u044b \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0432\u0441\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u0432 Kafka \u0435\u0441\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u0442\u0430\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430, \u043a\u0430\u043a batch.size. \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0432 \u0448\u0442\u0443\u043a\u0430\u0445, \u043e\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0431\u0430\u0439\u0442\u0430\u0445. 16 \u043a\u0438\u043b\u043e\u0431\u0430\u0439\u0442 \u2013 \u044d\u0442\u043e \u043f\u0430\u0447\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e Kafka-\u043a\u043b\u0438\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c, \u043a\u0430\u043a \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0432 \u0431\u0440\u043e\u043a\u0435\u0440. \u0422. \u0435. \u0442\u0430\u043c \u043d\u0435 \u0441\u0440\u0430\u0437\u0443 \u043f\u0435\u0440\u0432\u043e\u0435 \u0436\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u0443\u043b\u044f\u0435\u0442 \u0432 Kafka, \u043e\u043d \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443, \u0447\u0442\u043e\u0431\u044b \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u044b\u043b\u043e. \u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u043b\u043e\u0433\u0438\u0447\u043d\u043e. \u0412\u0441\u0435 \u0437\u0434\u043e\u0440\u043e\u0432\u043e. <\/p>\n<p>  <\/p>\n<p>\u041c\u044b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0418 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0432\u043e\u0442 \u044d\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0430\u0434\u043e \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 10. \u0422. \u0435. \u0434\u043b\u044f \u043d\u0430\u0441 160 \u043a\u0438\u043b\u043e\u0431\u0430\u0439\u0442 \u0432\u044b\u0434\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439 performance. <\/p>\n<p>  <\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e, \u0432\u0441\u0435 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438, \u0432\u0441\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e. <\/p>\n<p>  <\/p>\n<p>\u0410 \u043f\u043e\u0442\u043e\u043c \u043c\u044b \u0432\u044b\u043a\u0430\u0442\u0438\u043b\u0438 \u044d\u0442\u043e \u043d\u0430 production. \u0418 \u043f\u043e\u043c\u043d\u0438\u043b\u0438, \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u0434\u043e \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 10. \u0418 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0443\u0436\u0435 160 \u043a\u0438\u043b\u043e\u0431\u0430\u0439\u0442 \u0431\u044b\u043b\u043e, \u0430 \u043c\u044b \u0435\u0449\u0435 \u043d\u0430 10 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c. \u0418 \u0432 production \u0443\u0435\u0445\u0430\u043b\u0430 \u044d\u0442\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0432 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 1,5 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442. <\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438? \u0415\u0441\u043b\u0438 \u0432\u044b \u0434\u0443\u043c\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u0432\u0441\u0435 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u043b\u043e\u0441\u044c, \u0442\u043e \u043d\u0435\u0442. \u0412\u0441\u0435 \u0431\u044b\u043b\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u041c\u044b \u0432\u044b\u043a\u0430\u0442\u044b\u0432\u0430\u0435\u043c, \u0432\u0441\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0435\u0442. \u0423 \u043d\u0430\u0441 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043f\u043e\u0442\u0438\u0445\u043e\u043d\u044c\u043a\u0443 \u0440\u0430\u0441\u0442\u0435\u0442-\u0440\u0430\u0441\u0442\u0435\u0442 \u0438 \u0440\u0430\u0441\u0442\u0435\u0442. \u0418 \u043f\u043e\u0442\u043e\u043c \u043c\u044b \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 \u0438 \u0432\u0441\u0435 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432 \u043d\u043e\u043b\u044c.<\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/4h\/vz\/ax\/4hvzaxcay-nfaudynn5aliue-hu.png\"><\/p>\n<p>  <\/p>\n<p>\u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 Kafka \u0435\u0441\u0442\u044c <a href=\"https:\/\/cwiki.apache.org\/confluence\/pages\/viewpage.action?pageId=68715855\" rel=\"nofollow noopener noreferrer\">KIP-126 \u2014 Allow KafkaProducer to split and resend<br \/>  oversized batches (0.11)<\/a><\/p>\n<p>  <\/p>\n<p>KIP (Kafka Improvement Proposals) \u2013 \u044d\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043f\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c Kafka, \u0442. \u0435. \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0435 \u043f\u0440\u0438\u043a\u043e\u043b\u044c\u043d\u0435\u0439. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0430\u043a\u043e\u0439 KIP \u0432 \u0432\u0435\u0440\u0441\u0438\u0438 0.11 \u0432\u044b\u043f\u0443\u0449\u0435\u043d. Kafka producer, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u0431\u0440\u043e\u043a\u0435\u0440\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0430\u043a\u0435\u0442, \u043e\u043d \u0435\u0433\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0438 \u0441\u043d\u043e\u0432\u0430 \u043f\u0435\u0440\u0435\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 Kafka. <\/p>\n<p>  <\/p>\n<p>\u0418 \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f, \u0442\u043e \u043d\u0435 \u0443\u0441\u043f\u0435\u0432\u0430\u044e\u0442 \u043a\u043e\u043f\u0438\u0442\u044c\u0441\u044f \u043f\u0430\u0447\u043a\u0438. \u041c\u044b \u0438\u0445 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c, \u0438 \u043e\u043d\u0438 \u043f\u0440\u043e\u043b\u0435\u0442\u0430\u044e\u0442 \u0431\u044b\u0441\u0442\u0440\u043e. \u0410 \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442, \u043f\u0430\u0447\u043a\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0440\u0430\u0441\u0442\u0438. \u0418 \u043c\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u0430\u0447\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0447\u0443\u0442\u044c \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0443 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0442\u0430\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430, \u043d\u043e \u044d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0431\u0430\u0439\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0431\u0440\u043e\u043a\u0435\u0440. <\/p>\n<p>  <\/p>\n<p>\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0431\u0440\u043e\u043a\u0435\u0440 \u043f\u0440\u0438\u0441\u044b\u043b\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0443. \u0412 \u043b\u043e\u0433\u0430\u0445 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u0442. \u0421\u0430\u043c \u043a\u043b\u0438\u0435\u043d\u0442 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0440\u0430\u0437\u0431\u0438\u0442\u044c. \u041e\u043d \u043f\u0435\u0440\u0435\u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043f\u0435\u0440\u0435\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442. <\/p>\n<p>  <\/p>\n<p>\u0418 \u043c\u044b \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u0430\u0447\u043a\u0443 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438. \u0411\u0440\u043e\u043a\u0435\u0440 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442: \u00ab\u041d\u0435 \u043f\u043e\u0439\u0434\u0435\u0442\u00bb. \u041c\u044b \u0440\u0430\u0437\u0431\u0438\u043b\u0438 \u0438 \u0435\u0449\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0441\u0435\u0442\u0435\u0432\u0430\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0440\u043e\u0441\u043b\u0430. \u0418 \u043c\u044b \u043f\u043e \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0442\u0443\u0445\u043b\u0438 \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e.<\/p>\n<p>  <\/p>\n<h4 id=\"api---blokiruyuschiy-send\">API \u2014 \u0411\u043b\u043e\u043a\u0438\u0440\u0443\u044e\u0449\u0438\u0439 send<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/co\/3a\/yf\/co3ayfw8crx-yq-xmnhnympk8hi.png\"> <\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a API, \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u044e\u0449\u0435\u043c\u0443 send. \u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u043e\u0431 \u044d\u0442\u043e\u043c \u0433\u043e\u0432\u043e\u0440\u044e? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 Kafka \u0435\u0441\u0442\u044c \u043a\u0440\u0443\u0442\u043e\u0439 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 API, \u0442. \u0435. \u0432\u0441\u0435, \u0447\u0442\u043e \u0431\u044b \u043c\u044b \u043d\u0435 \u0434\u0435\u043b\u0430\u043b\u0438 \u0441 Kafka, \u043e\u043d\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u0430\u043c future. \u0418 \u043a\u043e\u0434 \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f. \u041d\u043e, \u043a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430. \u0415\u0441\u043b\u0438 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u044b, \u0442\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 send \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0442. \u0435. \u043e\u043d \u043d\u0430\u043c \u0434\u0430\u0436\u0435 future \u043d\u0435 \u0432\u0435\u0440\u043d\u0435\u0442, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f. \u041c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u2013 \u044d\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u043e\u0439 \u0431\u0440\u043e\u043a\u0435\u0440 \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0438\u0434\u0435\u0440\u043e\u043c \u0438 \u0443 \u043a\u0430\u043a\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u042d\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0443\u0436\u043d\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0443, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u0432 \u043a\u0430\u043a\u043e\u0439 \u0431\u0440\u043e\u043a\u0435\u0440 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u0442. \u0435. \u0432 \u043a\u0430\u043a\u0443\u044e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e. \u0418 \u043a\u0430\u043a \u0440\u0430\u0437 \u0432\u043e\u0442 \u044d\u0442\u0430 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u0430\u044f \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f. \u0412 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u043b\u0438\u0434\u0435\u0440\u0441\u0442\u0432\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c. \u0417\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e 60 \u0441\u0435\u043a\u0443\u043d\u0434. <\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e. \u0415\u0441\u043b\u0438 \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u0441 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u0431\u044b\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0442\u043e \u043c\u044b \u0434\u0430\u0436\u0435 \u0444\u044c\u044e\u0447\u0443 \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c. \u0418 \u0441\u0432\u043e\u0439 \u043a\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u0441 \u0442\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043e\u0442 Kafka \u0432\u0441\u0435 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e, \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0441\u0442\u0430\u0435\u0442 \u043d\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/f5\/6s\/9c\/f56s9crwcps6v7lktnfdloesucm.png\"><\/p>\n<p>  <\/p>\n<p><a href=\"https:\/\/cwiki.apache.org\/confluence\/display\/KAFKA\/KIP-286%3A+producer.send%28%29+should+not+block+on+metadata+update\" rel=\"nofollow noopener noreferrer\">KIP-286: producer.send() should not block on metadata update (discuss)<\/a><\/p>\n<p>  <\/p>\n<p>\u041a\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a \u043d\u0435\u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c? \u0412\u0441\u0435 \u0432\u0435\u0440\u043d\u043e, \u0435\u0441\u0442\u044c \u043b\u044e\u0434\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0418 \u0435\u0441\u0442\u044c \u043b\u044e\u0434\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043a\u0430\u0437\u0430\u043b\u0438: \u00ab\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u00bb. \u0418 \u044d\u0442\u043e\u0442 KIP \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 discuss. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u0434\u0443\u0442. \u0418 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u044d\u0442\u0430 \u0448\u0442\u0443\u043a\u0430 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0432 Kafka \u0438 \u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f. \u041d\u043e \u0436\u0438\u0432\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435, \u0436\u0438\u0437\u043d\u044c \u043d\u0430 \u044d\u0442\u043e\u043c \u043d\u0435 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f. <\/p>\n<p>  <\/p>\n<h4 id=\"api---beskonechnaya-deserializaciya\">API \u2014 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u0430\u044f \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ec\/ws\/e6\/ecwse6mnboj7lincg8hivze6uxs.png\"><\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435. \u0423 \u043d\u0430\u0441 \u0431\u044b\u043b \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440, \u0430 \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 consumer. \u042f \u0433\u043e\u0432\u043e\u0440\u0438\u043b, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 poll-\u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430, \u0442. \u0435. consumer \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0438 \u043f\u0440\u043e\u0441\u0438\u0442 \u0443 Kafka \u0434\u0430\u043d\u043d\u044b\u0435. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 consumer \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: <\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u0446\u0438\u043a\u043b, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u0438 \u0434\u043e\u043b\u0431\u0438\u0442 Kafka. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0441 \u043d\u0438\u043c\u0438 \u0447\u0442\u043e-\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u043c. \u0412\u0441\u0435 \u043d\u0435\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435, \u044f \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442 \u0443\u0431\u0440\u0430\u043b. \u0412\u0441\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0437\u0434\u0435\u0441\u044c \u043d\u0430 \u0441\u043b\u0430\u0439\u0434\u0435. <\/p>\n<p>  <\/p>\n<p>\u0418\u0437 consumer.poll \u0432\u044b\u043b\u0435\u0442\u0430\u0435\u0442 ConsumerRecords. \u0422\u0430\u043c \u0435\u0441\u0442\u044c Key \u0438 Event. \u042d\u0442\u043e \u0443\u0436\u0435 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0442\u0438\u043f\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f. \u0410 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043a\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u0432\u0437\u044f\u043b \u0438 \u043f\u043e\u0434\u043a\u0438\u043d\u0443\u043b \u043d\u0430\u043c \u0432 Kafka \u043f\u043b\u043e\u0445\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c? <\/p>\n<p>  <\/p>\n<p>\u0421\u0440\u0430\u0437\u0443 \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u0442\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u0432\u0441\u0435 \u043f\u043b\u043e\u0445\u043e. \u0411\u0443\u0434\u0435\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u0430\u044f \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c, \u043e\u043d \u043f\u0430\u0434\u0430\u0435\u0442. \u041c\u044b \u0441\u043d\u043e\u0432\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c\u0441\u044f, \u043e\u043d \u0441\u043d\u043e\u0432\u0430 \u043f\u0430\u0434\u0430\u0435\u0442 \u0438 \u0442. \u0434. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wg\/v2\/gb\/wgv2gbpc9vw-j6ajgldza1iv97a.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443? \u0412\u043e\u0442 \u044d\u0442\u043e \u043a\u043e\u0434 \u0432\u043d\u0443\u0442\u0440\u0438 fetcher, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 stack trace \u043f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c, \u043a\u0430\u043a \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 poll. <\/p>\n<p>  <\/p>\n<p>\u042f \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u044e \u044d\u043f\u0438\u0447\u043d\u0443\u044e \u0444\u0440\u0430\u0437\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 message \u043a exception: \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043b\u0438\u0431\u043e \u043a\u043b\u044e\u0447\u0430, \u043b\u0438\u0431\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0441 \u0442\u0430\u043a\u0438\u043c-\u0442\u043e offset. \u0418 \u0435\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043a\u0430\u043a-\u0442\u043e \u043f\u043e\u0438\u0441\u043a\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0437\u0430 \u044d\u0442\u0438\u043c \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c. \u0412\u043d\u0438\u0437\u0443 \u2013 \u044d\u0442\u043e \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c. \u042d\u0442\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0430\u043c. \u0418 offset, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 offset. <\/p>\n<p>  <\/p>\n<p>\u0418 \u043d\u0430\u0434\u043e \u0432\u0437\u044f\u0442\u044c, \u043f\u0435\u0440\u0435\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u044d\u0442\u043e\u0442 exception, \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0435\u0433\u043e, \u0432\u044b\u0442\u0430\u0449\u0438\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430 partition, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u043c, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u043e\u043c\u0435\u0440\u043e\u043c. \u0422\u0430\u043a \u0436\u0435, \u0432\u0438\u0434\u0438\u043c\u043e, offset \u043d\u0430\u0434\u043e \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c. <\/p>\n<p>  <\/p>\n<p>\u041e\u043a, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0434\u0435\u043b\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dw\/cd\/vw\/dwcdvwcdpbwd5tnk1exsn4ry938.png\"><\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f, \u0432 \u043d\u0435\u0439 \u0434\u0430\u043d\u043d\u044b\u0435. \u041c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0438 \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u0447\u0438\u0442\u0430\u043b\u0438 \u043f\u044f\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/5d\/yc\/01\/5dyc013kfmxymj2pnko5wl-nylq.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u043e\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u043b\u043e\u0445\u043e\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/cp\/ui\/4f\/cpui4fytnjx3q5v2n-ouuceb7oo.png\"><\/p>\n<p>  <\/p>\n<p>\u041e\u043d\u0438 \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435. \u042d\u0442\u043e, \u0432\u0438\u0434\u0438\u043c\u043e, \u043f\u044f\u0442\u043e\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/uc\/_a\/ei\/uc_aeizunxhico5q-5ywqbjgdio.png\"><\/p>\n<p>  <\/p>\n<p>\u041b\u0430\u0434\u043d\u043e. \u0410 \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0441 \u044d\u0442\u0438\u043c\u0438 \u043f\u0435\u0440\u0432\u044b\u043c\u0438 \u0442\u0440\u0435\u043c\u044f? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/9s\/sd\/u8\/9ssdu85pmztxdwe-thgfish_9kk.png\"><\/p>\n<p>  <\/p>\n<p>\u0412\u0441\u0435, \u0438\u0445 \u043d\u0435 \u043d\u0430\u0434\u043e \u0443\u0436\u0435 \u0447\u0438\u0442\u0430\u0442\u044c? \u041c\u044b \u0436\u0435 \u043f\u0435\u0440\u0435\u0448\u043b\u0438 \u043d\u0430 \u043a\u043e\u043d\u0435\u0446. \u041f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0438\u0445. \u0422\u0430\u043a\u043e\u0435 \u0441\u0435\u0431\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. <\/p>\n<p>  <\/p>\n<p>\u041a\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435? <\/p>\n<p>  <\/p>\n<p>\u0418 \u043c\u044b \u0442\u043e\u0436\u0435 \u0440\u0435\u0448\u0438\u043b\u0438, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/jh\/ax\/p5\/jhaxp52xdjm1tmddhrvhlnwvu3g.png\"><\/p>\n<p>  <\/p>\n<p>\u0418 \u0440\u0435\u0448\u0438\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0432\u043e\u0439 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043a\u0438\u0434\u0430\u0442\u044c exception, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043b\u043e\u043c\u0430\u0442\u044c\u0441\u044f \u043d\u0438\u043a\u043e\u0433\u0434\u0430. \u041e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0435\u0440\u043d\u0435\u0442 null, \u0435\u0441\u043b\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c. <\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0432 \u043a\u043e\u0434\u0435 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/i3\/fh\/v1\/i3fhv1blfcol1skuvhkf6dqzxqm.png\"><\/p>\n<p>  <\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u0447\u043a\u0430. \u0418 \u0432\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0422\u0430\u043c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0430\u0434\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u0438\u0445 \u043f\u043b\u043e\u0445\u0438\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u043d\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f. <\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u0441 \u0442\u0435\u043c, \u043a\u0430\u043a \u043c\u044b \u043d\u0430\u043f\u043e\u0440\u043e\u043b\u0438\u0441\u044c \u0432 consumer. <\/p>\n<p>  <\/p>\n<h4 id=\"api---nechestnoe-chtenie\">API \u2014 \u043d\u0435\u0447\u0435\u0441\u0442\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dc\/qc\/tl\/dcqctly86fbig9bhyv8d5xldqku.png\"><\/p>\n<p>  <\/p>\n<p>\u041d\u0435\u0447\u0435\u0441\u0442\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435. \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u0442\u0440\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u0423 \u043d\u0430\u0441 \u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. <\/p>\n<p>  <\/p>\n<p>\u042f \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b, \u043a\u0430\u043a \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043b\u0435\u0442\u0430\u044e\u0442. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0442\u0430\u043c \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043e. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/8d\/s7\/uc\/8ds7uc6ffohaxl_xlgfaj8gag68.png\"><\/p>\n<p>  <\/p>\n<p>\u0412\u043e\u0442 \u0443 \u043d\u0430\u0441 \u0442\u0440\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b\u0438\u0441\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/em\/iy\/gq\/emiygqanm6u4cyieaa9p9flssyo.png\"><\/p>\n<p>  <\/p>\n<p>\u041e, \u0431\u043e\u0436\u0435, \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435, \u043e\u043d \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u0438\u0437 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430, \u0438\u0437 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0430\u043c\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ws\/px\/lx\/wspxlxmk9c3g2eufank0e8w2_ye.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0442\u043e\u043c \u043e\u0442\u0442\u0443\u0434\u0430 \u0436\u0435, \u043f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0448\u0435\u043b \u0441\u044e\u0434\u0430 \u0438 \u0442. \u0434. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pc\/ng\/e5\/pcnge5vj11bvv6cvb8uohueogdi.png\"><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u043e\u043d \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442? <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/b6\/fg\/se\/b6fgsew44wcdxqiisogs1ozbvnw.png\"><\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043c \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 <a href=\"https:\/\/cwiki.apache.org\/confluence\/display\/KAFKA\/KIP-41%3A+KafkaConsumer+Max+Records\" rel=\"nofollow noopener noreferrer\">KIP-41: KafkaConsumer Max Records (0.10)<\/a>. <\/p>\n<p>  <\/p>\n<p>\u0412 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043d\u0435\u0442. \u041d\u0430\u0434\u043e \u0438\u0434\u0442\u0438 \u0432 KIP \u0447\u0438\u0442\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p>\u0410 \u0443 \u043d\u0430\u0441 \u0436\u0430\u0434\u043d\u044b\u0439 round robin, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0447\u0438\u0442\u0430\u0442\u044c consumer\u2019\u043e\u043c \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u0411\u0443\u0434\u0435\u043c \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0439. \u041f\u043e\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u0435\u0441\u0442\u044c, \u043c\u044b \u0438\u0437 \u043d\u0435\u0435 \u0437\u0430\u0431\u0438\u0440\u0430\u0435\u043c. \u041f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u043c\u0441\u044f \u043d\u0430 \u0432\u0442\u043e\u0440\u0443\u044e \u0438 \u0442\u0430\u043a \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u043f\u043e\u043a\u0430 \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c. \u0418 \u043a \u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0441 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0433\u043e\u0442\u043e\u0432\u0438\u043b. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zj\/nc\/qz\/zjncqz1amawttcf3tuw7g0uu-fs.png\"><\/p>\n<p>  <\/p>\n<p><a href=\"https:\/\/cwiki.apache.org\/confluence\/display\/KAFKA\/KIP-387:+Fair+Message+Consumption+Across+Partitions+in+KafkaConsumer\" rel=\"nofollow noopener noreferrer\">KIP-387: Fair Message Consumption Across Partitions in KafkaConsumer (discuss)<\/a><\/p>\n<p>  <\/p>\n<p>\u0418 \u043c\u044b \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u0438\u0441\u0430\u0442\u044c \u0432 Google: \u00ab\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e?\u00bb. \u041d\u0430\u0448\u043b\u0438 \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 KIP \u2013 \u0447\u0435\u0441\u0442\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c\u0438. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u043e\u043d\u043e \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 discuss. \u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b, \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u043a\u043e\u0433\u0434\u0430-\u043d\u0438\u0431\u0443\u0434\u044c. \u041c\u043e\u0436\u043d\u043e, \u043a\u0441\u0442\u0430\u0442\u0438, \u0437\u0430\u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u0438\u0442\u044c. \u041c\u044b \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u043d\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438. \u041c\u044b \u043f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0433\u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0442\u0443\u0434\u0430. <\/p>\n<p>  <\/p>\n<h3 id=\"rutina\">\u0420\u0443\u0442\u0438\u043d\u0430<\/h3>\n<p>  <\/p>\n<h4 id=\"rutina---ogranichenie-na-razmer-topika\">\u0420\u0443\u0442\u0438\u043d\u0430 \u2014 \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0442\u043e\u043f\u0438\u043a\u0430<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zm\/uc\/9u\/zmuc9u5cdzetmztov5j4du2t2nc.png\"><\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0435\u043c\u043d\u043e\u0436\u043a\u043e \u043d\u0430 \u043e\u0442\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u0442\u0435\u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c. \u041d\u0430 \u0442\u0435\u043c\u0443 DevOps. \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0442\u043e\u043f\u0438\u043a\u0430. <\/p>\n<p>  <\/p>\n<p>\u041b\u043e\u0433\u0438\u0447\u043d\u043e \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c: \u00ab\u041c\u044b \u043f\u0438\u0448\u0435\u043c \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0442\u043e\u043f\u0438\u043a. \u0410 \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0434\u0438\u0441\u043a \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u0442\u0441\u044f? \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c\u00bb. \u041d\u0430\u0448\u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u041e\u043d\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0443 \u043c\u0435\u043d\u044f \u0431\u0435\u0437\u043b\u0438\u043c\u0438\u0442. <\/p>\n<p>  <\/p>\n<p>\u041b\u0430\u0434\u043d\u043e, \u0438\u0434\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435. \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0442\u043e\u043f\u0438\u043a\u0430 \u0435\u0441\u0442\u044c \u2013 \u044d\u0442\u043e retention.bytes. <\/p>\n<p>  <\/p>\n<p>Retention.bytes \u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u0443\u044e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443, \u0442. \u0435. log.retention.bytes \u2013 \u044d\u0442\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u0430\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0431\u0440\u043e\u043a\u0435\u0440\u0430, \u0430 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0442\u043e\u043f\u0438\u043a\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c. <\/p>\n<p>  <\/p>\n<p>\u041c\u044b \u043e\u0431\u0440\u0430\u0434\u043e\u0432\u0430\u043b\u0438\u0441\u044c, \u043d\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 per partition, \u0442. \u0435. \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e. <\/p>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u043e\u043f\u0438\u043a \u0438\u0437 \u0442\u0440\u0435\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u041c\u044b \u0435\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043b\u0438 \u2013 1 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f. 3 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u0430 \u2013 \u0432\u0440\u043e\u0434\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0410 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u043b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043a \u0442\u043e\u043f\u0438\u043a\u0443. \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u043e\u0434\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c. \u0412 \u043e\u0431\u0449\u0435\u043c, \u044d\u0442\u043e \u043f\u0435\u0447\u0430\u043b\u044c. <\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0447\u0430\u043b\u044c, \u0447\u0442\u043e \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u0434\u0438\u0441\u043a\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c. <\/p>\n<p>  <\/p>\n<h4 id=\"rutina---mesto-na-diske\">\u0420\u0443\u0442\u0438\u043d\u0430 \u2014 \u043c\u0435\u0441\u0442\u043e \u043d\u0430 \u0434\u0438\u0441\u043a\u0435<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/7a\/ka\/ts\/7akatsyg7n0iqy_7zut_8v2kiw0.png\"><\/p>\n<p>  <\/p>\n<p><a href=\"https:\/\/cwiki.apache.org\/confluence\/display\/KAFKA\/KIP-113:+Support+replicas+movement+between+log+directories\" rel=\"nofollow noopener noreferrer\">KIP-113: Support replicas movement between log directories (1.1)<\/a><\/p>\n<p>  <\/p>\n<p>\u0418 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0448\u044c \u043d\u043e\u0432\u044b\u0435 \u0434\u0438\u0441\u043a\u0438, Kafka \u043d\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442 \u0442\u0443\u0434\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u0421\u043b\u0430\u0432\u0430 \u0431\u043e\u0433\u0443, \u0442\u0430\u043c \u0435\u0441\u0442\u044c KIP, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438. \u041c\u044b \u043f\u043e\u0434\u0443\u043c\u0430\u043b\u0438, \u0447\u0442\u043e \u043b\u0430\u0434\u043d\u043e, \u0436\u0438\u0442\u044c \u043c\u043e\u0436\u043d\u043e. \u041d\u043e! \u041a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0432\u0441\u0435\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u00ab\u041d\u043e\u00bb. <\/p>\n<p>  <\/p>\n<p>\u0421 Kafka \u0432\u0441\u0435\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u043d\u0438\u0431\u0443\u0434\u044c \u00ab\u041d\u043e\u00bb. \u0420\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443. \u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0443 \u043d\u0430\u0441 \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u043c\u0435\u0441\u0442\u0435 \u043c\u0430\u043b\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439, \u0442\u043e \u043e\u043d \u0442\u0443\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u0442\u044c. \u0415\u043c\u0443 \u043f\u043b\u0435\u0432\u0430\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0443 \u043d\u0430\u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0442\u0430\u043c \u0432 \u0431\u0430\u0439\u0442\u0430\u0445. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0442\u043e\u043f\u0438\u043a\u0438 \u043f\u0438\u0448\u0443\u0442 \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0434\u0438\u0441\u043a\u0438 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0438\u043b\u0438\u0441\u044c, \u0430 \u043d\u0430 \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0437 \u0432 \u0447\u0430\u0441 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u0430\u0434\u0430\u0435\u0442. <\/p>\n<p>  <\/p>\n<p>\u041c\u044b \u0431\u044b\u043b\u0438 \u043d\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438, \u043a\u043e\u0433\u043e \u044d\u0442\u043e \u0432\u043e\u0437\u043c\u0443\u0442\u0438\u043b\u043e. \u0418 \u043c\u044b \u043f\u043e\u0448\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043c \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0432\u043e\u0434\u0443 \u0435\u0441\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/os\/yg\/7m\/osyg7mxs6vif2-slr7ceqf1u5go.png\"><\/p>\n<p>  <\/p>\n<p><a href=\"https:\/\/cwiki.apache.org\/confluence\/display\/KAFKA\/KIP-178%3A+Size-based+log+directory+selection+strategy\" rel=\"nofollow noopener noreferrer\">KIP-178: Size-based log directory selection strategy (discuss)<\/a><\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u0448\u043b\u0438 \u0442\u0430\u043a\u043e\u0439 KIP, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u043b\u0436\u0435\u043d \u043a\u0430\u043a-\u0442\u043e \u044d\u0442\u0443 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c, \u043d\u043e \u043e\u043d discuss, \u0442. \u0435. \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f. \u041c\u044b \u0440\u0435\u0448\u0438\u043b\u0438, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u043e\u0432\u044b\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432. <\/p>\n<p>  <\/p>\n<h4 id=\"rutina---novyy-broker\">\u0420\u0443\u0442\u0438\u043d\u0430 \u2014 \u043d\u043e\u0432\u044b\u0439 \u0431\u0440\u043e\u043a\u0435\u0440<\/h4>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/9y\/1w\/6i\/9y1w6ie7gbm_ptimlikojff292o.png\"><\/p>\n<p>  <\/p>\n<p>\u0414\u0443\u043c\u0430\u0435\u0442\u0435, \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u043e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e? \u0412\u044b \u0443\u0436\u0435 \u043d\u0435 \u0432\u0435\u0440\u0438\u0442\u0435 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0435. \u0422\u0430\u043c \u043d\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043f\u043e \u043d\u043e\u0432\u044b\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u043c. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438. \u0422\u0430\u043c \u0435\u0441\u0442\u044c bash-\u0441\u043a\u0440\u0438\u043f\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c partition reassignment. <\/p>\n<p>  <\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u044f \u0433\u043e\u0432\u043e\u0440\u044e \u00ab\u0440\u0443\u043a\u0430\u043c\u0438\u00bb, \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430\u0434\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0440\u0443\u043a\u0430\u043c\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 JSON, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0443\u0436\u043d\u043e \u0432\u043f\u0438\u0445\u043d\u0443\u0442\u044c \u0432 bash-\u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0430\u043c \u0447\u0442\u043e-\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0435\u0442. <\/p>\n<p>  <\/p>\n<p>\u041e\u043d \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wm\/hj\/nl\/wmhjnl0zian07zqudygvjn2qes0.png\"> \u0422\u0430\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043d\u0430\u0434\u043e \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0434\u0435\u043b\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p>\u0423 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0435\u0441\u0442\u044c \u0442\u043e\u043f\u0438\u043a. \u0423 \u043d\u0435\u0435 \u0435\u0441\u0442\u044c \u043d\u043e\u043c\u0435\u0440. \u0418 \u0440\u0435\u043f\u043b\u0438\u043a\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0434\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0440\u0430\u0437\u044a\u0435\u0445\u0430\u043b\u0430\u0441\u044c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/7k\/j5\/mn\/7kj5mnh5wdfyc-sw60bfkiydv10.png\"><\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u0435\u0441\u0442\u044c \u00ab\u041d\u043e\u00bb. <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ld\/o-\/kq\/ldo-kqurkzfdbscedodb-e5d1s0.png\"><\/p>\n<p>  <\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0432 \u043c\u0430\u0441\u0441\u0438\u0432\u0435 \u0440\u0435\u043f\u043b\u0438\u043a \u0431\u0443\u0434\u0435\u0442 preferred leader. \u041f\u043e\u043c\u043d\u0438\u0442\u0435, \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b, \u0447\u0442\u043e, \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u043b\u0438\u0434\u0435\u0440\u0441\u0442\u0432\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u043e\u043d\u043e \u043f\u043e\u0442\u043e\u043c \u2013 \u0440\u0430\u0437 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e? \u042d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. <\/p>\n<p>  <\/p>\n<p>\u0410 \u0442\u0430\u043c \u0442\u044b\u0441\u044f\u0447\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0443\u0441\u043e\u0447\u0435\u043a JSON. \u0418 \u0435\u0441\u043b\u0438 \u043c\u044b \u043d\u0435\u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0438\u043b \u044d\u0442\u0443 \u0448\u0442\u0443\u043a\u0443, \u0442\u0430\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u043b\u0438\u0434\u0435\u0440\u043e\u043c \u0432\u043e\u0442 \u044d\u0442\u043e\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f. \u0418 \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0432 \u043d\u0435\u0433\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0432\u0432\u0430\u043b\u0438\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043e\u043d \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041a\u043e\u0433\u0434\u0430 \u043e\u0434\u0438\u043d \u0432\u0441\u0435\u0433\u043e \u043f\u0438\u0448\u0435\u0442, \u043e\u043d \u043d\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f. <\/p>\n<p>  <\/p>\n<h3 id=\"vyvody\">\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/oi\/wo\/4a\/oiwo4a8bkkzz3kfru-veunujebo.png\"><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a\u0438\u0435 \u0432\u044b\u0432\u043e\u0434\u044b \u043c\u044b \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u0434\u0435\u043b\u0430\u043b\u0438? \u041a\u0430\u043a\u0438\u0435 \u0443\u0440\u043e\u043a\u0438 \u043c\u044b \u0438\u0437\u0432\u043b\u0435\u043a\u043b\u0438?<\/p>\n<p>  <\/p>\n<ul>\n<li>\n<p>\u041e\u0447\u0435\u043d\u044c \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u043a \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e. \u041d\u0430\u0434\u043e \u0432\u0441\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c. <\/p>\n<p>  <\/li>\n<li>\n<p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0433\u043e API. \u042f \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043b \u044d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438, \u043d\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0438 \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u044d\u0442\u043e \u043d\u0435\u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u043c\u0438. \u041d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u044f \u0441 \u043d\u0438\u043c\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u0435\u043d. <\/p>\n<p>  <\/li>\n<li>\n<p>\u0411\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0443\u0442\u0438\u043d\u044b \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0435\u0448\u0430\u0442\u044c DevOps <\/p>\n<p>  <\/li>\n<li>\n<p>\u0418 \u0441\u0430\u043c\u043e\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0435 \u0442\u043e, \u0447\u0442\u043e \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0435 \u043f\u0438\u0448\u0443\u0442. \u0412 KIP \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438. \u041d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0437\u0430 \u0433\u043e\u0434 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u044f \u0442\u0430\u043a\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0435 \u043e\u0434\u043d\u0443 \u0441\u043e\u0442\u043d\u044e \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u043b, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442. <\/p>\n<p>  <\/li>\n<li>\n<p>\u041d\u043e! Kafka \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u2013 \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0435\u0435, \u0447\u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0435\u0441\u0442\u044c. \u0418 \u043e\u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u043d\u0430\u044f. <\/p>\n<p>  <\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041d\u043e, \u043c\u044b \u0442\u0440\u0435\u0437\u0432\u043e \u0441\u0442\u0430\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0432\u0435\u0449\u0438. \u0421\u043f\u0430\u0441\u0438\u0431\u043e!<\/p>\n<p>  <\/p>\n<p><strong>\u0412\u043e\u043f\u0440\u043e\u0441\u044b<\/strong><\/p>\n<p>  <\/p>\n<p><em>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0440\u0430\u0441\u0442\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432 \u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0432\u0430\u0440\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u043c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0441\u0442\u0435\u0442? \u0422. \u0435. \u043c\u043d\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439, \u0430 \u043f\u043e\u0442\u043e\u043c \u0431\u0440\u043e\u043a\u0435\u0440 \u043f\u043e\u0434\u0440\u0443\u0431\u0438\u0442\u044c? \u0418\u043b\u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0434\u0440\u0443\u0431\u0438\u0442\u044c \u0431\u0440\u043e\u043a\u0435\u0440, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u0439\u0442\u0438 \u0438 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0442\u044b \u2013 \u0442\u043e\u043f\u0438\u043a, \u0433\u0434\u0435 \u0443 \u0442\u0435\u0431\u044f \u0431\u044b\u043b\u043e 3 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043d\u0430\u0434\u043e 4, \u0438 \u043e\u043d \u0441\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0442?<\/em><\/p>\n<p>  <\/p>\n<p>\u042f \u043f\u043e\u043d\u044f\u043b \u0432\u043e\u043f\u0440\u043e\u0441. \u0415\u0441\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e: \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0434\u0435\u043b\u0430\u0439 \u2013 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u0443\u0434\u0435\u0442. \u0427\u0442\u043e \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442? \u0421\u0440\u0430\u0437\u0443 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432 \u0441\u0434\u0435\u043b\u0430\u0442\u044c. \u0418 \u0441\u0440\u0430\u0437\u0443 \u0441\u0442\u0430\u0432\u0438\u0448\u044c. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0442\u044b \u0437\u043d\u0430\u0435\u0448\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u0431\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u0418 \u0442\u044b \u0438\u0445 \u0441\u0440\u0430\u0437\u0443 \u0434\u0435\u043b\u0430\u0435\u0448\u044c. \u0418 \u0442\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0443\u0436\u043d\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u0432\u043e\u0442 \u044d\u0442\u0438 partition reassignments. \u0418 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438, \u043a\u043e\u0433\u0434\u0430 \u0442\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u0448\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443, \u0447\u0442\u043e \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e \u043c\u0435\u043b\u043e\u0447\u0430\u043c. \u0418 \u043e\u043d \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0441\u0434\u0435\u043b\u0430\u0435\u043c. \u0418 \u0442\u044b \u0441\u0438\u0434\u0438\u0448\u044c, \u0430 bash-\u0441\u043a\u0440\u0438\u043f\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442. \u041f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 5 \u043c\u0438\u043d\u0443\u0442, 10 \u043c\u0438\u043d\u0443\u0442. \u0423 \u0442\u0435\u0431\u044f \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0432\u0438\u0441. <\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f, \u043a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0435\u0440\u0432\u0430\u0442\u044c. \u0422\u0430\u043a \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u0441 \u0442\u043e\u0447\u043a\u0438 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0437\u0434\u043e\u0440\u043e\u0432\u043e. <\/p>\n<p>  <\/p>\n<p>\u041d\u043e! \u0412 Kafka \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440. \u0422\u0430\u043c \u0435\u0441\u0442\u044c \u043a\u043b\u0438\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u0432 \u0434\u0435\u043b\u0430\u0442\u044c, consumers \u0434\u0435\u043b\u0430\u0442\u044c. \u0418 \u0442\u0430\u043a \u0436\u0435 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0430\u0434\u043c\u0438\u043d-\u043a\u043b\u0438\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c Kafka. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0441\u0432\u043e\u0439 \u0432\u0435\u043b\u043e\u0441\u0438\u043f\u0435\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043c\u0435\u0435\u0442 \u0432\u0441\u0435 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u043d\u043e \u0443\u0436\u0435 \u043d\u0435 bash-\u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438, \u0430 \u0443\u0436\u0435 \u0438\u0437 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043c\u0435\u0435\u0442 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u0438 \u043a\u0430\u043a\u0438\u0435 \u0434\u0438\u0441\u043a\u0438 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f. \u0418 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u044d\u0442\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u0430\u0434\u043c\u0438\u043d-\u043a\u043b\u0438\u0435\u043d\u0442. \u042d\u0442\u043e true way, \u043a\u0430\u043a \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043d\u043e \u043c\u044b \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0434\u043e\u0448\u043b\u0438. \u041c\u044b \u043f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0430\u0434\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c. <\/p>\n<p>  <\/p>\n<p><em>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0434\u043e\u043a\u043b\u0430\u0434! \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432 partitions \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0438\u0448\u0443\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043e\u043d\u0438 \u043c\u043e\u0433\u0443\u0442 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430? \u041d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0430\u043a\u043e\u0433\u043e, \u0447\u0442\u043e \u0432 \u0434\u0432\u0443\u0445 partitions \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435?<\/em><\/p>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0438\u0448\u0435\u0442. \u0415\u0441\u043b\u0438 \u043a \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0443 \u043f\u0440\u0438\u0448\u043b\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0434\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c, \u043e\u043d \u0437\u0430\u043f\u0438\u0448\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0432 \u0442\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0435\u043c\u0443 \u0443\u043a\u0430\u0437\u0430\u043b\u0438. \u0415\u0441\u043b\u0438 \u0443 \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0431\u044b\u043b \u0443\u043a\u0430\u0437\u0430\u043d \u043a\u043b\u044e\u0447, \u0442\u043e \u043e\u043d\u043e \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0432 \u0442\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u043f\u0430\u0441\u0442\u044c. \u0412\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043a\u043b\u044e\u0447\u0438 (\u043d\u0435 \u0432\u0430\u0436\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043b\u0438 \u0443 \u043d\u0438\u0445 value \u0438\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435), \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432\u0441\u0435 \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e. \u041d\u0430 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c compaction. Kafka \u0443\u043c\u0435\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0442\u0443\u0445\u0430\u043d\u0438\u044f \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u043b\u0438 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443, \u043e\u043d\u0430 \u0435\u0449\u0435 \u0441\u043c\u043e\u0442\u0440\u0438\u0442, \u0447\u0442\u043e \u0443 \u043d\u0435\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 10 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0441 \u043e\u0434\u043d\u0438\u043c \u043a\u043b\u044e\u0447\u043e\u043c \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435. \u041e\u043d\u0430 \u0442\u0430\u043a \u0443\u043c\u0435\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c. \u042d\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0443\u0436\u043d\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p>  <\/p>\n<p><em>\u0423 \u043c\u0435\u043d\u044f \u0435\u0449\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0435\u0441\u0442\u044c. \u0415\u0441\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e best practices \u043f\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e partitions, \u0442. \u0435. \u043c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e consumers \u0438\u043b\u0438 consumer groups?<\/em><\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u042f, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0432\u0441\u043a\u043e\u043b\u044c\u0437\u044c \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b, \u0447\u0442\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u2013 \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u0438. \u0427\u0442\u043e \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442? \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0442\u043e\u043f\u0438\u043a \u0440\u043e\u0432\u043d\u043e \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u0418 \u0447\u0438\u0442\u0430\u0442\u044c \u043c\u044b \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435 \u0431\u043e\u043b\u0435\u0435, \u0447\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432 consumer group \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0434\u0435\u043b\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439, \u0447\u0435\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u041d\u043e \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0438\u0437 consumers \u043f\u0430\u0434\u0430\u0435\u0442, \u0442\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0433\u0440\u0443\u043f\u043f\u0435, \u043d\u043e \u0435\u043c\u0443 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c. \u041e\u043d \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0432\u044b\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0432\u0448\u0443\u044e\u0441\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u0433\u0440\u0443\u043f\u043f\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c \u0434\u0435\u043b\u0430\u0442\u044c. \u042d\u0442\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b. <\/p>\n<p>  <\/p>\n<p><em>\u0417\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0434\u043e\u043a\u043b\u0430\u0434! \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f, \u0430 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043b\u0438 \u0432\u044b\u0445\u043e\u0434 \u043d\u043e\u0432\u044b\u0439 \u0432\u0435\u0440\u0441\u0438\u0438? \u0418 \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0435\u0449\u0435 \u0435\u0441\u0442\u044c. \u0418\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u043b\u0438 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0431\u0430\u0433\u0438 \u0432 \u0441\u0442\u0430\u0440\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438?<\/em><\/p>\n<p>  <\/p>\n<p>\u0411\u0430\u0433\u043e\u0432 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e. \u041e\u043d\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435, \u043d\u043e \u044f \u043f\u043e\u0447\u0442\u0438 \u0443\u0432\u0435\u0440\u0435\u043d, \u0447\u0442\u043e \u043d\u0435 \u0432\u0441\u0435. \u041f\u043e \u043f\u043e\u0432\u043e\u0434\u0443 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0442\u0432\u0435\u0447\u0443. \u042f \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0432\u0447\u0435\u0440\u0430 \u0437\u0430\u0448\u0435\u043b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u0440\u0435\u043b\u0438\u0437\u044b \u0431\u044b\u043b\u0438 \u0443 \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 Dot Net \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u041e\u043d \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u0442\u0430\u0434\u0438\u0438 \u2013 \u0432\u043e\u0442-\u0432\u043e\u0442 \u0438 \u0440\u0435\u043b\u0438\u0437-\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442. <\/p>\n<p>  <\/p>\n<p><em>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0434\u043e\u043a\u043b\u0430\u0434! \u0425\u043e\u0442\u0435\u043b \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c, \u043a\u0430\u043a \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u0435 Kafka, \u0442. \u0435. \u0432 \u0432\u0438\u0434\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d \u0438\u043b\u0438 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 Kubernetes<\/em>? <em>\u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440 Kubernetes, \u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0430\u043a\u0438\u0435 helm charts \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435? \u0418 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u043b\u0438\u0441\u044c \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c\u0438 failed offset commit<\/em>?<\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e \u043f\u043e\u0432\u043e\u0434\u0443 Kubernetes. \u0423 \u043d\u0430\u0441 Kubernetes \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432, \u0442. \u0435. \u043c\u044b Kafka \u0432 Kubernetes \u043d\u0435 \u0442\u0430\u0449\u0438\u043c. \u041e\u043d\u0430 \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f. \u0422. \u0435. \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a Kafka \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0432 Kubernetes, \u044f \u0432\u0430\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0441\u043a\u0430\u0436\u0443. \u041d\u0430\u0441\u0447\u0435\u0442 failed commit offset, \u0442\u043e \u044d\u0442\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u0448\u0442\u0443\u043a\u0430, \u043e\u043d\u0430 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u043e\u0434\u0438\u043d \u0438\u0437 consumers \u043f\u0440\u0438\u043b\u0435\u0433. Consumer, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0436\u0435 \u0445\u043e\u0442\u0435\u043b \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043f\u043e\u0447\u0442\u0438 \u0433\u043e\u0442\u043e\u0432, \u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430. \u041e\u043d \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c, \u0430 \u0435\u043c\u0443 \u0433\u043e\u0432\u043e\u0440\u044f\u0442: \u00ab\u0422\u044b \u0443\u0436\u0435 \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u044d\u0442\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e\u00bb \u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u044f\u0442\u0441\u044f. \u042d\u0442\u043e \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442. \u0418 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u044b\u0435 \u0433\u0440\u0430\u0431\u043b\u0438. \u0412\u0440\u0435\u043c\u044f \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435. \u0418 \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 GC \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043d\u0430 consumer, \u0442\u043e \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0442\u0443\u043f\u0438\u0442\u044c. \u041f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430, \u043e\u043d \u043e\u0436\u0438\u043b, \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c, \u043d\u043e \u0443 \u043d\u0435\u0433\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. \u041d\u0430\u0434\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0443. \u041e\u043d\u043e \u0435\u0449\u0435 \u0438\u043c\u0435\u0435\u0442 \u043f\u043e\u0431\u043e\u0447\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043d\u043e\u0432\u043e\u0433\u043e consumer \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0445. \u041a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e \u0442\u0430\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442? \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0434\u043d\u0430 \u0440\u0435\u043f\u043b\u0438\u043a\u0430 \u043f\u043e\u0434\u043d\u044f\u043b\u0430\u0441\u044c, \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0432\u0442\u043e\u0440\u0430\u044f, \u0435\u0449\u0435 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0442\u0440\u0435\u0442\u044c\u044f. \u0418 \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0443 \u0434\u0435\u043b\u0430\u043b\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0435 \u0442\u0430\u043a\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u0442\u043e \u043c\u044b \u0431\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u0447\u0438\u0442\u0430\u0442\u044c, \u043f\u043e\u043a\u0430 \u0432\u0441\u0435 consumers \u043d\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f. \u0427\u0430\u0441\u0442\u044c consumers \u0443\u0436\u0435 \u0443\u0441\u043f\u0435\u043b\u0430 \u043f\u043e\u0434\u043d\u044f\u0442\u044c\u0441\u044f. \u041f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430. \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c. \u0418 \u043e\u043d \u0431\u0435\u0440\u0435\u0442 \u043f\u0430\u0443\u0437\u0443. \u041e\u043d \u0436\u0434\u0435\u0442, \u043f\u043e\u043a\u0430 \u043d\u0430\u0431\u0435\u0440\u0443\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 consumers. \u0422\u0430\u043c \u0435\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0442\u0430\u0439\u043c-\u0430\u0443\u0442. \u0418 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043d\u0430 \u0443\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435. \u0418 \u044d\u0442\u043e \u043f\u0440\u0438\u043a\u043e\u043b\u044c\u043d\u043e. <\/p>\n<p>  <\/p>\n<p><em>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0434\u043e\u043a\u043b\u0430\u0434! \u041a\u0430\u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0435 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c consumers, \u0442. \u0435. \u043d\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043b, \u0441\u0447\u0438\u0442\u0430\u043b, \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0430 \u0432\u044b\u0447\u0438\u0449\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043a\u0430\u0436\u0434\u044b\u0439 consumer<\/em>?<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 consumer \u043f\u043e\u043b\u0443\u0447\u0438\u043b, \u0443 \u043d\u0430\u0441 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435\u0441\u0442\u043a\u043e\u0439 \u043d\u0435\u0442. \u041d\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u044b \u0445\u0440\u0430\u043d\u0438\u043c \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u043d\u0435\u0439. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 consumer \u043d\u0435 \u0443\u0434\u043e\u0441\u0443\u0436\u0438\u043b\u0441\u044f \u0437\u0430 3 \u0434\u043d\u044f \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0442\u043e \u0438 \u043d\u0435 \u043d\u0430\u0434\u043e \u0435\u0433\u043e \u0436\u0434\u0430\u0442\u044c. \u0423 \u043d\u0430\u0441 \u0442\u0430\u043a\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430.<\/p>\n<p>  <\/p>\n<p><em>\u0417\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0423 \u043c\u0435\u043d\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u041c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043f\u0440\u0438\u043c\u0435\u0440 user case, \u043a\u0430\u043a \u0432\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 Kafka \u0443 \u0441\u0435\u0431\u044f \u0438 \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447? \u042f \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u043b \u043f\u0440\u043e Postgres, \u043e \u0442\u043e\u043c, \u0447\u0442\u043e Kafka \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c Postgres. \u041e\u043d\u0438 \u0436\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447, \u044f \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u043b \u043f\u0440\u043e \u044d\u0442\u043e.<\/em> <\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0430\u0431\u0441\u0443\u0440\u0434\u043d\u0430\u044f \u0432\u0435\u0449\u044c. \u042f \u0445\u043e\u0442\u0435\u043b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0430\u0431\u0441\u0443\u0440\u0434\u043d\u0443\u044e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e \u0432 \u0442\u043e\u043c \u043f\u043b\u0430\u043d\u0435, \u0447\u0442\u043e, \u043a\u043e\u0433\u0434\u0430 \u0442\u044b \u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0448\u044c\u0441\u044f \u0441 Kafka, \u0441 \u0435\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u043c\u0438 \u0432\u0435\u0449\u0430\u043c\u0438, \u0442\u043e \u0432\u0438\u0434\u0438\u0448\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0438 \u043a\u043b\u0430\u0441\u0441\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u043b\u044e\u0431\u043b\u044f\u0435\u0448\u044c\u0441\u044f \u0432 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044e. \u0422\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043a\u0440\u0443\u0442\u0430\u044f. \u0412 \u044d\u0442\u043e\u043c \u0431\u044b\u043b point. \u042d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e Postgres \u043d\u0430\u0434\u043e \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u043d\u0430 Kafka. \u041d\u0435\u0442, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435\u0442. <\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c Kafka? \u0423 \u043d\u0430\u0441 \u043a\u0443\u0447\u0430 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432, \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430 \u0442\u044b\u0441\u044f\u0447\u0430 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u043e\u0432. \u0418\u0437 \u043d\u0438\u0445 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u043e\u0433\u0438, \u0430 \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 \u0435\u0441\u0442\u044c \u0435\u0449\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u043e \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0435, \u0442. \u0435. \u0445\u043e\u0442\u0438\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c\u0438 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 Kafka. \u0418 \u0442\u0430\u043a\u0436\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u0442. \u0435. \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043e\u0448\u0438\u0431\u043e\u043a \u0438 \u043f\u0440\u043e\u0447\u0435\u0435.<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/537846\/\"> https:\/\/habr.com\/ru\/post\/537846\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p>Apache Kafka \u2014 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0439 \u0431\u0440\u043e\u043a\u0435\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0439 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430. \u041a \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c Apache Kafka \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438: \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0438 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Apache Kafka. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0438 \u0433\u0440\u0430\u0431\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u043d\u0430 \u043f\u0443\u0442\u0438 \u0412\u043e\u0441\u0442\u043e\u043a\u0430.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vp\/m7\/ko\/vpm7ko62n5acusry8shwqjnavfc.png\"><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-316546","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/316546","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=316546"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/316546\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=316546"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=316546"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=316546"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}