{"id":474226,"date":"2025-09-08T15:03:47","date_gmt":"2025-09-08T15:03:47","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=474226"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=474226","title":{"rendered":"<span>\u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 Kafka: \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0438 \u043e\u0431\u043c\u0435\u043d \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c\u0438<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 <a href=\"https:\/\/habr.com\/ru\/articles\/940308\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a> \u043c\u044b \u0441\u00a0\u0432\u0430\u043c\u0438 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438, \u043a\u0430\u043a\u00a0\u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 Kafka \u0438\u0437\u00a0\u0442\u0440\u0435\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432 \u0432\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 KRaft \u043d\u0430\u00a0Windows \u0432\u00a0WSL, \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0\u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u043a\u00a0\u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0443.<\/p>\n<p>\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044f \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0443 \u00ab\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u00a0\u2014 \u043b\u0443\u0447\u0448\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438\u00bb, \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438.<\/p>\n<p>\u0412\u00a0\u0446\u0435\u043b\u043e\u043c \u043e\u00a0\u0440\u0430\u0431\u043e\u0442\u0435 Kafka \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0438\u0437\u00a0\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u0441\u00a0\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u00a0\u2014 <strong>\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 Kafka:<\/strong><\/p>\n<ul>\n<li>\n<p>\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432\u00a0Kafka \u0441\u00a0\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0448\u0438\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 Apache Kafka;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043d\u0430\u00a0Python;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0443\u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 JSON\u2011\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f;<\/p>\n<\/li>\n<\/ul>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432\u00a0Apache Kafka\u00a0\u2014 \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e\u044d\u0442\u0430\u043f\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 (producer), \u0431\u0440\u043e\u043a\u0435\u0440\u044b Kafka \u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438.<\/p>\n<p>\u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c\u043e\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 <strong>\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 (payload)<\/strong> \u0438 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 <strong>\u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445<\/strong>, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f\u00a0\u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438. \u041f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432\u00a0Kafka \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d <strong>1\u00a0\u041c\u0411<\/strong>, \u043e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e\u0442\u00a0\u043b\u0438\u043c\u0438\u0442 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u043b\u0438\u00a0\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432 <strong>\u043f\u0430\u043a\u0435\u0442\u044b (batch)<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a, \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0432\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c \u0432\u00a0\u0430\u0434\u0440\u0435\u0441 \u0431\u0440\u043e\u043a\u0435\u0440\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f (Record)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043b\u044e\u0447\u0430 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u00a0\u043c\u0430\u0441\u0441\u0438\u0432 \u0431\u0430\u0439\u0442\u043e\u0432)<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043c\u0435\u0449\u0435\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Record Batch (\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043f\u043e\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c)<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 ProduceRequest \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0443<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u044d\u0442\u0430\u043f\u043e\u0432 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0435\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435, \u043d\u043e\u00a0\u0438 \u0433\u043b\u0443\u0431\u0436\u0435 \u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430. \u041d\u0430\u00a0\u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0442\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0447\u0438\u043a\u0430\u00a0\u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0439\u0442. \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0432\u0440\u043e\u0434\u0435 Kafka, \u0433\u0434\u0435 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0442\u0430\u043a\u0438\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u044b, \u043d\u0430\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0431\u0443\u0444\u0435\u0440\u0430\u0445, \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u00a0\u0431\u0430\u0442\u0447\u0438 \u0438 \u0441\u0436\u0438\u043c\u0430\u044e\u0442\u0441\u044f,\u00a0\u2014 \u0438\u0437\u00a0\u044d\u0442\u0438\u0445 \u00ab\u043a\u0440\u043e\u0448\u0435\u043a\u00bb \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0441\u0435\u0442\u0435\u0432\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f \u043f\u043e\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<h2>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f (Record)<\/h2>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435, \u043f\u0435\u0440\u0435\u0434 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u00a0Record\u00a0\u2014 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ac7\/977\/a93\/ac7977a93345e706e63f92c5b178ee63.png\" alt=\"Record\" title=\"Record\" width=\"750\" height=\"437\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ac7\/977\/a93\/ac7977a93345e706e63f92c5b178ee63.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ac7\/977\/a93\/ac7977a93345e706e63f92c5b178ee63.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Record<\/figcaption><\/div>\n<\/figure>\n<p><strong>Key (\u043a\u043b\u044e\u0447)<\/strong><\/p>\n<ul>\n<li>\n<p>Kafka \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043a\u043b\u044e\u0447 \u0434\u043b\u044f\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u042d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0432\u00a0\u0431\u0430\u0439\u0442\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: String, Integer, Dictionary, None<\/p>\n<\/li>\n<li>\n<p>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0\u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043a\u043b\u044e\u0447\u043e\u043c \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432\u00a0\u043e\u0434\u043d\u0443 \u0438 \u0442\u0443\u00a0\u0436\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0442\u043e\u043f\u0438\u043a\u0430. \u042d\u0442\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0434\u043b\u044f\u00a0\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043b\u044e\u0447 \u043d\u0435\u00a0\u0437\u0430\u0434\u0430\u043d (null), \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u00a0\u2014 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 (round\u2011robin) \u0438\u043b\u0438\u00a0\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u044e\u0447 \u0443\u0434\u043e\u0431\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f\u00a0\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u00a0\u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0437\u0430\u043a\u0430\u0437\u0430 \u0438\u043b\u0438\u00a0\u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430 \u0432\u00a0CQRS\/Event Sourcing.<\/p>\n<\/li>\n<\/ul>\n<p><strong>Value (\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435)<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 (payload) \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u00a0\u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u00a0\u0431\u0430\u0439\u0442\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0\u2014 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u043c. \u0424\u043e\u0440\u043c\u0430\u0442 (JSON, Avro, Protobuf \u0438 \u0434\u0440.) \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0431\u0440\u043e\u043a\u0435\u0440 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u0442 \u0441\u0436\u0430\u0442\u044b\u0435 \u0431\u0430\u0442\u0447\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, LZ4, ZSTD), \u043d\u043e\u00a0\u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0435\u00a0\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 Value\u00a0\u2014 \u043e\u043d\u043e \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u00ab\u0447\u0451\u0440\u043d\u044b\u043c \u044f\u0449\u0438\u043a\u043e\u043c\u00bb.<\/p>\n<\/li>\n<\/ul>\n<p><strong>Headers (\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438)<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u00a0Kafka \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441\u00a0\u0432\u0435\u0440\u0441\u0438\u0438 0.11.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u043f\u0430\u0440 \u00ab\u043a\u043b\u044e\u0447\u2011\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00bb, \u0433\u0434\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0441\u0442\u0440\u043e\u043a\u043e\u0439, \u0447\u0438\u0441\u043b\u043e\u043c \u0438\u043b\u0438\u00a0null.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u00a0\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430\u00a0\u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0438\u043b\u0438\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0423\u0434\u043e\u0431\u043d\u044b \u0434\u043b\u044f\u00a0\u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f\u00a0distributed tracing),<\/p>\n<\/li>\n<li>\n<p>\u0442\u043e\u043a\u0435\u043d\u044b \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438,<\/p>\n<\/li>\n<li>\n<p>\u0432\u0435\u0440\u0441\u0438\u0438 \u0441\u0445\u0435\u043c\u044b,<\/p>\n<\/li>\n<li>\n<p>\u0444\u043b\u0430\u0433\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><strong>Topic\u00a0(\u0442\u043e\u043f\u0438\u043a)<\/strong> <\/p>\n<ul>\n<li>\n<p>\u041d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043e\u0441\u0442\u0430\u0432 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u00a0\u2014 \u043d\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0441\u044f \u0432\u00a0RecordBatch.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430\u00a0\u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u00a0ProduceRequest, \u0433\u0434\u0435 \u0442\u043e\u043f\u0438\u043a \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n<h2>\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f <\/h2>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 Kafka \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u00a0\u0441\u0435\u0442\u0438 \u0432\u00a0\u0431\u0438\u043d\u0430\u0440\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043a\u043b\u044e\u0447\u0430 (key) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (value) \u0434\u043e\u043b\u0436\u043d\u044b\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u044b \u0432\u00a0\u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0431\u0430\u0439\u0442\u043e\u0432 (byte[]). \u042d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a <strong>StringSerializer<\/strong>, <strong>ByteArraySerializer<\/strong>, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u043d\u043e\u2011\u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435\u00a0\u2014 <strong>Avro<\/strong>, <strong>Protobuf<\/strong>, <strong>JSON<\/strong> \u0441\u0445\u0435\u043c\u044b \u0438 \u0434\u0440\u0443\u0433\u0438\u0435.<\/p>\n<p><strong>Timestamp<\/strong> \u0438 <strong>Headers<\/strong>\u00a0\u2014 \u0442\u0430\u043a\u0436\u0435 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c Kafka \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0442\u0430\u043a, \u043a\u0430\u043a\u00a0key\/value. \u041e\u043d\u0438\u00a0\u2014 \u0447\u0430\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f Kafka, \u0430\u00a0\u043d\u0435\u00a0\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438.<\/p>\n<p><strong>\u0422\u043e\u043f\u0438\u043a<\/strong>\u00a0\u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0438\u0437\u00a0\u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0435\u00a0\u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432\u00a0RecordBatch \u0438 \u043d\u0435\u00a0\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432\u043e\u043e\u0431\u0449\u0435.<\/p>\n<h2>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/h2>\n<p>\u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0448\u0430\u0433\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0435\u0448\u0430\u0435\u0442 \u0432\u00a0\u043a\u0430\u043a\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0442\u043e\u043f\u0438\u043a\u0430<\/strong> \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043b\u044e\u0447 (key) \u0443\u043a\u0430\u0437\u0430\u043d, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0445\u0435\u0448 \u043e\u0442\u00a0\u043a\u043b\u044e\u0447\u0430 \u0434\u043b\u044f\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u0433\u0434\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u00a0\u0442\u0430\u043a\u0438\u043c\u00a0\u0436\u0435 \u043a\u043b\u044e\u0447\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043b\u044e\u0447 (key) = null, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f (round\u2011robin) \u0438\u043b\u0438\u00a0\u043a\u0430\u0441\u0442\u043e\u043c\u043d\u0430\u044f.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445<\/strong>\u2014 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u00a0\u0442\u043e\u043f\u0438\u043a\u0430\u0445, \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u0445, \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445,\u00a0\u043b\u0438\u0434\u0435\u0440\u0430\u0445 \u0438 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0445. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442<strong> <\/strong>\u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e RecordBatch.<\/p>\n<h2>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 RecordBatch<\/h2>\n<p>\u0423\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 <strong>RecordBatch<\/strong>, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3a7\/6b5\/52f\/3a76b552f5189fdf740ab270ce895815.png\" alt=\"RecordBatch\" title=\"RecordBatch\" width=\"752\" height=\"258\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3a7\/6b5\/52f\/3a76b552f5189fdf740ab270ce895815.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3a7\/6b5\/52f\/3a76b552f5189fdf740ab270ce895815.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>RecordBatch<\/figcaption><\/div>\n<\/figure>\n<\/li>\n<\/ul>\n<p>\u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u2014 \u043e\u043d\u0438\u00a0<strong>\u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f<\/strong>\u00a0\u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0438 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u00a0<strong>Record Batches<\/strong>\u00a0(\u043f\u0430\u043a\u0435\u0442\u044b \u0437\u0430\u043f\u0438\u0441\u0435\u0439). \u042d\u0442\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b.<\/p>\n<ul>\n<li>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439\u00a0<strong>Record Batch<\/strong>\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043f\u0438\u043a\u0443 \u0438 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0411\u0430\u0442\u0447\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u00a0<strong>Record Accumulator<\/strong>\u00a0\u2014 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u0431\u0443\u0444\u0435\u0440\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c\u00a0<code>batch.size<\/code>\u00a0(\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 16 \u041a\u0411).<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0431\u0430\u0442\u0447 \u043d\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u043d\u043e \u043f\u0440\u043e\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u044f\u00a0linger.ms\u00a0(\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0 \u043c\u0441), \u043e\u043d \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f\u00a0\u0441\u0436\u0430\u0442\u0438\u0435\u00a0\u2014 \u0432\u0435\u0441\u044c \u0431\u0430\u0442\u0447 \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0447\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435, \u0447\u0435\u043c \u0441\u0436\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p><strong>\u0428\u0430\u0433\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f RecordBatch.<\/strong><\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e (\u043f\u043e \u043a\u043b\u044e\u0447\u0443 \u0438\u043b\u0438\u00a0round\u2011robin).<\/p>\n<\/li>\n<li>\n<p>\u0421\u043c\u043e\u0442\u0440\u0438\u0442, \u0435\u0441\u0442\u044c\u00a0\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0430\u0442\u0447 \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0438 \u043e\u043d \u0435\u0449\u0451 \u043d\u0435\u00a0\u043f\u043e\u043b\u043d\u044b\u0439 (&lt; <code>batch.size<\/code>), \u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0431\u0430\u0442\u0447 \u043f\u043e\u043b\u043d\u044b\u0439 \u0438\u043b\u0438\u00a0\u0437\u0430\u043a\u0440\u044b\u0442, \u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043d\u043e\u0432\u044b\u0439.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u0439\u043c\u0435\u0440 <code>linger.ms<\/code> (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0\u2014 0\u00a0\u043c\u0441):<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0437\u0430\u00a0\u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0438\u0448\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0438, \u043e\u043d\u0438 \u0434\u043e\u0431\u0430\u0432\u044f\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435\u00a0\u043f\u0440\u0438\u0448\u043b\u0438, \u0431\u0430\u0442\u0447 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u00ab\u043a\u0430\u043a \u0435\u0441\u0442\u044c\u00bb.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0436\u0430\u0442\u0438\u044f: producer, gzip, snappy, lz4, zstd \u0438\u043b\u0438\u00a0none.<\/p>\n<\/li>\n<li>\n<p>\u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0442\u0438\u043f \u0441\u0436\u0430\u0442\u0438\u044f \u0432\u00a0\u043f\u043e\u043b\u0435 <code>RecordBatch.Attributes<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0435 \u0437\u0430 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 RecordBatch.<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\"><code>batch.size<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440   \u0431\u0430\u0442\u0447\u0430 \u0432 \u0431\u0430\u0439\u0442\u0430\u0445, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043d \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">16384\u00a0(16   \u041a\u0411) \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u2014 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0431\u0430\u0442\u0447, \u0442\u0435\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0441\u0436\u0430\u0442\u0438\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\"><code>linger.ms<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0440\u0435\u043c\u044f   \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0431\u0430\u0442\u0447\u0430 (\u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439)<\/p>\n<\/td>\n<td>\n<p align=\"left\">5\u201320\u00a0\u043c\u0441 \u2014 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0 \u043c\u0441.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\"><code>compression.type<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u0438\u043f \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 RecordBatch<\/p>\n<\/td>\n<td>\n<p align=\"left\">none | gzip | snappy | lz4 | zstd | producer<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 compression.type:<\/strong><\/p>\n<ul>\n<li>\n<p>none\u00a0\u2014 \u0441\u0436\u0430\u0442\u0438\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043e (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e).<\/p>\n<\/li>\n<li>\n<p>gzip\u00a0\u2014 \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0436\u0430\u0442\u0438\u044f, \u043d\u043e\u00a0\u0432\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430\u00a0CPU.<\/p>\n<\/li>\n<li>\n<p>snappy\u00a0\u2014 \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, \u043d\u0438\u0437\u043a\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 CPU (\u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f).<\/p>\n<\/li>\n<li>\n<p>lz4\u00a0\u2014\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 snappy, \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 (\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e).<\/p>\n<\/li>\n<li>\n<p>zstd\u00a0\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u00a0Kafka 2.1+, \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e.<\/p>\n<\/li>\n<li>\n<p>producer\u00a0\u2014 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u0438\u043f, \u0431\u0440\u043e\u043a\u0435\u0440 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043a\u0430\u043a\u00a0\u0435\u0441\u0442\u044c (\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0441\u00a0Kafka 2.4+).<\/p>\n<\/li>\n<\/ul>\n<h2>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 ProduceRequest\u00a0\u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0443<\/h2>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0431\u0430\u0442\u0447 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u043c (\u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d batch.size \u0438\u043b\u0438\u00a0\u0438\u0441\u0442\u0435\u043a <code>linger.ms<\/code>), \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 <strong>ProduceRequest<\/strong>\u00a0\u2014 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u00a0\u0431\u0440\u043e\u043a\u0435\u0440\u0443 Kafka.<\/p>\n<ul>\n<li>\n<p>ProduceRequest \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0434\u0438\u043d \u0438\u043b\u0438\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e Record Batch, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c (\u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u0431\u0440\u043e\u043a\u0435\u0440\u0430\u043c).<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0442\u044c \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430 Kafka (\u043d\u0430 \u0431\u0430\u0437\u0435 TCP).<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043e\u0436\u0438\u0434\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430 \u043e\u0442\u00a0\u0431\u0440\u043e\u043a\u0435\u0440\u0430 \u0432\u00a0\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 acks:<\/p>\n<ul>\n<li>\n<p>acks=0\u00a0\u2014 \u043d\u0435\u00a0\u0436\u0434\u0430\u0442\u044c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p>acks=1\u00a0\u2014 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0\u043b\u0438\u0434\u0435\u0440\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0430;<\/p>\n<\/li>\n<li>\n<p>acks=all\u00a0\u2014 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0\u0432\u0441\u0435\u0445 \u0440\u0435\u043f\u043b\u0438\u043a (\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c).<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>\u041b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 <strong>ProduceRequest<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0431\u0440\u043e\u043a\u0435\u0440\u0443 Kafka \u0434\u043b\u044f\u00a0\u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/195\/d8a\/c06\/195d8ac06fd7ac0942e8cdb13d0afc64.png\" alt=\"ProduceRequest\" title=\"ProduceRequest\" width=\"750\" height=\"727\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/195\/d8a\/c06\/195d8ac06fd7ac0942e8cdb13d0afc64.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/195\/d8a\/c06\/195d8ac06fd7ac0942e8cdb13d0afc64.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><strong>ProduceRequest<\/strong><\/figcaption><\/div>\n<\/figure>\n<h2>\u0412\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432 \u0441 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u043c Kafka<\/h2>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u043c\u0435\u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u00a0Kafka \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u0442\u0440\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f <strong>ProduceRequest<\/strong> \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u0443. \u0411\u0440\u043e\u043a\u0435\u0440, \u0432\u00a0\u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439\u0441\u044f \u0432\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0435 <strong>RecordBatch<\/strong> \u0432\u00a0\u043b\u043e\u0433\u2011\u0444\u0430\u0439\u043b \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430. \u0414\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0434\u043e\u00a0\u0438\u0441\u0442\u0435\u0447\u0435\u043d\u0438\u044f \u0441\u0440\u043e\u043a\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f, \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u043e\u0439 retention (\u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438\u00a0\u043f\u043e\u00a0\u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430), \u0438 \u0432\u0441\u0451 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0434\u043b\u044f\u00a0\u0447\u0442\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442 \u0431\u0440\u043e\u043a\u0435\u0440\u0443 <strong>FetchRequest<\/strong>. \u0412\u00a0\u043e\u0442\u0432\u0435\u0442 \u0431\u0440\u043e\u043a\u0435\u0440 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 <strong>FetchResponse<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0434\u0438\u043d \u0438\u043b\u0438\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0436\u0430\u0442\u044b\u0445 <strong>RecordBatch<\/strong>. \u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0431\u044a\u0435\u043c \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 (\u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a <code>fetch.min.bytes<\/code> \u0438 <code>fetch.max.wait.ms<\/code>) \u0438 \u0435\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u043b\u043e\u0433\u0438\u043a\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<p><strong>\u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438: <\/strong><\/p>\n<p>\u0424\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c, \u043b\u0435\u0436\u0430\u0449\u0438\u043c \u0432\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 Apache Kafka, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0430\u043a\u0435\u0442\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 (batching) \u0438 \u0441\u0436\u0430\u0442\u0438\u0435 (compression) \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. \u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f (Record) \u043f\u043e\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 Kafka \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0438\u0445 \u0432\u00a0\u0433\u0440\u0443\u043f\u043f\u044b\u00a0\u2014 <strong>RecordBatch<\/strong>. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u044f\u0434 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u044b\u0445 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432:<\/p>\n<ul>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 (throughput) \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430\u00a0\u0441\u0435\u0442\u044c \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 larger, \u0441\u0436\u0430\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043c\u0435\u043b\u043a\u0438\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430\u00a0I\/O, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043d\u0430\u00a0\u0434\u0438\u0441\u043a \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u0441\u0436\u0430\u0442\u044b\u0435 \u0431\u0430\u0442\u0447\u0438.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e \u0448\u0430\u0433\u0430\u043c:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u0430\u0442\u0447\u0430 \u043d\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0435 (Producer):<\/strong><\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043d\u0435\u00a0\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e. \u041e\u043d \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0435\u0442 \u0438\u0445 \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044f <strong>RecordBatch<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0432\u0435\u0441\u044c \u0431\u0430\u0442\u0447 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0435\u043a\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, gzip, snappy, lz4\u00a0\u0438\u043b\u0438\u00a0zstd). <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u0425\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0432 \u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435 \u043d\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0435 (Broker):<\/strong><\/p>\n<ul>\n<li>\n<p>\u0411\u0440\u043e\u043a\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0443\u0436\u0435 \u0441\u0436\u0430\u0442\u044b\u0439 <strong>RecordBatch<\/strong> \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u043d\u0430\u00a0\u0434\u0438\u0441\u043a \u0432\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0432\u0438\u0434\u0435, \u0431\u0435\u0437\u00a0\u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0438. \u042d\u0442\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0441\u0435\u0442\u0438, \u043d\u043e\u00a0\u0438 <strong>\u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e (I\/O)<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432\u00a0\u043b\u043e\u0433\u0430\u0445 (log segments) \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u0430\u043a\u00a0\u0441\u0436\u0430\u0442\u044b\u0435 \u0431\u0430\u0442\u0447\u0438. \u041c\u0435\u0442\u043a\u0430 compressionType \u0432\u00a0\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435 \u0431\u0430\u0442\u0447\u0430 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u0442, \u043a\u0430\u043a\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u00a0\u0431\u044b\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u0443 (Consumer) \u0438 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0430:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 (FetchRequest) \u043d\u0430\u00a0\u0447\u0442\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0431\u0440\u043e\u043a\u0435\u0440 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0435\u043c\u0443 \u0442\u0435\u00a0\u0436\u0435 \u0441\u0430\u043c\u044b\u0435 <strong>\u0441\u0436\u0430\u0442\u044b\u0435 RecordBatch<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 <strong>\u043d\u0430\u00a0\u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u0430<\/strong> \u0435\u0433\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439. \u042d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043f\u043e\u00a0\u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0435 \u043c\u0435\u0436\u0434\u0443 \u0432\u0441\u0435\u043c\u0438 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u0430\u043c\u0438 \u0432\u00a0\u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0431\u0440\u043e\u043a\u0435\u0440\u044b.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439:<\/strong><\/p>\n<ul>\n<li>\n<p>\u0422\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0438 \u0431\u0430\u0442\u0447\u0430 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c (Records) \u0438 \u0438\u0445 \u043f\u043e\u043b\u044f\u043c: \u043a\u043b\u044e\u0447\u0443 (Key), \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e (Value), \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c (Headers) \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043c\u0435\u0442\u043a\u0435 (Timestamp).<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2cd\/03b\/8e7\/2cd03b8e7ae4e9b2410d77ea185d9831.png\" alt=\"\u041f\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 Producer-Consumer\" title=\"\u041f\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 Producer-Consumer\" width=\"974\" height=\"734\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2cd\/03b\/8e7\/2cd03b8e7ae4e9b2410d77ea185d9831.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2cd\/03b\/8e7\/2cd03b8e7ae4e9b2410d77ea185d9831.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 Producer-Consumer<\/figcaption><\/div>\n<\/figure>\n<details class=\"spoiler\">\n<summary>PlantUML<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"java\">@startuml skinparam sequenceMessageAlign center skinparam sequenceArrowThickness 2 skinparam sequenceLifeLineBorderColor #888 skinparam sequenceLifeLineBackgroundColor #EEE  actor Producer participant \"Broker\\n(Partition Log)\" as Broker actor Consumer  Producer -&gt; Broker : \u041e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439\\n(RecordBatch c compressionType) note right of Producer   Producer \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e Record   \u0432 RecordBatch \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0436\u0430\u0442\u0438\u0435   (gzip\/snappy\/lz4\/zstd) end note  Broker -&gt; Broker : \u0425\u0440\u0430\u043d\u0435\u043d\u0438\u0435 RecordBatch\\n(\u0441\u0436\u0430\u0442\u044b\u0439 \u0432\u0438\u0434 \u0432 log segment) note right of Broker   \u0412 \u043b\u043e\u0433 \u0437\u0430\u043f\u0438\u0441\u0430\u043d \u0446\u0435\u043b\u044b\u0439 \u0431\u0430\u0442\u0447   \u0441 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c compressionType end note  Consumer -&gt; Broker : FetchRequest (\u0437\u0430\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e) Broker --&gt; Consumer : RecordBatch (\u0441\u0436\u0430\u0442\u044b\u0439) note right of Consumer   \u041a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430   \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u0442 \u0431\u0430\u0442\u0447 \u043f\u043e compressionType end note  Consumer -&gt; Consumer : \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 Records\\n(Key, Value, Headers, Timestamp) @enduml<\/code><\/pre>\n<\/div>\n<\/details>\n<h2>\u041f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0438 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p>\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a\u00a0\u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u0442\u043e\u043f\u0438\u043a\u043e\u0432, \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u043d\u0430\u0434 \u043d\u0430\u0448\u0438\u043c\u0438 \u043a\u00a0\u043d\u0438\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u043c \u043d\u0430\u00a0\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442 \u0438\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0438 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435:<\/p>\n<ol>\n<li>\n<p><strong>\u041d\u0430\u0431\u043e\u0440 \u0442\u043e\u043f\u0438\u043a\u043e\u0432.<\/strong><\/p>\n<ul>\n<li>\n<p>\u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043f\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d\u00a0\u0431\u044b\u0442\u044c \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0431\u0438\u0437\u043d\u0435\u0441\u2011\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438\u00a0\u0441\u043e\u0431\u044b\u0442\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>\u0438\u0437\u0431\u0435\u0433\u0430\u0439\u0442\u0435 \u0441\u043a\u0432\u043e\u0437\u043d\u044b\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432\u00a0\u2014 \u043d\u0435\u00a0\u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0434\u0438\u043d \u0442\u043e\u043f\u0438\u043a all\u2011events \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 \u0442\u0438\u043f\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043a\u0440\u043e\u043c\u0435 \u043a\u0430\u043a\u00a0\u0434\u043b\u044f\u00a0\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0430 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u00a0\u2014 \u0438\u043c\u044f \u0442\u043e\u043f\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u043e\u00a0\u0431\u044b\u0442\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u043c, \u043d\u043e\u00a0\u0438 \u0434\u0440\u0443\u0433\u0438\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c, \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430\u043c \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,<code>\u00a0&lt;\u0434\u043e\u043c\u0435\u043d&gt;.&lt;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c&gt;.&lt;\u0432\u0435\u0440\u0441\u0438\u044f&gt;<\/code> \u0438\u043b\u0438 <code>&lt;\u043a\u043e\u043c\u0430\u043d\u0434\u0430&gt;.&lt;\u0441\u043e\u0431\u044b\u0442\u0438\u0435&gt;<\/code>.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u044b \u0438 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u044b \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430.<\/strong><\/p>\n<ul>\n<li>\n<p>\u043a\u0430\u043a\u043e\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u0438\u043b\u0438\u00a0\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u044d\u0442\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f\/\u0434\u0430\u043d\u043d\u044b\u0435?<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u043a\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u00a0\u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0447\u0442\u043e\u00a0\u043e\u043d\u0438 \u0441\u00a0\u043d\u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u044e\u0442?<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043b\u044e\u0447\u0435\u0439 (key) \u0434\u043b\u044f\u00a0\u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u043e\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438.<\/strong><\/p>\n<ul>\n<li>\n<p>\u043f\u043e\u043c\u043d\u0438\u0442\u0435: Kafka \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043a\u043b\u044e\u0447 \u0434\u043b\u044f\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043a\u043b\u044e\u0447\u043e\u043c \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432\u00a0\u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>\u0435\u0441\u043b\u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432\u00a0\u0440\u0430\u043c\u043a\u0430\u0445 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438\u043b\u0438\u00a0\u0437\u0430\u043a\u0430\u0437\u0430) \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u043d\u00a0\u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0435\u0451 ID \u0432\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043b\u044e\u0447\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0435\u0441\u043b\u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043d\u0435\u00a0\u0432\u0430\u0436\u0435\u043d\u00a0\u2014 \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u043b\u044e\u0447 \u043f\u0443\u0441\u0442\u044b\u043c (null) \u0434\u043b\u044f\u00a0\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u00a0\u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0435 (latency) \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 <\/strong><\/p>\n<ul>\n<li>\n<p><code>linger.ms<\/code>\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0431\u0443\u0434\u0435\u0442 \u0436\u0434\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432\u00a0\u0431\u0430\u0442\u0447.<\/p>\n<\/li>\n<li>\n<p><code>batch.size<\/code>\u00a0\u2014 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0432\u00a0\u0431\u0430\u0439\u0442\u0430\u0445. \u041f\u0440\u0438\u00a0\u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0431\u0430\u0442\u0447 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0434\u0430\u043d\u043d\u044b\u0445:<\/strong><\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u044f\u00a0\u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 replication.factor=3\u00a0\u0438 acks=all. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043e \u043d\u0430\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445 \u043f\u0440\u0435\u0436\u0434\u0435, \u0447\u0435\u043c \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f\u00a0\u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438: \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 replication.factor=3\u00a0\u0438 acks=1. \u042d\u0442\u043e \u0437\u0430\u0449\u0438\u0442\u0438\u0442 \u043e\u0442\u00a0\u0441\u0431\u043e\u044f \u0431\u0440\u043e\u043a\u0435\u0440\u0430, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e\u00a0\u0432\u0441\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u00a0\u043c\u043e\u043c\u0435\u043d\u0442\u0443 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f\u00a0\u043d\u0435\u0432\u0430\u0436\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043b\u043e\u0433\u0438): \u041c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c replication.factor=2\u00a0\u0438 acks=1\u00a0\u0438\u043b\u0438\u00a0\u0434\u0430\u0436\u0435 acks=0\u00a0\u0434\u043b\u044f\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u0424\u043e\u0440\u043c\u0430\u0442 (\u0441\u0445\u0435\u043c\u0443) \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430 (\u043f\u043e\u043b\u0435 value).<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0424\u043e\u0440\u043c\u0430\u0442\u00a0\u2014 <\/strong>\u0431\u0443\u0434\u0435\u043c\u00a0\u043b\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c JSON, Avro, Protobuf \u0438\u043b\u0438\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0442\u0435\u043a\u0441\u0442?<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0438\u043f \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u2014 <\/strong>\u0431\u0443\u0434\u0443\u0442 \u044d\u0442\u043e \u0441\u044b\u0440\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u0441\u043d\u0438\u043c\u043a\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438\u00a0\u043a\u043e\u043c\u0430\u043d\u0434\u044b?<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430\u00a0\u2014 <\/strong>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0435\u0434\u0438\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432\u00a0\u0442\u043e\u043f\u0438\u043a\u0435.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430.<\/strong><br \/>\u0414\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0Kafka \u043d\u0435\u00a0\u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432\u0435\u0447\u043d\u043e. \u0412\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u044f\u0432\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u0445 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442\u00a0\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<ul>\n<li>\n<p>retention.ms<strong> <\/strong>\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0434\u043e\u043b\u0436\u043d\u044b \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 7\u00a0\u0434\u043d\u0435\u0439, 90\u00a0\u0434\u043d\u0435\u0439).<\/p>\n<\/li>\n<li>\n<p>retention.bytes<strong> <\/strong>\u2014<strong> <\/strong> \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432\u00a0\u0442\u043e\u043f\u0438\u043a\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 1\u00a0\u0422\u0411).<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<h2>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0439 \u043e \u0442\u043e\u043f\u0438\u043a\u0430\u0445<\/h2>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a\u00a0\u043c\u044b \u0438\u0437\u0443\u0447\u0438\u043b\u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0437\u0430\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u0442\u043e\u043f\u0438\u043a\u043e\u0432.<\/p>\n<p>\u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0442\u043e\u043f\u0438\u043a \u0441\u00a0\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438. \u0412\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438\u043c\u0435\u044e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0432\u0443\u043c\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438:<\/p>\n<ul>\n<li>\n<p>\u0427\u0435\u0440\u0435\u0437 <strong>\u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430<\/strong> \u0442\u043e\u043f\u0438\u043a\u0430 (\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u044b kafka\u2011configs)<\/p>\n<\/li>\n<li>\n<p>\u0427\u0435\u0440\u0435\u0437 <strong>\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b<\/strong> \u0431\u0440\u043e\u043a\u0435\u0440\u0430 (<code>server.properties<\/code>), \u043d\u043e\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f\u00a0\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>\u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0442\u043e\u043f\u0438\u043a\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u0413\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0432 <code>server.properties<\/code> \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430\u00a0\u0432\u0441\u0435 \u0442\u043e\u043f\u0438\u043a\u0438<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0442\u043e\u043f\u0438\u043a\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"center\"><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"center\"><strong>\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"left\"><code><strong>bootstrap-server   &lt;host:port&gt;<\/strong><\/code><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"left\">\u0410\u0434\u0440\u0435\u0441 \u0431\u0440\u043e\u043a\u0435\u0440\u0430 Kafka \u0434\u043b\u044f   \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">kafka1:9092,kafka2:9092\u00a0(\u0434\u043b\u044f   \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"left\"><code><strong>topic<\/strong><\/code><\/p>\n<p align=\"left\"><em>(\u041d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u0430)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"left\">\u0423\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u043c\u044f \u0442\u043e\u043f\u0438\u043a\u0430 \u0434\u043b\u044f   \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435. <\/p>\n<p align=\"left\">\u0416\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c   \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445.<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"left\"><code><strong>partitions<\/strong><\/code><\/p>\n<p align=\"left\"><em>(\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"left\">\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u0432 \u0434\u043b\u044f   \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438,   \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0430\u0441\u0447\u0435\u0442\u043d\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439. \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a01.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"left\"><code><strong>replication-factor<\/strong><\/code><\/p>\n<p align=\"left\"><em>(\u0424\u0430\u043a\u0442\u043e\u0440 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"left\">\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043f\u0438\u0439 (\u0440\u0435\u043f\u043b\u0438\u043a)   \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0434\u043b\u044f \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e = 1.   \u041e\u0431\u044b\u0447\u043d\u043e\u00a02\u00a0\u0438\u043b\u0438\u00a03.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"left\"><code><strong>min.insync.replicas<\/strong><\/code><\/p>\n<p align=\"left\"><em>(\u041c\u0438\u043d\u0438\u043c\u0443\u043c in-sync \u0440\u0435\u043f\u043b\u0438\u043a)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"left\">\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e   \u0440\u0435\u043f\u043b\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u043d\u043d\u044b\u0445\u0434\u043b\u044f\u00a0acks=all.<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\u00a0(\u043f\u0440\u0438\u00a0replication.factor=3).   \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a01.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"left\"><code><strong>cleanup.policy<\/strong><\/code><\/p>\n<p align=\"left\"><em>(\u041f\u043e\u043b\u0438\u0442\u0438\u043a\u0430   \u043e\u0447\u0438\u0441\u0442\u043a\u0438)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"left\">\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c   \u0434\u0430\u043d\u043d\u044b\u0445:\u00a0delete\u00a0(\u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435) \u0438\u043b\u0438\u00a0compact\u00a0(\u043a\u043e\u043c\u043f\u0430\u043a\u0442\u0438\u0437\u0430\u0446\u0438\u044f).<\/p>\n<\/td>\n<td>\n<p align=\"left\">delete\u00a0(\u043b\u043e\u0433\u0438),\u00a0compact\u00a0(\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435   \u0434\u0430\u043d\u043d\u044b\u0435). \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0delete.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"227\" width=\"227\">\n<p align=\"left\"><code><strong>compression.type<\/strong><\/code><\/p>\n<p align=\"left\"><em>(\u0422\u0438\u043f \u0441\u0436\u0430\u0442\u0438\u044f)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"252\" width=\"252\">\n<p align=\"left\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0436\u0430\u0442\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439:   none,\u00a0gzip,\u00a0snappy,\u00a0lz4,\u00a0zstd. \u0412\u043b\u0438\u044f\u0435\u0442 \u043d\u0430   \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/td>\n<td>\n<p align=\"left\">producer\u00a0(\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442   \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430),\u00a0zstd\u00a0(\u043b\u0443\u0447\u0448\u0435\u0435 \u0441\u0436\u0430\u0442\u0438\u0435).<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<\/p>\n<details class=\"spoiler\">\n<summary>Bash<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"bash\">\/opt\/kafka\/bin\/kafka-topics.sh --help<\/code><\/pre>\n<\/div>\n<\/details>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u0430 \u0441 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c test-topic.<\/p>\n<details class=\"spoiler\">\n<summary>Bash<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"bash\"> <\/code><\/pre>\n<ul>\n<li>\n<p>list \u2014 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0434\u043b\u044f      \u0432\u044b\u0432\u043e\u0434\u0430 \u0441\u043f\u0438\u0441\u043a\u0430 \u0432\u0441\u0435\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>bootstrap-server \u2014      \u0430\u0434\u0440\u0435\u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 Kafka \u0434\u043b\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<p>\u0415\u0441\u043b\u0438 \u0442\u043e\u043f\u0438\u043a\u0430 \u043d\u0435\u0442, \u0441\u043e\u0437\u0434\u0430\u0435\u043c<\/p>\n<details class=\"spoiler\">\n<summary>Bash<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"bash\">\/opt\/kafka\/bin\/kafka-topics.sh \\  --create \\  --bootstrap-server localhost:9092 \\  --topic test-topic \\  --partitions 1 \\  --replication-factor 3 \\<\/code><\/pre>\n<ul>\n<li>\n<p>create\u00a0\u2014 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u00a0\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>bootstrap\u2011server\u00a0\u2014 \u0430\u0434\u0440\u0435\u0441 \u0438 \u043f\u043e\u0440\u0442 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 Kafka \u0434\u043b\u044f\u00a0\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, localhost:9092)<\/p>\n<\/li>\n<li>\n<p>topic\u00a0\u2014 \u0438\u043c\u044f \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430 (\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435: test\u2011topic)<\/p>\n<\/li>\n<li>\n<p>partitions\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0432\u00a0\u0442\u043e\u043f\u0438\u043a\u0435 (1\u00a0\u0432\u00a0\u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435)<\/p>\n<\/li>\n<li>\n<p>replication\u2011factor\u00a0\u2014 \u0444\u0430\u043a\u0442\u043e\u0440 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043f\u0438\u0439 \u0434\u0430\u043d\u043d\u044b\u0445, 3\u00a0\u0432\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435)<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438, \u0447\u0442\u043e \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u0431\u0440\u043e\u043a\u0435\u0440\u0443, \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0441\u0436\u0430\u0442\u0438\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430. \u0418 \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u0447\u0435\u0440\u0435\u0437 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430.<\/p>\n<details class=\"spoiler\">\n<summary>Bash<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"bash\">\/opt\/kafka\/bin\/kafka-configs.sh \\     --bootstrap-server localhost:9092 \\     --alter \\     --entity-type topics \\     --entity-name test-topic \\     --add-config compression.type=producer<\/code><\/pre>\n<ul>\n<li>\n<p>bootstrap\u2011server\u00a0\u2014 \u0430\u0434\u0440\u0435\u0441 \u0438 \u043f\u043e\u0440\u0442 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 Kafka \u0434\u043b\u044f\u00a0\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, localhost:9092)<\/p>\n<\/li>\n<li>\n<p>alter\u00a0\u2014 \u0444\u043b\u0430\u0433, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0439, \u0447\u0442\u043e\u00a0\u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/li>\n<li>\n<p>entity\u2011type\u00a0\u2014 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0442\u0438\u043f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0435, \u0432\u00a0\u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 topics<\/p>\n<\/li>\n<li>\n<p>entity-name &#8212; \u00a0\u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u00a0\u0438\u043c\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0435. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 test-topics.<\/p>\n<\/li>\n<li>\n<p>add\u2011config compression.type=producer\u00a0\u2014 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043b\u0438\u00a0\u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u043f\u0438\u043a\u0430<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u044b:<\/p>\n<\/li>\n<\/ul>\n<pre><code class=\"bash\">Completed updating config for topic test-topic.<\/code><\/pre>\n<\/div>\n<\/details>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c:<\/p>\n<details class=\"spoiler\">\n<summary>Bash<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"bash\">\/opt\/kafka\/bin\/kafka-configs.sh \\     --bootstrap-server localhost:9092 \\     --describe \\     --entity-type topics \\     --entity-name test-topic<\/code><\/pre>\n<ul>\n<li>\n<p>bootstrap\u2011server\u00a0\u2014 \u0430\u0434\u0440\u0435\u0441 \u0438 \u043f\u043e\u0440\u0442 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 Kafka \u0434\u043b\u044f\u00a0\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, localhost:9092)<\/p>\n<\/li>\n<li>\n<p>describe &#8212; \u0432\u044b\u0432\u043e\u0434\u0438\u0442 \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e\u00a0\u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 (\u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 \u0442\u043e\u043f\u0438\u043a\u0430).  <\/p>\n<\/li>\n<li>\n<p>entity\u2011type\u00a0\u2014 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0442\u0438\u043f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0435. \u0412\u00a0\u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 topics.<\/p>\n<\/li>\n<li>\n<p>entity-name &#8212; \u00a0\u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u00a0\u0438\u043c\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0435. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 test-topics.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430:<\/p>\n<\/li>\n<\/ul>\n<pre><code class=\"bash\">Dynamic configs for topic test-topic are: compression.type=producer sensitive=false synonyms={DYNAMIC_TOPIC_CONFIG:compression.type=producer, DEFAULT_CONFIG:compression.type=producer}<\/code><\/pre>\n<\/div>\n<\/details>\n<p>\u0414\u043b\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:    <\/p>\n<details class=\"spoiler\">\n<summary>Bash<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"bash\">\/opt\/kafka\/bin\/kafka-configs.sh \\     --bootstrap-server localhost:9092 \\     --alter \\     --entity-type topics \\     --entity-name test-topic \\     --delete-config compression.type<\/code><\/pre>\n<ul>\n<li>\n<p>bootstrap\u2011server\u00a0\u2014 \u0430\u0434\u0440\u0435\u0441 \u0438 \u043f\u043e\u0440\u0442 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 Kafka \u0434\u043b\u044f\u00a0\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, localhost:9092)<\/p>\n<\/li>\n<li>\n<p>alter\u00a0\u2014 \u0444\u043b\u0430\u0433, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0439, \u0447\u0442\u043e\u00a0\u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/li>\n<li>\n<p>entity\u2011type\u00a0\u2014 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0442\u0438\u043f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0435, \u0432\u00a0\u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 topics<\/p>\n<\/li>\n<li>\n<p>entity-name &#8212; \u00a0\u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u00a0\u0438\u043c\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0435. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 test-topics.<\/p>\n<\/li>\n<li>\n<p>delete-config &#8212; \u0443\u0434\u0430\u043b\u044f\u0435\u0442 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u044b:<\/p>\n<\/li>\n<\/ul>\n<pre><code class=\"bash\">Completed updating config for topic test-topic.<\/code><\/pre>\n<\/div>\n<\/details>\n<h2>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c (Producer)<\/h2>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a\u00a0\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<br \/> \u0425\u043e\u0442\u044f \u0443\u00a0Kafka \u0435\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430. \u0412\u00a0\u0442\u0430\u043a\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Java \u0438\u043b\u0438\u00a0Python. \u041c\u044b \u0432\u044b\u0431\u0435\u0440\u0435\u043c Python\u00a0\u2014 \u043e\u043d \u043f\u0440\u043e\u0449\u0435 \u0432\u00a0\u043e\u0441\u0432\u043e\u0435\u043d\u0438\u0438 \u0438\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u00a0\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c\u0441\u044f \u0441\u00a0\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439.<\/p>\n<p><strong>\u0412\u044b\u0431\u043e\u0440 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438<\/strong><\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0Kafka \u0432\u00a0Python\u00a0\u2014 <code>confluent_kafka<\/code> \u0438 <code>kafka\u2011python<\/code>. \u041c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u043d\u0430\u00a0confluent_kafka, \u0438 \u0432\u043e\u0442 \u043f\u043e\u0447\u0435\u043c\u0443:<\/p>\n<p>\u042d\u0442\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 librdkafka\u00a0\u2014 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 Kafka, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u00a0C++. \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0430 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, confluent_kafka \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 Kafka, \u0432\u043a\u043b\u044e\u0447\u0430\u044f Exactly\u2011Once Semantics, \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u0443\u044e \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0441\u00a0Confluent Cloud.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u00a0\u0444\u043e\u0440\u043c\u0430\u0442 JSON \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c Python<strong> &#8212; <\/strong>json.<\/p>\n<pre><code class=\"python\">from confluent_kafka import Producer import json import socket<\/code><\/pre>\n<p><strong>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430<\/strong><\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433\u00a0\u2014 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430. \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0432\u00a0Kafka: \u043e\u0442\u00a0\u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0434\u043e\u00a0\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0438 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441\u00a0\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044e\u0442 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u0432\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<pre><code class=\"python\">conf = {     'bootstrap.servers': '&lt;\u0432\u0430\u0448_IP&gt;:9092',     'client.id': socket.gethostname(),     'acks': 'all',     'compression.type': 'none',     'retries': 5 }  producer = Producer(conf) <\/code><\/pre>\n<p><code><strong>&lt;\u0432\u0430\u0448_IP&gt;<\/strong><\/code>\u00a0\u2014 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430\u00a0IP \u0430\u0434\u0440\u0435\u0441, \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u00a0advertised.listeners, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 server.properties.<br \/>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code><strong>'client.id': socket.gethostname()<\/strong><\/code> \u0432\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 Kafka \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0432\u0430\u0436\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430:<\/p>\n<ul>\n<li>\n<p><code><strong>client.id<\/strong><\/code>\u00a0\u2014 \u044d\u0442\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 (\u0438\u043b\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440) \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u0431\u0440\u043e\u043a\u0435\u0440\u0443 Kafka \u043f\u0440\u0438\u00a0\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><code><strong>socket.gethostname()<\/strong><\/code>\u00a0\u2014 \u044d\u0442\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f Python\u2011\u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u043c\u044f \u0445\u043e\u0441\u0442\u0430 (\u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0430), \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0437\u0430\u043f\u0443\u0449\u0435\u043d \u0432\u0430\u0448 \u0441\u043a\u0440\u0438\u043f\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u043b\u0435\u0435, <code><strong>producer = Producer(conf)<\/strong><\/code>\u00a0\u2014 \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u043c \u0435\u043c\u0443 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e<\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b\u00a0\u2014 \u044d\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 Kafka. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u043e\u043d\u0438 \u0432\u0430\u043c \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"center\"><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"center\"><strong>\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>bootstrap.servers<\/strong><\/code><br \/>   <em>(\u0410\u0434\u0440\u0435\u0441\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u0410\u0434\u0440\u0435\u0441\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432 Kafka \u0434\u043b\u044f   \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">broker1:9092, broker2:9094<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>key.serializer<\/strong><\/code><\/p>\n<p align=\"left\"><em>(\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440   \u043a\u043b\u044e\u0447\u0430)<\/em><\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440 \u0434\u043b\u044f \u043a\u043b\u044e\u0447\u0430   \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">StringSerializer &#8212;   \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0441\u0442\u0440\u043e\u043a\u0438 (String) \u0432 \u0431\u0430\u0439\u0442\u044b (byte[])<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>value.serializer<\/strong><\/code><\/p>\n<p align=\"left\">(\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440 \u0434\u043b\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f   \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">StringSerializer &#8212;   \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0441\u0442\u0440\u043e\u043a\u0438 (String) \u0432 \u0431\u0430\u0439\u0442\u044b (byte[])<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>acks<\/strong><\/code><\/p>\n<p align=\"left\">(\u041f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0438\u0441\u0438)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f   \u0437\u0430\u043f\u0438\u0441\u0438 (0,\u00a01,\u00a0all). \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438.<\/p>\n<\/td>\n<td>\n<p align=\"left\">all\u00a0(\u0434\u043b\u044f   \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>security.protocol<\/strong><\/code><\/p>\n<p align=\"left\">(\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438   (PLAINTEXT,\u00a0SSL,\u00a0SASL_SSL).<\/p>\n<\/td>\n<td>\n<p align=\"left\">SASL_SSL\u00a0&#8212; \u0434\u043b\u044f   \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0430<\/p>\n<p align=\"left\">PLAINTEXT &#8212; \u0431\u0435\u0437 \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u044f   \u0438 \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>retries<\/strong><\/code><\/p>\n<p align=\"left\">(\u041f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u043e\u043f\u044b\u0442\u043a\u0438)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u043f\u043e\u0432\u0442\u043e\u0440\u0430   \u043f\u0440\u0438 \u043e\u0448\u0438\u0431\u043a\u0430\u0445.<\/p>\n<\/td>\n<td>\n<p align=\"left\">5-10\u00a0(\u0438\u0437\u0431\u0435\u0433\u0430\u0439\u0442\u0435   \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>request.timeout.ms<\/strong><\/code><\/p>\n<p align=\"left\">(\u0422\u0430\u0439\u043c\u0430\u0443\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u0430)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u0422\u0430\u0439\u043c\u0430\u0443\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u043e\u0442   \u0431\u0440\u043e\u043a\u0435\u0440\u0430 (\u043c\u0441).<\/p>\n<\/td>\n<td>\n<p align=\"left\">30000\u00a0(30 \u0441\u0435\u043a)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>compression.type<\/strong><\/code><\/p>\n<p align=\"left\">(\u0422\u0438\u043f \u0441\u0436\u0430\u0442\u0438\u044f)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0436\u0430\u0442\u0438\u044f   (none,\u00a0gzip,\u00a0snappy,\u00a0lz4,\u00a0zstd).<\/p>\n<\/td>\n<td>\n<p align=\"left\">snappy\u00a0\u0438\u043b\u0438\u00a0lz4\u00a0(\u0431\u0430\u043b\u0430\u043d\u0441   \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438\/\u0441\u0436\u0430\u0442\u0438\u044f)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>max.request.size<\/strong><\/code><\/p>\n<p align=\"left\">(\u041c\u0430\u043a\u0441. \u0440\u0430\u0437\u043c\u0435\u0440 \u0437\u0430\u043f\u0440\u043e\u0441\u0430)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0433\u043e   \u0437\u0430\u043f\u0440\u043e\u0441\u0430 (\u0431\u0430\u0439\u0442\u044b).<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 \u041c\u0411 (1048576 \u0431\u0430\u0439\u0442) \u043f\u043e   \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"233\" width=\"233\">\n<p align=\"left\"><code><strong>buffer.memory<\/strong><\/code><\/p>\n<p align=\"left\">(\u0411\u0443\u0444\u0435\u0440 \u043f\u0430\u043c\u044f\u0442\u0438)<\/p>\n<\/td>\n<td data-colwidth=\"235\" width=\"235\">\n<p align=\"left\">\u041e\u0431\u044a\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043b\u044f   \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 (\u0431\u0430\u0439\u0442\u044b).<\/p>\n<\/td>\n<td>\n<p align=\"left\">32 \u041c\u0411\u00a0(33,554,432   \u0431\u0430\u0439\u0442\u0430) \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 value \u0432\u044b\u0431\u0435\u0440\u0435\u043c JSON.<br \/>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432 JSON-\u0441\u0442\u0440\u043e\u043a\u0443 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e\u00a0json.dumps(), \u0437\u0430\u0442\u0435\u043c \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u043c \u0441\u0442\u0440\u043e\u043a\u0443 \u0432 \u0431\u0430\u0439\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u043e\u043c\u00a0encode(&#8216;utf-8&#8217;).<br \/>\u041a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0443 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c &#8216;utf-8&#8217;, \u0442.\u043a. \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u0430 \u0441\u0440\u0435\u0434\u0435 Linux.<\/p>\n<pre><code class=\"python\">message_value = json.dumps(value).encode('utf-8')<\/code><\/pre>\n<p><strong>\u0414\u043e\u0431\u0430\u0432\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430<\/strong><\/p>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043c\u0430\u0441\u0441\u0438\u0432 \u0438\u0437 \u043f\u0430\u0440 (\u043a\u043b\u044e\u0447-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435):<\/p>\n<pre><code class=\"python\">headers = [     (\"source\", \"python-producer\"),     (\"version\", \"1.0\"),     (\"content-type\", \"text\/plain\") ]<\/code><\/pre>\n<p><strong>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0441\u0442\u0430\u0442\u0443\u0441\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438<\/strong><\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f\u00a0delivery_report\u00a0\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u00a0\u0434\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430:<\/p>\n<ul>\n<li>\n<p>err\u00a0\u2014 \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 None, \u0435\u0441\u043b\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e, \u0438\u043b\u0438\u00a0\u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u0431\u00a0\u043e\u0448\u0438\u0431\u043a\u0435, \u0435\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430 \u043d\u0435\u00a0\u0443\u0434\u0430\u043b\u0430\u0441\u044c.<\/p>\n<\/li>\n<li>\n<p>msg\u00a0\u2014 \u043e\u0431\u044a\u0435\u043a\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0435\u00a0\u0431\u044b\u043b\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043e. \u0415\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0430 \u043f\u0440\u043e\u0448\u043b\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e, \u044d\u0442\u043e\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438: \u0442\u0435\u043c\u0443, \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0438 offset.<\/p>\n<\/li>\n<\/ul>\n<pre><code class=\"python\">def delivery_report(err, msg):     if err is not None:         print(f'\u041e\u0448\u0438\u0431\u043a\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438: {err}')     else:         print(f'\u0414\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432 {msg.topic()} [{msg.partition()}] @ offset {msg.offset()}')<\/code><\/pre>\n<p><strong>\u041e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/strong><\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u00a0ProduceRequest\u00a0\u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u043d\u0430 Python \u043d\u0438\u0447\u0443\u0442\u044c \u043d\u0435 \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u0447\u0435\u0440\u0435\u0437\u00a0k<code>afka-console-producer.sh<\/code>.<\/p>\n<pre><code class=\"python\">    producer.produce(         topic=topic,               # \u0423\u043a\u0430\u0436\u0435\u043c \u0442\u043e\u043f\u0438\u043a         key=key,                   # \u0423\u043a\u0430\u0436\u0435\u043c \u043a\u043b\u044e\u0447         value=serialized_value,    # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u044f\u0432\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435         headers=headers,           # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438         callback=delivery_report     )<\/code><\/pre>\n<p><strong>\u0417\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b<\/strong><\/p>\n<pre><code class=\"python\">producer.flush()<\/code><\/pre>\n<p>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 <code>flush()<\/code><\/p>\n<ul>\n<li>\n<p>\u0416\u0434\u0451\u0442, \u043f\u043e\u043a\u0430 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0437 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0431\u0443\u0444\u0435\u0440\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0431\u0443\u0434\u0443\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0431\u044d\u043a\u0438 delivery_report \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u043d\u0435\u0443\u0434\u0430\u043b\u0451\u043d\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<\/ul>\n<p><strong>Synchronous and Asynchronous Sending<\/strong><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430: \u043e\u0434\u0438\u043d\u00a0\u2014 \u0434\u043b\u044f\u00a0\u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0434\u0440\u0443\u0433\u043e\u0439\u00a0\u2014 \u0434\u043b\u044f\u00a0\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439. \u0412\u044b\u0431\u043e\u0440 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0437\u0430\u0434\u0430\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b \u0440\u0435\u0448\u0430\u0435\u0442\u0435.<\/p>\n<p>\u041a\u0430\u043a\u043e\u0439 \u0432\u044b\u0431\u0440\u0430\u0442\u044c, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0440\u0435\u0448\u0430\u0435\u043c\u043e\u0439 \u0432\u0430\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p><strong>Asynchronous:<\/strong><\/p>\n<p>\u0411\u044b\u0441\u0442\u0440\u0430\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430, \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f\u00a0\u043b\u043e\u0433\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u0435\u0442\u0440\u0438\u043a, high\u2011throughput \u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0433\u043e \u0432 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435:<\/p>\n<details class=\"spoiler\">\n<summary>Asynchronous<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from confluent_kafka import Producer import json import socket  # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430  conf = {     'bootstrap.servers': '&lt;\u0432\u0430\u0448_IP&gt;:9092',      # \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c advertised.listeners \u0438\u0437 \u043a\u043e\u043d\u0444\u0438\u0433\u0430     'client.id': socket.gethostname(),          # \u041f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u043c \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0443 \u0438\u043c\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u0445\u043e\u0441\u0442\u0430     'acks': 'all',                              # \u0416\u0434\u0435\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0442 \u0432\u0441\u0435\u0445 \u0440\u0435\u043f\u043b\u0438\u043a      'compression.type': 'none',                 # \u041c\u043e\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 'gzip', 'snappy' \u0438 \u0442.\u0434.     'retries': 5                                # \u0427\u0438\u0441\u043b\u043e \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u043f\u0440\u0438 \u043e\u0448\u0438\u0431\u043a\u0430 }  # \u0421\u043e\u0437\u0434\u0430\u0435\u043c  \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u043c \u0435\u043c\u0443 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e  producer = Producer(conf)   # Callback-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0442\u0430\u0442\u0443\u0441\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 def delivery_report(err, msg):     if err is not None:         # \u041e\u0448\u0438\u0431\u043a\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 (\u0442\u0430\u0439\u043c\u0430\u0443\u0442, \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0431\u0440\u043e\u043a\u0435\u0440\u0430, etc.)         print(f'\u041e\u0448\u0438\u0431\u043a\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438: {err}')     else:         # \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0438 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u043c         print(f'\u0414\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432 {msg.topic()} [{msg.partition()}] @ offset {msg.offset()}')  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f def produce_async(topic, headers, key, value):      # JSON \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 value     serialized_value = json.dumps(value).encode('utf-8')              # \u041e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f     producer.produce(         topic=topic,               # \u0423\u043a\u0430\u0436\u0435\u043c \u0442\u043e\u043f\u0438\u043a         key=key,                   # \u0423\u043a\u0430\u0436\u0435\u043c \u043a\u043b\u044e\u0447         value=serialized_value,    # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u044f\u0432\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435         headers=headers,           # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438         callback=delivery_report     )  # \u041f\u043e\u0434\u0433\u043e\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 message_topic = 'test-topic' message_headers = [     (\"source\", \"python-producer\"),     (\"version\", \"1.0\"),     (\"content-type\", \"text\/plain\") ] message_key = 'synch_123' message_value = {'data_1': 123, 'data_2': '\u041e\u041a'}  # \u041e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f # \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 1 produce_async(message_topic, message_headers, message_key, message_value) # \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 2 produce_async(message_topic, message_headers, message_key, message_value)  # \u0417\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0443: \u0436\u0434\u0451\u043c, \u043f\u043e\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0437 \u0431\u0443\u0444\u0435\u0440\u0430 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u043a\u043e\u043b\u0431\u044d\u043a\u0430\u043c\u0438. # \u0417\u0430\u0442\u0435\u043c \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u0435\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u044b producer.flush()<\/code><\/pre>\n<\/div>\n<\/details>\n<p><strong>Synchronous:<\/strong><\/p>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f\u00a0\u0444\u0438\u043d\u0430\u043d\u0441\u043e\u0432\u044b\u0445 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439, \u0433\u0434\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u0441\u0442\u0440\u043e\u0433\u0430\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439.<br \/>\u0427\u0442\u043e\u0431\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438, \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0432\u00a0\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432\u044b\u0437\u043e\u0432 \u043c\u0435\u0442\u043e\u0434\u0430 flush() \u0441\u00a0\u0442\u0430\u0439\u043c\u0430\u0443\u0442\u043e\u043c 5\u00a0\u0441\u0435\u043a\u0443\u043d\u0434:<\/p>\n<pre><code class=\"python\">def produce_async(topic, headers, key, value): \u2026 producer.flush(timeout=5.0)<\/code><\/pre>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0434\u043e\u00a0\u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0437\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043d\u0435\u00a0\u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u0438\u043b\u0438\u00a0\u043f\u043e\u043a\u0430 \u043d\u0435\u00a0\u0438\u0441\u0442\u0435\u0447\u0451\u0442 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u043f\u043e\u00a0\u0438\u0441\u0442\u0435\u0447\u0435\u043d\u0438\u0438 5\u00a0\u0441\u0435\u043a\u0443\u043d\u0434 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0435\u00a0\u0443\u0441\u043f\u0435\u043b\u0430 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0447\u0438\u0441\u0442\u0438\u0442\u044c\u0441\u044f, \u043c\u0435\u0442\u043e\u0434 \u0432\u0435\u0440\u043d\u0451\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439.<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438: \u043f\u0440\u0438\u00a0\u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u00ab\u0437\u0430\u0441\u0442\u0440\u044f\u0432\u0448\u0438\u0445\u00bb \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043c\u043e\u0436\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u043d\u0438\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0443\u044e \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0443, \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u0432\u00a0\u043b\u043e\u0433 \u0438\u043b\u0438\u00a0\u043f\u0440\u0435\u0440\u0432\u0430\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0433\u043e \u0432 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435:<\/p>\n<details class=\"spoiler\">\n<summary>Synchronous<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from confluent_kafka import Producer import json import socket  # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430  conf = {     'bootstrap.servers': '&lt;\u0432\u0430\u0448_IP&gt;:9092', # \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c advertised.listeners \u0438\u0437 \u043a\u043e\u043d\u0444\u0438\u0433\u0430     'client.id': socket.gethostname(),          # \u041f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u043c \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0443 \u0438\u043c\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u0445\u043e\u0441\u0442\u0430     'acks': 'all',                              # \u0416\u0434\u0435\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0442 \u0432\u0441\u0435\u0445 \u0440\u0435\u043f\u043b\u0438\u043a      'compression.type': 'none',                 # \u041c\u043e\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 'gzip', 'snappy' \u0438 \u0442.\u0434.     'retries': 5                                # \u0427\u0438\u0441\u043b\u043e \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u043f\u0440\u0438 \u043e\u0448\u0438\u0431\u043a\u0430 }  # \u0421\u043e\u0437\u0434\u0430\u0435\u043c  \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u043c \u0435\u043c\u0443 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e  producer = Producer(conf)   # Callback-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0442\u0430\u0442\u0443\u0441\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 def delivery_report(err, msg):     if err is not None:         # \u041e\u0448\u0438\u0431\u043a\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 (\u0442\u0430\u0439\u043c\u0430\u0443\u0442, \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0431\u0440\u043e\u043a\u0435\u0440\u0430, etc.)         print(f'\u041e\u0448\u0438\u0431\u043a\u0430 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438: {err}')     else:         # \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0438 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u043c         print(f'\u0414\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432 {msg.topic()} [{msg.partition()}] @ offset {msg.offset()}')  # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f def produce_sync(topic, headers, key, value):      # \u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445     serialized_value = json.dumps(value).encode('utf-8')              # \u041e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f     producer.produce(         topic=topic,               # \u0423\u043a\u0430\u0436\u0435\u043c \u0442\u043e\u043f\u0438\u043a         key=key,                   # \u0423\u043a\u0430\u0436\u0435\u043c \u043a\u043b\u044e\u0447         value=serialized_value,    # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u044f\u0432\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435         headers=headers,           # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438         callback=delivery_report     )      # \u0411\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u043c \u043e\u0447\u0435\u0440\u0435\u0434\u044c. \u041e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 5 \u0441\u0435\u043a\u0443\u043d\u0434     producer.flush(timeout=5.0)  # \u041f\u043e\u0434\u0433\u043e\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 message_topic = 'test-topic' message_headers = [     (\"source\", \"python-producer\"),     (\"version\", \"1.0\"),     (\"content-type\", \"text\/plain\") ] message_key = 'synch_123' message_value = {'data_1': 123, 'data_2': '\u041e\u041a'}  # \u041e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f # \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 1 produce_sync(message_topic, message_headers, message_key, message_value) # \u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 2 produce_sync(message_topic, message_headers, message_key, message_value)  # \u0417\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0443: \u0436\u0434\u0451\u043c, \u043f\u043e\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0437 \u0431\u0443\u0444\u0435\u0440\u0430 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u043a\u043e\u043b\u0431\u044d\u043a\u0430\u043c\u0438. # \u0417\u0430\u0442\u0435\u043c \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u0435\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u044b producer.flush()<\/code><\/pre>\n<\/div>\n<\/details>\n<h2>\u041f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c (Consumer)<\/h2>\n<p>\u041f\u043e\u0434\u043e\u0431\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440. \u041a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043d\u043e \u043e\u0431\u043e \u0432\u0441\u0435\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<p><strong>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430<\/strong><\/p>\n<pre><code class=\"python\">conf = {     'bootstrap.servers': '&lt;\u0432\u0430\u0448_IP&gt;:9092', # \u0410\u0434\u0440\u0435\u0441 \u0431\u0440\u043e\u043a\u0435\u0440\u0430     'group.id': 'test-group',   # \u0418\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0433\u0440\u0443\u043f\u043f\u044b     'auto.offset.reset': 'earliest',  # \u0427\u0442\u0435\u043d\u0438\u0435 \u0441 \u043d\u0430\u0447\u0430\u043b\u0430 \u0442\u043e\u043f\u0438\u043a\u0430     'enable.auto.commit': False  # \u0420\u0443\u0447\u043d\u043e\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 } # \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 consumer = Consumer(conf)<\/code><\/pre>\n<p><code><strong>&lt;\u0432\u0430\u0448_IP&gt;<\/strong><\/code>\u00a0\u2014 \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430\u00a0IP \u0430\u0434\u0440\u0435\u0441, \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u00a0advertised.listeners, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 server.properties.<br \/><code><strong>group.id<\/strong><\/code> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0433\u0440\u0443\u043f\u043f\u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439, \u043a\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u0434\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440. \u042d\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u0430 \u0434\u043b\u044f:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430\u043c\u0438.<\/p>\n<ul>\n<li>\n<p>Kafka \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0442\u043e\u043f\u0438\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430\u043c\u0438 \u043e\u0434\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0438\u043c \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u043c \u0432\u00a0\u0433\u0440\u0443\u043f\u043f\u0435<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0447\u0442\u0435\u043d\u0438\u044f (\u043e\u0444\u0441\u0435\u0442\u043e\u0432).<\/p>\n<ul>\n<li>\n<p>Kafka \u0445\u0440\u0430\u043d\u0438\u0442 \u043e\u0444\u0441\u0435\u0442\u044b \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u00a0\u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0441\u00a0\u0442\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0430\u0441\u044c \u0433\u0440\u0443\u043f\u043f\u0430<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u00ab\u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0434\u0438\u043d \u0440\u0430\u0437\u00bb<\/p>\n<ul>\n<li>\n<p>\u0412\u00a0\u0440\u0430\u043c\u043a\u0430\u0445 \u043e\u0434\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0435\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><code><strong>auto.offset.reset<\/strong> <\/code>(\u0421\u0431\u0440\u043e\u0441 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f)\u00a0\u2014 \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043f\u0440\u0438\u00a0\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0444\u0441\u0435\u0442\u0430:<\/p>\n<ul>\n<li>\n<p><code><strong>earliest<\/strong><\/code>\u00a0\u2014 \u0447\u0442\u0435\u043d\u0438\u0435 \u0441\u00a0\u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f (\u0430\u043d\u0430\u043b\u043e\u0433 <code>--from-beginning<\/code> \u0432\u00a0CLI)<\/p>\n<\/li>\n<li>\n<p><code><strong>latest<\/strong><\/code>\u00a0\u2014 \u0447\u0442\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u043e\u0432\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 (\u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f)<\/p>\n<\/li>\n<li>\n<p><code><strong>none<\/strong><\/code>\u00a0\u2014 \u0432\u044b\u0431\u0440\u043e\u0441 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u043e\u0444\u0441\u0435\u0442 \u043d\u0435\u00a0\u043d\u0430\u0439\u0434\u0435\u043d<\/p>\n<\/li>\n<\/ul>\n<p><code><strong>enable.auto.commit<\/strong><\/code>\u00a0\u2014 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u0412\u00a0\u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043e. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e:<\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432\u00a0\u0411\u0414)<\/p>\n<\/li>\n<li>\n<p>\u0418 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0435\u00a0\u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0442\u0435\u0440\u044f\u043d\u043e \u043f\u0440\u0438\u00a0\u043e\u0448\u0438\u0431\u043a\u0430\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<p><code><strong>consumer = Consumer(conf)<\/strong><\/code>\u00a0\u2014 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0434\u0438\u043c \u0435\u043c\u0443 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u0441\u044f \u0441 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>bootstrap.servers<\/strong><\/code><\/p>\n<p align=\"left\">(\u0410\u0434\u0440\u0435\u0441\u0430   \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u043f\u0438\u0441\u043e\u043a   \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f (\u0444\u043e\u0440\u043c\u0430\u0442\u00a0host:port).<\/p>\n<\/td>\n<td>\n<p align=\"left\">kafka1:9092,   kafka2:9092<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>group.id<\/strong><\/code><\/p>\n<p align=\"left\">(ID   \u0433\u0440\u0443\u043f\u043f\u044b)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0418\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440   \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439 (\u0434\u043b\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0433\u0440\u0443\u043f\u043f\u044b).<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#171;order-processors&#187;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>auto.offset.reset<\/strong><\/code><\/p>\n<p align=\"left\">(\u0421\u0431\u0440\u043e\u0441   \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0435   \u043f\u0440\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u043e\u0444\u0444\u0441\u0435\u0442\u0430:\u00a0earliest\u00a0(\u0441   \u043d\u0430\u0447\u0430\u043b\u0430),\u00a0latest\u00a0(\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u043e\u0432\u044b\u0435),\u00a0none\u00a0(\u043e\u0448\u0438\u0431\u043a\u0430).<\/p>\n<\/td>\n<td>\n<p align=\"left\">earliest\u00a0(\u0434\u043b\u044f   \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>enable.auto.commit<\/strong><\/code><\/p>\n<p align=\"left\">(\u0410\u0432\u0442\u043e\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435   \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u0444\u0444\u0441\u0435\u0442\u043e\u0432 (true\/false). \u041b\u0443\u0447\u0448\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0434\u043b\u044f \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f.<\/p>\n<\/td>\n<td>\n<p align=\"left\">false\u00a0(\u0440\u0443\u0447\u043d\u043e\u0435   \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>max.poll.records<\/strong><\/code><\/p>\n<p align=\"left\">(\u041c\u0430\u043a\u0441.   \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0437\u0430 \u043e\u043f\u0440\u043e\u0441)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435   \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u044b\u0445 \u0437\u0430 \u043e\u0434\u0438\u043d \u0432\u044b\u0437\u043e\u0432\u00a0poll().<\/p>\n<\/td>\n<td>\n<p align=\"left\">500\u00a0(\u0431\u0430\u043b\u0430\u043d\u0441   \u043c\u0435\u0436\u0434\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>session.timeout.ms<\/strong><\/code><\/p>\n<p align=\"left\">(\u0422\u0430\u0439\u043c\u0430\u0443\u0442   \u0441\u0435\u0441\u0441\u0438\u0438)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0440\u0435\u043c\u044f,   \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f &#171;\u043c\u0435\u0440\u0442\u0432\u044b\u043c&#187; \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0437   \u0433\u0440\u0443\u043f\u043f\u044b (\u043c\u0441).<\/p>\n<\/td>\n<td>\n<p align=\"left\">10000\u00a0(10   \u0441\u0435\u043a)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>heartbeat.interval.ms<\/strong><\/code><\/p>\n<p align=\"left\">(\u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b heartbeat)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0427\u0430\u0441\u0442\u043e\u0442\u0430   \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 heartbeat-\u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432 \u0431\u0440\u043e\u043a\u0435\u0440\u0443 (\u043c\u0441).<\/p>\n<\/td>\n<td>\n<p align=\"left\">3000\u00a0(3   \u0441\u0435\u043a)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code><strong>max.poll.interval.ms<\/strong><\/code><\/p>\n<p align=\"left\">(\u041c\u0430\u043a\u0441.   \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043e\u043f\u0440\u043e\u0441\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435   \u0432\u0440\u0435\u043c\u044f \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0437\u043e\u0432\u0430\u043c\u0438\u00a0poll()\u00a0\u0434\u043e \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u0433\u0440\u0443\u043f\u043f\u044b (\u043c\u0441).<\/p>\n<\/td>\n<td>\n<p align=\"left\">300000\u00a0(5   \u043c\u0438\u043d)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0442\u043e\u043f\u0438\u043a<\/strong><\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433, \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u0441\u044f \u043d\u0430\u00a0\u0442\u043e\u043f\u0438\u043a. \u041f\u0440\u0438\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 <code>subscribe()<\/code>, \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0440\u0430\u0431\u043e\u0442\u0443 \u0432\u00a0\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435, \u0432\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439. \u0422\u0430\u043a\u0436\u0435 Kafka \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f\u043c\u0438 \u043e\u0434\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b.<\/p>\n<pre><code class=\"python\">consumer.subscribe(['test-topic'])  # \u041f\u043e\u0434\u043f\u0438\u0441\u043a\u0430 \u043d\u0430 \u0442\u043e\u043f\u0438\u043a<\/code><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u043e\u0439 \u0432\u0440\u0443\u0447\u043d\u0443\u044e, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043c\u0435\u0442\u043e\u0434 <code>assign()<\/code>. \u0422\u043e\u043f\u0438\u043a, \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 offset \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0443 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0438 \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0432\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u0414\u043b\u044f\u00a0\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 <code>assign()<\/code> \u0442\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c <code>enable.auto.commit = False<\/code><\/p>\n<pre><code class=\"python\"># \u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0442\u043e\u043f\u0438\u043a, \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 offset \u0432\u0440\u0443\u0447\u043d\u0443\u044e topic = 'test-topic' partition = 0  # \u041d\u043e\u043c\u0435\u0440 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 (\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 consumer.assignment()) start_offset = 42  # \u0427\u0442\u0435\u043d\u0438\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 offset=42  # \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442 TopicPartition \u0438 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u043c offset tp = TopicPartition(topic, partition, start_offset) consumer.assign([tp])<\/code><\/pre>\n<p><strong>\u0427\u0438\u0442\u0430\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f.<\/strong><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0438 \u043d\u0430 \u0442\u043e\u043f\u0438\u043a \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430\u00a0<code>poll()<\/code>, \u0442\u0430\u043a \u0438 \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438 \u2014 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430\u00a0<code>consume()<\/code>.<\/p>\n<p><strong>Poll( ) \u043f\u043e\u0434\u0445\u043e\u0434<\/strong><\/p>\n<pre><code class=\"python\">msg = consumer.poll(timeout)  <\/code><\/pre>\n<ul>\n<li>\n<p><code>consumer.poll ()<\/code> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p><code>timeout<\/code>\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0436\u0434\u0430\u0442\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0441\u0435\u043a\u0443\u043d\u0434. \u0415\u0441\u043b\u0438 \u0437\u0430\u00a0\u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043d\u0435\u00a0\u043f\u043e\u0441\u0442\u0443\u043f\u0438\u043b\u0438, \u043c\u0435\u0442\u043e\u0434 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u0443\u0441\u0442\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u0434\u043b\u044f\u00a0\u043c\u0435\u0442\u043e\u0434\u0430 Poll( ) \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"python\">try:     while True:         msg = consumer.poll(timeout=1.0)                   if msg is None: # \u041d\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430 \u2014 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043e\u043f\u0440\u043e\u0441             continue         # \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0448\u0438\u0431\u043e\u043a Kafka          if msg.error():             if msg.error().code() == KafkaException._PARTITION_EOF:                 # \u0414\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442 \u043a\u043e\u043d\u0435\u0446 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u2014 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0441\u043b\u0443\u0448\u0430\u0442\u044c                 continue             else:           # \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u2013 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u0435\u043c \u0446\u0438\u043a\u043b                 print(f\"\u041e\u0448\u0438\u0431\u043a\u0430: {msg.error()}\")                 break<\/code><\/pre>\n<p><strong>\u0421onsume( ) \u043f\u043e\u0434\u0445\u043e\u0434<\/strong><\/p>\n<pre><code class=\"python\">messages = consumer.consume(num_messages, timeout<\/code><\/pre>\n<ul>\n<li>\n<p><code>consumer.consume ()<\/code> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u0437\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439<\/p>\n<\/li>\n<li>\n<p><code>timeout<\/code>\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0436\u0434\u0430\u0442\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0441\u0435\u043a\u0443\u043d\u0434. <\/p>\n<\/li>\n<li>\n<p><code>num_messages<\/code>\u00a0\u2014 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0435\u0440\u043d\u0435\u0442\u0441\u044f \u0437\u0430\u00a0\u0440\u0430\u0437. \u041c\u043e\u0436\u0435\u0442 \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 (\u0435\u0441\u043b\u0438 \u0432 \u0431\u0443\u0444\u0435\u0440\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0442\u0430\u0439\u043c\u0430\u0443\u0442).<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u0434\u043b\u044f \u043c\u0435\u0442\u043e\u0434\u0430 Consume( ) \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"python\">try:     while True:         messages = consumer.consume(num_messages=10, timeout=1.0)                  if not messages: # \u041d\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430 \u2014 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u043e\u043f\u0440\u043e\u0441             continue          for msg in messages: # \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0448\u0438\u0431\u043e\u043a Kafka             if msg.error():                 if msg.error().code() == KafkaException._PARTITION_EOF:   # \u0414\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442 \u043a\u043e\u043d\u0435\u0446 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u2014 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0441\u043b\u0443\u0448\u0430\u0442\u044c                     continue                 else:   # \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u2013 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u0435\u043c \u0446\u0438\u043a\u043b                     print(f\"\u041e\u0448\u0438\u0431\u043a\u0430: {msg.error()}\")                     break<\/code><\/pre>\n<p><strong>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/strong><\/p>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u00a0\u0432\u00a0Java\u2011API Kafka (<code>org.apache.kafka.clients.consumer.KafkaConsumer<\/code>) \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0438 <code>key.deserializer<\/code> \u0438 <code>value.deserializer<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0431\u0430\u0439\u0442\u044b \u0432\u00a0\u043e\u0431\u044a\u0435\u043a\u0442, \u0432\u00a0Python\u2011\u043e\u0431\u0451\u0440\u0442\u043a\u0435 <code>confluent_kafka<\/code> \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u043d\u0435\u0442<\/p>\n<p>\u0412\u00a0\u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Python c C\u2011\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439 <code>librdkafka<\/code> \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u00a0Python \u0432\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 <code>msg.value()<\/code> \u043a\u0430\u043a\u00a0\u0431\u0430\u0439\u0442\u044b, \u0438 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0440\u0443\u0447\u043d\u0443\u044e (<code>.decode() + json.loads()<\/code> \u0438\u043b\u0438\u00a0\u0434\u0440\u0443\u0433\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430).<\/p>\n<pre><code class=\"python\"># \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f             key = msg.key().decode('utf-8') if msg.key() else None             raw_value = msg.value().decode('utf-8') if msg.value() else None             # \u0414\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u0435\u043c JSON, \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0435\u0441\u0442\u044c             value = json.loads(raw_value) if raw_value else None<\/code><\/pre>\n<pre><code class=\"python\"># \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u0432             headers = {}             if msg.headers():                 for header in msg.headers():                     headers[header[0]] = header[1].decode('utf-8')<\/code><\/pre>\n<pre><code class=\"python\">            # \u0412\u044b\u0432\u043e\u0434 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438             print(\"\\n--- \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 ---\")             print(f\"\u0422\u043e\u043f\u0438\u043a: {msg.topic()}\")             print(f\"\u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f: {msg.partition()}\")             print(f\"\u0421\u043c\u0435\u0449\u0435\u043d\u0438\u0435: {msg.offset()}\")             print(f\"\u041a\u043b\u044e\u0447: {key}\")             print(f\"\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435: {value}\")             print(f\"\u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438: {json.dumps(headers, indent=2)}\")<\/code><\/pre>\n<p><strong>\u0424\u0438\u043a\u0441\u0430\u0446\u0438\u044f \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0439 (Committing Offsets)<\/strong><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u0430\u0448\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u2013 \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0431\u0440\u043e\u043a\u0435\u0440\u0443.<\/p>\n<pre><code class=\"python\">consumer.commit(asynchronous=False)<\/code><\/pre>\n<p>\u041c\u0435\u0442\u043e\u0434 <code>commit ()<\/code> \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 <code>msg<\/code> \u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e<code>asynchronous<\/code>.<\/p>\n<ul>\n<li>\n<p>msg \u043d\u0435\u00a0\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0435\u0433\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c. \u0411\u0435\u0437\u00a0\u0443\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043c\u0438\u0442\u044f\u0442\u0441\u044f \u0432\u0441\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f (offsets) \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u00a0\u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u044b \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044e<\/p>\n<\/li>\n<li>\n<p>asynchronous = false\u00a0\u2014 \u043a\u043e\u043c\u043c\u0438\u0442 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 <strong>\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e<\/strong>, \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c \u0436\u0434\u0451\u0442 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0442\u00a0\u0431\u0440\u043e\u043a\u0435\u0440\u0430 Kafka, \u0447\u0442\u043e\u00a0offset \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d. \u0417\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>asynchronous = true\u00a0\u2014 \u043a\u043e\u043c\u043c\u0438\u0442 \u0438\u0434\u0451\u0442 \u0432\u00a0\u0444\u043e\u043d\u0435. \u041f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c \u043d\u0435\u00a0\u0436\u0434\u0451\u0442 \u043e\u0442\u0432\u0435\u0442\u0430\u00a0\u2014\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e\u00a0\u0435\u0441\u0442\u044c \u0440\u0438\u0441\u043a, \u0447\u0442\u043e\u00a0\u043a\u043e\u043c\u043c\u0438\u0442 \u043d\u0435\u00a0\u0443\u0441\u043f\u0435\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c\u0441\u044f \u0434\u043e\u00a0\u0441\u0431\u043e\u044f.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0417\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0443<\/strong><\/p>\n<pre><code class=\"python\">try:     # \u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u043c     consumer.subscribe(['topic'])     # ... \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 ... finally:     consumer.close()<\/code><\/pre>\n<p>\u041c\u0435\u0442\u043e\u0434 consumer.close()\u00a0\u2014 \u044d\u0442\u043e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0448\u0430\u0433 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0Kafka\u2011\u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u0442 \u0432\u0441\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u0438 \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u0435\u0442 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.<\/p>\n<p>\u0427\u0442\u043e\u00a0\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0440\u0438\u00a0\u0432\u044b\u0437\u043e\u0432\u0435:<\/p>\n<ul>\n<li>\n<p>\u0417\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u0441\u0435\u0441\u0441\u0438\u0438\u00a0\u2014 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u0442 \u0433\u0440\u0443\u043f\u043f\u0435 \u043e\u00a0\u0432\u044b\u0445\u043e\u0434\u0435<\/p>\n<\/li>\n<li>\n<p>\u0421\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0439\u00a0\u2014 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0447\u0442\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043a\u0440\u044b\u0442\u0438\u0435 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439\u00a0\u2014 \u0440\u0430\u0437\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a\u00a0Kafka<\/p>\n<\/li>\n<li>\n<p>\u041e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432\u00a0\u2014 \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u044e\u0442\u0441\u044f \u0444\u043e\u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u0442\u043e\u043a\u0438<\/p>\n<\/li>\n<li>\n<p>\u041e\u0447\u0438\u0441\u0442\u043a\u0430 \u043f\u0430\u043c\u044f\u0442\u0438\u00a0\u2014 \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u044e\u0442\u0441\u044f \u0431\u0443\u0444\u0435\u0440\u044b \u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u044b<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0430\u0436\u043d\u043e \u043d\u0435\u00a0\u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c consumer.close(), \u0438\u043d\u0430\u0447\u0435:<\/p>\n<ul>\n<li>\n<p>\u0413\u0440\u0443\u043f\u043f\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439 \u0431\u0443\u0434\u0435\u0442 \u0436\u0434\u0430\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u00ab\u043f\u0440\u043e\u043f\u0430\u0432\u0448\u0435\u0433\u043e\u00bb \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>\u0414\u0440\u0443\u0433\u0438\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u044b \u043d\u0435\u00a0\u0441\u043c\u043e\u0433\u0443\u0442\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0432\u0437\u044f\u0442\u044c \u0435\u0433\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0443\u0442\u0435\u0447\u043a\u0438 \u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0437\u0438\u0446\u0438\u0438 \u0447\u0442\u0435\u043d\u0438\u044f (offsets) \u043c\u043e\u0433\u0443\u0442 \u043d\u0435\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439 <\/strong><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0448\u0430\u0433\u00a0\u2014 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u043c \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f.<br \/>\u0414\u043e\u0431\u0430\u0432\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438\u2011\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438 <code>on_assign<\/code> \u0438 <code>on_revoke<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043b\u043e\u0433\u0438\u043a\u0443 \u043f\u0440\u0438\u00a0\u043f\u0435\u0440\u0435\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0432\u00a0\u0433\u0440\u0443\u043f\u043f\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439 (rebalance). \u041e\u043d\u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043a\u043e\u0433\u0434\u0430 Kafka \u043f\u0435\u0440\u0435\u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0430\u043c\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/p>\n<pre><code class=\"python\"># \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 conf = { \u2026     # \u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439     'partition.assignment.strategy': 'roundrobin'   }<\/code><\/pre>\n<p><code><strong>partition.assignment.strategy:\u2018roundrobin\u2019<\/strong><\/code> \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f\u043c\u0438 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c\u0441\u044f \u043f\u043e\u00a0\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u00abround\u2011robin\u00bb\u00a0\u2014 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e, \u043f\u043e\u00a0\u043a\u0440\u0443\u0433\u0443. \u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430\u00a0\u2014 <code>range<\/code>, \u043d\u043e\u00a0<code>roundrobin<\/code> \u0434\u0430\u0451\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u043b\u043e\u0433\u0438\u043a\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <code>on_assign<\/code> \u0438 <code>on_revoke<\/code>.<\/p>\n<p>\u041f\u043e\u043a\u0430 \u0432\u00a0\u043d\u0438\u0445 \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u0430 \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430\u00a0\u2014 \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0447\u0442\u043e\u0431\u044b\u00a0\u0431\u044b\u043b\u043e \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u043b\u0438\u00a0\u043e\u0442\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f.<br \/>\u0412\u00a0\u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043f\u043e\u0434\u00a0\u0441\u0432\u043e\u0438 \u0437\u0430\u0434\u0430\u0447\u0438\u00a0\u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c offset-\u0430\u043c\u0438, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438\u043b\u0438\u00a0\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u00a0\u0432\u043d\u0435\u0448\u043d\u0438\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438.<\/p>\n<pre><code class=\"python\">def on_assign(partitions):     \"\"\"Callback \u043f\u0440\u0438 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u043d\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044e.\"\"\"     print(\"\\n--- \u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u044b \u043d\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 ---\")     for p in partitions:         print(f\"\u0422\u043e\u043f\u0438\u043a: {p.topic}, \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f: {p.partition}\")          # \u041f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c offset     # \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:     # consumer.assign(partitions)  def on_revoke(consumer, partitions):     \"\"\"Callback \u043f\u0440\u0438 \u043e\u0442\u0437\u044b\u0432\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f.\"\"\"     print(\"\\n--- \u041e\u0442\u043e\u0437\u0432\u0430\u043d\u044b \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 ---\")     for p in partitions:         print(f\"\u0422\u043e\u043f\u0438\u043a: {p.topic}, \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f: {p.partition}\")          # \u041a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c offset'\u044b \u043f\u0435\u0440\u0435\u0434 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043d\u0430\u0434 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c\u0438     consumer.commit(offsets=partitions)     print(\"Offsets \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b.\") <\/code><\/pre>\n<p><code>on_assign ( )<\/code>\u00a0\u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044e \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p>\u043f\u0440\u0438\u00a0\u043f\u0435\u0440\u0432\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435,<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f \u0432\u00a0\u0433\u0440\u0443\u043f\u043f\u0443,<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0438\u00a0\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u044f.<\/p>\n<\/li>\n<\/ul>\n<p><code>on_revoke ( )<\/code>\u00a0\u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u0443\u00a0\u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f \u043e\u0442\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p>\u043f\u0435\u0440\u0435\u0434 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439,<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0438\u00a0\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0433\u0440\u0443\u043f\u043f\u044b (\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043d\u043e\u0432\u044b\u0445 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u043e\u0432),<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0438\u00a0\u0441\u0431\u043e\u0435 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0432\u00a0\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438<\/strong><\/p>\n<p>\u041f\u043e\u0434\u0432\u043e\u0434\u044f \u0438\u0442\u043e\u0433, \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u043c\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440.<\/p>\n<p>\u041f\u043e\u043c\u043d\u0438\u043c,<code> &lt;\u0432\u0430\u0448_IP&gt;<\/code>\u00a0\u2014 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430\u00a0IP \u0430\u0434\u0440\u0435\u0441, \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u00a0advertised.listeners, \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 <code>server.properties.<\/code><\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from confluent_kafka import Consumer, KafkaException import json import sys import time  # \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 \u0438\u0437 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 consumer_id = sys.argv[1] if len(sys.argv) &gt; 1 else \"default_consumer\"  # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 conf = {     'bootstrap.servers': '172.26.139.176:9092',     'group.id': 'test-group',  # \u041e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445!     'auto.offset.reset': 'earliest',     'enable.auto.commit': False,     'partition.assignment.strategy': 'roundrobin' }  def on_assign(consumer, partitions):     \"\"\"Callback \u043f\u0440\u0438 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u043d\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044e.\"\"\"     print(f\"\\n[{consumer_id}] --- \u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u044b \u043d\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 ---\")     for p in partitions:         print(f\"[{consumer_id}] \u0422\u043e\u043f\u0438\u043a: {p.topic}, \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f: {p.partition}\")          # \u041c\u043e\u0436\u043d\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c offset     # consumer.seek(partitions[0])  def on_revoke(consumer, partitions):     \"\"\"Callback \u043f\u0440\u0438 \u043e\u0442\u0437\u044b\u0432\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044f.\"\"\"     print(f\"\\n[{consumer_id}] --- \u041e\u0442\u043e\u0437\u0432\u0430\u043d\u044b \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 ---\")     for p in partitions:         print(f\"[{consumer_id}] \u0422\u043e\u043f\u0438\u043a: {p.topic}, \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f: {p.partition}\")          # \u0424\u0438\u043a\u0441\u0430\u0446\u0438\u044f offset \u043f\u0435\u0440\u0435\u0434 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439     if partitions:         consumer.commit(offsets=partitions)         print(f\"[{consumer_id}] Offsets \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b.\")  # \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 consumer = Consumer(conf)  # \u041f\u043e\u0434\u043f\u0438\u0441\u043a\u0430 \u0441 callback-\u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 consumer.subscribe(['test-topic'], on_assign=on_assign, on_revoke=on_revoke)  print(f\"[{consumer_id}] \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0437\u0430\u043f\u0443\u0449\u0435\u043d \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f...\")  try:     while True:         msg = consumer.poll(timeout=1.0)                  if msg is None:             continue          if msg.error():             if msg.error().code() == KafkaException._PARTITION_EOF:                 continue             else:                 print(f\"[{consumer_id}] \u041e\u0448\u0438\u0431\u043a\u0430: {msg.error()}\")                 break          # \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f         key = msg.key().decode('utf-8') if msg.key() else None         raw_value = msg.value().decode('utf-8') if msg.value() else None         value = json.loads(raw_value) if raw_value else None                  headers = {}         if msg.headers():             for header in msg.headers():                 headers[header[0]] = header[1].decode('utf-8')          # \u0412\u044b\u0432\u043e\u0434 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0441 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430         print(f\"\\n[{consumer_id}] --- \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 ---\")         print(f\"[{consumer_id}] \u0422\u043e\u043f\u0438\u043a: {msg.topic()}\")         print(f\"[{consumer_id}] \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f: {msg.partition()}\")         print(f\"[{consumer_id}] \u0421\u043c\u0435\u0449\u0435\u043d\u0438\u0435: {msg.offset()}\")         print(f\"[{consumer_id}] \u041a\u043b\u044e\u0447: {key}\")         print(f\"[{consumer_id}] \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435: {value}\")          # \u041f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438         consumer.commit(asynchronous=False)         time.sleep(0.5)  # \u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438  except KeyboardInterrupt:     print(f\"[{consumer_id}] \u041f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c\") finally:     consumer.close()     print(f\"[{consumer_id}] \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\")<\/code><\/pre>\n<\/div>\n<\/details>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0431\u0440\u043e\u043a\u0435\u0440\u0430. \u041e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0438\u0437 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u201cHello World\u201d\u2014 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u0437\u0430\u043a\u043b\u0438\u043d\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b5e\/e4d\/cd4\/b5ee4dcd47e3efb268bec0285814a70b.png\" alt=\"Hello World\" title=\"Hello World\" width=\"413\" height=\"222\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b5e\/e4d\/cd4\/b5ee4dcd47e3efb268bec0285814a70b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b5e\/e4d\/cd4\/b5ee4dcd47e3efb268bec0285814a70b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Hello World<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430.<\/p>\n<ul>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21161<\/p>\n<\/li>\n<\/ul>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/800\/849\/037\/8008490378f18e605782510e13ff90cd.png\" alt=\"Kafka \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u043b\u0430 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0443 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438: 0, 1, 2\" title=\"Kafka \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u043b\u0430 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0443 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438: 0, 1, 2\" width=\"414\" height=\"86\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/800\/849\/037\/8008490378f18e605782510e13ff90cd.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/800\/849\/037\/8008490378f18e605782510e13ff90cd.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Kafka \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u043b\u0430 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0443 \u0432\u0441\u0435 \u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438: 0, 1, 2<\/figcaption><\/div>\n<\/figure>\n<ul>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21162. \u041f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u0440\u0435\u0431\u0430\u043b\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430:<\/p>\n<\/li>\n<\/ul>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/506\/d5b\/5ff\/506d5b5ff9793bfd93f2a1bd3d005835.png\" alt=\"\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21162 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e 1    \" title=\"\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21162 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e 1    \" width=\"416\" height=\"57\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/506\/d5b\/5ff\/506d5b5ff9793bfd93f2a1bd3d005835.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/506\/d5b\/5ff\/506d5b5ff9793bfd93f2a1bd3d005835.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21162 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e 1    <\/figcaption><\/div>\n<\/figure>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/01e\/290\/ac1\/01e290ac168fcd5364a5f80b96ce3f8a.png\" alt=\"\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21161 \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 0 \u0438 2\" title=\"\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21161 \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 0 \u0438 2\" width=\"415\" height=\"207\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/01e\/290\/ac1\/01e290ac168fcd5364a5f80b96ce3f8a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/01e\/290\/ac1\/01e290ac168fcd5364a5f80b96ce3f8a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u21161 \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 0 \u0438 2<\/figcaption><\/div>\n<\/figure>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0412\u00a0Kafka \u043a\u0430\u0436\u0434\u0443\u044e \u0442\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0442\u044c, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0434\u043e\u00a0\u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u0438. \u041c\u044b\u00a0\u0436\u0435 \u0441\u00a0\u0432\u0430\u043c\u0438 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0447\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435, \u0447\u0435\u043c\u0443 \u043c\u044b \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u0441\u00a0\u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438\u00a0\u2014 \u043e\u0442\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043e\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438\u0441\u044c \u0441\u00a0\u0442\u043e\u043d\u043a\u043e\u0441\u0442\u044f\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c\u0438: \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0438 \u0441\u0436\u0430\u0442\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043d\u0430\u0434\u0451\u0436\u043d\u044b\u0435 \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043e\u0431\u043c\u0435\u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u041e\u0441\u0432\u043e\u0438\u043b\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 confluent_kafka \u0434\u043b\u044f\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0Python<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435, \u0447\u0442\u043e\u00a0\u0432\u044b \u0442\u0435\u043f\u0435\u0440\u044c \u0443\u043c\u0435\u0435\u0442\u0435:<\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043f\u043a\u0438 \u0441\u00a0\u0443\u0447\u0451\u0442\u043e\u043c \u0431\u0438\u0437\u043d\u0435\u0441\u2011\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0438 \u0441\u0436\u0430\u0442\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0423\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439 \u0438 \u0438\u0445 \u043f\u0435\u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u043e\u0439<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043d\u0430\u0434\u0451\u0436\u043d\u0443\u044e \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u043c\u043d\u0438\u0442\u0435, \u0447\u0442\u043e\u00a0Kafka\u00a0\u2014 \u044d\u0442\u043e \u043c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0434 \u0432\u0430\u043c\u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0439\u0442\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u0438 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u043e\u2011\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443 \u043a\u0440\u0443\u0442\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f! <\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/944432\/\"> https:\/\/habr.com\/ru\/articles\/944432\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 <a href=\"https:\/\/habr.com\/ru\/articles\/940308\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a> \u043c\u044b \u0441\u00a0\u0432\u0430\u043c\u0438 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438, \u043a\u0430\u043a\u00a0\u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 Kafka \u0438\u0437\u00a0\u0442\u0440\u0435\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432 \u0432\u00a0\u0440\u0435\u0436\u0438\u043c\u0435 KRaft \u043d\u0430\u00a0Windows \u0432\u00a0WSL, \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0\u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u043a\u00a0\u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0443.<\/p>\n<p>\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044f \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0443 \u00ab\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u00a0\u2014 \u043b\u0443\u0447\u0448\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438\u00bb, \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438.<\/p>\n<p>\u0412\u00a0\u0446\u0435\u043b\u043e\u043c \u043e\u00a0\u0440\u0430\u0431\u043e\u0442\u0435 Kafka \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0438\u0437\u00a0\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u0441\u00a0\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u00a0\u2014 <strong>\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 Kafka:<\/strong><\/p>\n<ul>\n<li>\n<p>\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432\u00a0Kafka \u0441\u00a0\u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0448\u0438\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 Apache Kafka;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043d\u0430\u00a0Python;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0443\u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e\u00a0\u0442\u0430\u043a\u043e\u0435 JSON\u2011\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f;<\/p>\n<\/li>\n<\/ul>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0432\u00a0Apache Kafka\u00a0\u2014 \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e\u044d\u0442\u0430\u043f\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 (producer), \u0431\u0440\u043e\u043a\u0435\u0440\u044b Kafka \u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438.<\/p>\n<p>\u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c\u043e\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 <strong>\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 (payload)<\/strong> \u0438 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 <strong>\u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445<\/strong>, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f\u00a0\u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438. \u041f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432\u00a0Kafka \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d <strong>1\u00a0\u041c\u0411<\/strong>, \u043e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e\u0442\u00a0\u043b\u0438\u043c\u0438\u0442 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u043b\u0438\u00a0\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432 <strong>\u043f\u0430\u043a\u0435\u0442\u044b (batch)<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a, \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0432\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c \u0432\u00a0\u0430\u0434\u0440\u0435\u0441 \u0431\u0440\u043e\u043a\u0435\u0440\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f (Record)<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043b\u044e\u0447\u0430 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u00a0\u043c\u0430\u0441\u0441\u0438\u0432 \u0431\u0430\u0439\u0442\u043e\u0432)<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043c\u0435\u0449\u0435\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Record Batch (\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043f\u043e\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c)<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 ProduceRequest \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0443<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u044d\u0442\u0430\u043f\u043e\u0432 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432\u00a0\u0435\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435, \u043d\u043e\u00a0\u0438 \u0433\u043b\u0443\u0431\u0436\u0435 \u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430. \u041d\u0430\u00a0\u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0442\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0447\u0438\u043a\u0430\u00a0\u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0439\u0442. \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0432\u0440\u043e\u0434\u0435 Kafka, \u0433\u0434\u0435 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0442\u0430\u043a\u0438\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u044b, \u043d\u0430\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0431\u0443\u0444\u0435\u0440\u0430\u0445, \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u00a0\u0431\u0430\u0442\u0447\u0438 \u0438 \u0441\u0436\u0438\u043c\u0430\u044e\u0442\u0441\u044f,\u00a0\u2014 \u0438\u0437\u00a0\u044d\u0442\u0438\u0445 \u00ab\u043a\u0440\u043e\u0448\u0435\u043a\u00bb \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0441\u0435\u0442\u0435\u0432\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f \u043f\u043e\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<h2>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f (Record)<\/h2>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435, \u043f\u0435\u0440\u0435\u0434 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u00a0Record\u00a0\u2014 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>Record<\/figcaption><\/div>\n<\/figure>\n<p><strong>Key (\u043a\u043b\u044e\u0447)<\/strong><\/p>\n<ul>\n<li>\n<p>Kafka \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043a\u043b\u044e\u0447 \u0434\u043b\u044f\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u042d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0432\u00a0\u0431\u0430\u0439\u0442\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: String, Integer, Dictionary, None<\/p>\n<\/li>\n<li>\n<p>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u00a0\u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043a\u043b\u044e\u0447\u043e\u043c \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432\u00a0\u043e\u0434\u043d\u0443 \u0438 \u0442\u0443\u00a0\u0436\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0442\u043e\u043f\u0438\u043a\u0430. \u042d\u0442\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0434\u043b\u044f\u00a0\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043b\u044e\u0447 \u043d\u0435\u00a0\u0437\u0430\u0434\u0430\u043d (null), \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u00a0\u2014 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 (round\u2011robin) \u0438\u043b\u0438\u00a0\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u044e\u0447 \u0443\u0434\u043e\u0431\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f\u00a0\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u00a0\u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0437\u0430\u043a\u0430\u0437\u0430 \u0438\u043b\u0438\u00a0\u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430 \u0432\u00a0CQRS\/Event Sourcing.<\/p>\n<\/li>\n<\/ul>\n<p><strong>Value (\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435)<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 (payload) \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u00a0\u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u00a0\u0431\u0430\u0439\u0442\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0\u2014 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u043c. \u0424\u043e\u0440\u043c\u0430\u0442 (JSON, Avro, Protobuf \u0438 \u0434\u0440.) \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u0431\u0440\u043e\u043a\u0435\u0440 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u0442 \u0441\u0436\u0430\u0442\u044b\u0435 \u0431\u0430\u0442\u0447\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, LZ4, ZSTD), \u043d\u043e\u00a0\u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0435\u00a0\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 Value\u00a0\u2014 \u043e\u043d\u043e \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u00ab\u0447\u0451\u0440\u043d\u044b\u043c \u044f\u0449\u0438\u043a\u043e\u043c\u00bb.<\/p>\n<\/li>\n<\/ul>\n<p><strong>Headers (\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438)<\/strong><\/p>\n<ul>\n<li>\n<p>\u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u00a0Kafka \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441\u00a0\u0432\u0435\u0440\u0441\u0438\u0438 0.11.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u043f\u0430\u0440 \u00ab\u043a\u043b\u044e\u0447\u2011\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00bb, \u0433\u0434\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0441\u0442\u0440\u043e\u043a\u043e\u0439, \u0447\u0438\u0441\u043b\u043e\u043c \u0438\u043b\u0438\u00a0null.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u00a0\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430\u00a0\u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0438\u043b\u0438\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0423\u0434\u043e\u0431\u043d\u044b \u0434\u043b\u044f\u00a0\u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f\u00a0distributed tracing),<\/p>\n<\/li>\n<li>\n<p>\u0442\u043e\u043a\u0435\u043d\u044b \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438,<\/p>\n<\/li>\n<li>\n<p>\u0432\u0435\u0440\u0441\u0438\u0438 \u0441\u0445\u0435\u043c\u044b,<\/p>\n<\/li>\n<li>\n<p>\u0444\u043b\u0430\u0433\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><strong>Topic\u00a0(\u0442\u043e\u043f\u0438\u043a)<\/strong> <\/p>\n<ul>\n<li>\n<p>\u041d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043e\u0441\u0442\u0430\u0432 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u00a0\u2014 \u043d\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0441\u044f \u0432\u00a0RecordBatch.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430\u00a0\u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u00a0ProduceRequest, \u0433\u0434\u0435 \u0442\u043e\u043f\u0438\u043a \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n<h2>\u0421\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f <\/h2>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 Kafka \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u00a0\u0441\u0435\u0442\u0438 \u0432\u00a0\u0431\u0438\u043d\u0430\u0440\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043a\u043b\u044e\u0447\u0430 (key) \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (value) \u0434\u043e\u043b\u0436\u043d\u044b\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u044b \u0432\u00a0\u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0431\u0430\u0439\u0442\u043e\u0432 (byte[]). \u042d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a <strong>StringSerializer<\/strong>, <strong>ByteArraySerializer<\/strong>, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u043d\u043e\u2011\u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435\u00a0\u2014 <strong>Avro<\/strong>, <strong>Protobuf<\/strong>, <strong>JSON<\/strong> \u0441\u0445\u0435\u043c\u044b \u0438 \u0434\u0440\u0443\u0433\u0438\u0435.<\/p>\n<p><strong>Timestamp<\/strong> \u0438 <strong>Headers<\/strong>\u00a0\u2014 \u0442\u0430\u043a\u0436\u0435 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c Kafka \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0442\u0430\u043a, \u043a\u0430\u043a\u00a0key\/value. \u041e\u043d\u0438\u00a0\u2014 \u0447\u0430\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f Kafka, \u0430\u00a0\u043d\u0435\u00a0\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438.<\/p>\n<p><strong>\u0422\u043e\u043f\u0438\u043a<\/strong>\u00a0\u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0438\u0437\u00a0\u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0435\u00a0\u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432\u00a0RecordBatch \u0438 \u043d\u0435\u00a0\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432\u043e\u043e\u0431\u0449\u0435.<\/p>\n<h2>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/h2>\n<p>\u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0448\u0430\u0433\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0435\u0448\u0430\u0435\u0442 \u0432\u00a0\u043a\u0430\u043a\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0442\u043e\u043f\u0438\u043a\u0430<\/strong> \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043b\u044e\u0447 (key) \u0443\u043a\u0430\u0437\u0430\u043d, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0445\u0435\u0448 \u043e\u0442\u00a0\u043a\u043b\u044e\u0447\u0430 \u0434\u043b\u044f\u00a0\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u0433\u0434\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u00a0\u0442\u0430\u043a\u0438\u043c\u00a0\u0436\u0435 \u043a\u043b\u044e\u0447\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043b\u044e\u0447 (key) = null, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f (round\u2011robin) \u0438\u043b\u0438\u00a0\u043a\u0430\u0441\u0442\u043e\u043c\u043d\u0430\u044f.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445<\/strong>\u2014 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u00a0\u0442\u043e\u043f\u0438\u043a\u0430\u0445, \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u0445, \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445,\u00a0\u043b\u0438\u0434\u0435\u0440\u0430\u0445 \u0438 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0445. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442<strong> <\/strong>\u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e RecordBatch.<\/p>\n<h2>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 RecordBatch<\/h2>\n<p>\u0423\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 <strong>RecordBatch<\/strong>, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>RecordBatch<\/figcaption><\/div>\n<\/figure>\n<\/li>\n<\/ul>\n<p>\u0421\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u2014 \u043e\u043d\u0438\u00a0<strong>\u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f<\/strong>\u00a0\u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0438 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u00a0<strong>Record Batches<\/strong>\u00a0(\u043f\u0430\u043a\u0435\u0442\u044b \u0437\u0430\u043f\u0438\u0441\u0435\u0439). \u042d\u0442\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b.<\/p>\n<ul>\n<li>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439\u00a0<strong>Record Batch<\/strong>\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043f\u0438\u043a\u0443 \u0438 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0411\u0430\u0442\u0447\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u00a0<strong>Record Accumulator<\/strong>\u00a0\u2014 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u0431\u0443\u0444\u0435\u0440\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c\u00a0<code>batch.size<\/code>\u00a0(\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 16 \u041a\u0411).<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0431\u0430\u0442\u0447 \u043d\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u043d\u043e \u043f\u0440\u043e\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u044f\u00a0linger.ms\u00a0(\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0 \u043c\u0441), \u043e\u043d \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f\u00a0\u0441\u0436\u0430\u0442\u0438\u0435\u00a0\u2014 \u0432\u0435\u0441\u044c \u0431\u0430\u0442\u0447 \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0447\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435, \u0447\u0435\u043c \u0441\u0436\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p><strong>\u0428\u0430\u0433\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f RecordBatch.<\/strong><\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e (\u043f\u043e \u043a\u043b\u044e\u0447\u0443 \u0438\u043b\u0438\u00a0round\u2011robin).<\/p>\n<\/li>\n<li>\n<p>\u0421\u043c\u043e\u0442\u0440\u0438\u0442, \u0435\u0441\u0442\u044c\u00a0\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u0430\u0442\u0447 \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0438 \u043e\u043d \u0435\u0449\u0451 \u043d\u0435\u00a0\u043f\u043e\u043b\u043d\u044b\u0439 (&lt; <code>batch.size<\/code>), \u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0431\u0430\u0442\u0447 \u043f\u043e\u043b\u043d\u044b\u0439 \u0438\u043b\u0438\u00a0\u0437\u0430\u043a\u0440\u044b\u0442, \u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043d\u043e\u0432\u044b\u0439.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u0439\u043c\u0435\u0440 <code>linger.ms<\/code> (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0\u2014 0\u00a0\u043c\u0441):<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0437\u0430\u00a0\u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0438\u0448\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0438, \u043e\u043d\u0438 \u0434\u043e\u0431\u0430\u0432\u044f\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435\u00a0\u043f\u0440\u0438\u0448\u043b\u0438, \u0431\u0430\u0442\u0447 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u00ab\u043a\u0430\u043a \u0435\u0441\u0442\u044c\u00bb.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0436\u0430\u0442\u0438\u044f: producer, gzip, snappy, lz4, zstd \u0438\u043b\u0438\u00a0none.<\/p>\n<\/li>\n<li>\n<p>\u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0442\u0438\u043f \u0441\u0436\u0430\u0442\u0438\u044f \u0432\u00a0\u043f\u043e\u043b\u0435 <code>RecordBatch.Attributes<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0435 \u0437\u0430 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 RecordBatch.<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\"><code>batch.size<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440   \u0431\u0430\u0442\u0447\u0430 \u0432 \u0431\u0430\u0439\u0442\u0430\u0445, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043d \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">16384\u00a0(16   \u041a\u0411) \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u2014 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0431\u0430\u0442\u0447, \u0442\u0435\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0441\u0436\u0430\u0442\u0438\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\"><code>linger.ms<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0440\u0435\u043c\u044f   \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0431\u0430\u0442\u0447\u0430 (\u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439)<\/p>\n<\/td>\n<td>\n<p align=\"left\">5\u201320\u00a0\u043c\u0441 \u2014 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0 \u043c\u0441.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\"><code>compression.type<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u0438\u043f \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 RecordBatch<\/p>\n<\/td>\n<td>\n<p align=\"left\">none | gzip | snappy | lz4 | zstd | producer<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 compression.type:<\/strong><\/p>\n<ul>\n<li>\n<p>none\u00a0\u2014 \u0441\u0436\u0430\u0442\u0438\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043e (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e).<\/p>\n<\/li>\n<li>\n<p>gzip\u00a0\u2014 \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0436\u0430\u0442\u0438\u044f, \u043d\u043e\u00a0\u0432\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430\u00a0CPU.<\/p>\n<\/li>\n<li>\n<p>snappy\u00a0\u2014 \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, \u043d\u0438\u0437\u043a\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 CPU (\u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f).<\/p>\n<\/li>\n<li>\n<p>lz4\u00a0\u2014\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 snappy, \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 (\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e).<\/p>\n<\/li>\n<li>\n<p>zstd\u00a0\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u00a0Kafka 2.1+, \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e.<\/p>\n<\/li>\n<li>\n<p>producer\u00a0\u2014 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u0438\u043f, \u0431\u0440\u043e\u043a\u0435\u0440 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043a\u0430\u043a\u00a0\u0435\u0441\u0442\u044c (\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0441\u00a0Kafka 2.4+).<\/p>\n<\/li>\n<\/ul>\n<h2>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 ProduceRequest\u00a0\u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0443<\/h2>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0431\u0430\u0442\u0447 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u043c (\u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d batch.size \u0438\u043b\u0438\u00a0\u0438\u0441\u0442\u0435\u043a <code>linger.ms<\/code>), \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 <strong>ProduceRequest<\/strong>\u00a0\u2014 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u00a0\u0431\u0440\u043e\u043a\u0435\u0440\u0443 Kafka.<\/p>\n<ul>\n<li>\n<p>ProduceRequest \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0434\u0438\u043d \u0438\u043b\u0438\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e Record Batch, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c (\u043d\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u0431\u0440\u043e\u043a\u0435\u0440\u0430\u043c).<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0442\u044c \u0441\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430 Kafka (\u043d\u0430 \u0431\u0430\u0437\u0435 TCP).<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043e\u0436\u0438\u0434\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430 \u043e\u0442\u00a0\u0431\u0440\u043e\u043a\u0435\u0440\u0430 \u0432\u00a0\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 acks:<\/p>\n<ul>\n<li>\n<p>acks=0\u00a0\u2014 \u043d\u0435\u00a0\u0436\u0434\u0430\u0442\u044c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p>acks=1\u00a0\u2014 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0\u043b\u0438\u0434\u0435\u0440\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0430;<\/p>\n<\/li>\n<li>\n<p>acks=all\u00a0\u2014 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u00a0\u0432\u0441\u0435\u0445 \u0440\u0435\u043f\u043b\u0438\u043a (\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c).<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>\u041b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 <strong>ProduceRequest<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0431\u0440\u043e\u043a\u0435\u0440\u0443 Kafka \u0434\u043b\u044f\u00a0\u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<figure class=\"full-width\">\n<div><figcaption><strong>ProduceRequest<\/strong><\/figcaption><\/div>\n<\/figure>\n<h2>\u0412\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432 \u0441 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u043c Kafka<\/h2>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u043c\u0435\u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u00a0Kafka \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u0442\u0440\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f <strong>ProduceRequest<\/strong> \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0431\u0440\u043e\u043a\u0435\u0440\u0443. \u0411\u0440\u043e\u043a\u0435\u0440, \u0432\u00a0\u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439\u0441\u044f \u0432\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0435 <strong>RecordBatch<\/strong> \u0432\u00a0\u043b\u043e\u0433\u2011\u0444\u0430\u0439\u043b \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430. \u0414\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0434\u043e\u00a0\u0438\u0441\u0442\u0435\u0447\u0435\u043d\u0438\u044f \u0441\u0440\u043e\u043a\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f, \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u043e\u0439 retention (\u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438\u00a0\u043f\u043e\u00a0\u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430), \u0438 \u0432\u0441\u0451 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0434\u043b\u044f\u00a0\u0447\u0442\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442 \u0431\u0440\u043e\u043a\u0435\u0440\u0443 <strong>FetchRequest<\/strong>. \u0412\u00a0\u043e\u0442\u0432\u0435\u0442 \u0431\u0440\u043e\u043a\u0435\u0440 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 <strong>FetchResponse<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0434\u0438\u043d \u0438\u043b\u0438\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0436\u0430\u0442\u044b\u0445 <strong>RecordBatch<\/strong>. \u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0431\u044a\u0435\u043c \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430 (\u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a <code>fetch.min.bytes<\/code> \u0438 <code>fetch.max.wait.ms<\/code>) \u0438 \u0435\u0433\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u043b\u043e\u0433\u0438\u043a\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<p><strong>\u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438: <\/strong><\/p>\n<p>\u0424\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c, \u043b\u0435\u0436\u0430\u0449\u0438\u043c \u0432\u00a0\u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 Apache Kafka, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0430\u043a\u0435\u0442\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 (batching) \u0438 \u0441\u0436\u0430\u0442\u0438\u0435 (compression) \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. \u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f (Record) \u043f\u043e\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 Kafka \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0438\u0445 \u0432\u00a0\u0433\u0440\u0443\u043f\u043f\u044b\u00a0\u2014 <strong>RecordBatch<\/strong>. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u044f\u0434 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u044b\u0445 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432:<\/p>\n<ul>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 (throughput) \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430\u00a0\u0441\u0435\u0442\u044c \u0437\u0430\u00a0\u0441\u0447\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 larger, \u0441\u0436\u0430\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043c\u0435\u043b\u043a\u0438\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430\u00a0I\/O, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0\u043d\u0430\u00a0\u0434\u0438\u0441\u043a \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u0441\u0436\u0430\u0442\u044b\u0435 \u0431\u0430\u0442\u0447\u0438.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e \u0448\u0430\u0433\u0430\u043c:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u0430\u0442\u0447\u0430 \u043d\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0435 (Producer):<\/strong><\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043d\u0435\u00a0\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e. \u041e\u043d \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0435\u0442 \u0438\u0445 \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044f <strong>RecordBatch<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0434 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-474226","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/474226","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=474226"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/474226\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=474226"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=474226"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=474226"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}