{"id":315701,"date":"2020-12-29T03:00:15","date_gmt":"2020-12-29T03:00:15","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=315701"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2020-12-29T03:00:15","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=315701","title":{"rendered":"\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0432 Kafka"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qh\/x0\/a7\/qhx0a70cn0t3eio2hwjkzglcj50.png\"\/><\/p>\n<p>  <\/p>\n<p>Kafka \u043f\u043e\u0432\u0441\u044e\u0434\u0443. \u0413\u0434\u0435 \u0435\u0441\u0442\u044c \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u044b \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0430 \u043e\u043d\u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b, \u0442\u0430\u043c \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0435\u0441\u0442\u044c \u0438 Kafka. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u043e\u043f\u044b\u0442\u0430\u044e\u0441\u044c \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c, \u043a\u0430\u043a \u0432 Kafka \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<p>\u042f, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043d\u0435 \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0442\u044c, \u043d\u043e \u043a\u043e\u043f\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c \u0433\u043b\u0443\u0431\u043e\u043a\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e Kafka \u043d\u0435 \u043f\u043e\u043c\u0435\u0448\u0430\u0435\u0442. \u0418\u043d\u0430\u0447\u0435 \u043d\u0435 \u0432\u0441\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e. \u0412 \u043e\u0431\u0449\u0435\u043c, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0439\u0442\u0435 \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0439 \u0441\u0442\u0440\u0430\u0445 \u0438 \u0440\u0438\u0441\u043a.<\/p>\n<p>  <\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e Kafka \u2014 \u044d\u0442\u043e <em>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0430\u044f \u0438 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439<\/em>. \u0421 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u0441\u0435 \u0432\u0435\u0440\u043d\u043e, \u043d\u043e \u0442\u0435\u0440\u043c\u0438\u043d <em>\u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439<\/em> \u043d\u0435 \u0432\u0441\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e. \u042f \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u044e \u0434\u0440\u0443\u0433\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435: <strong>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0438 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0436\u0443\u0440\u043d\u0430\u043b \u043a\u043e\u043c\u043c\u0438\u0442\u043e\u0432<\/strong>. \u042d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0439, \u0432\u0435\u0434\u044c \u043c\u044b \u0432\u0441\u0435 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0437\u043d\u0430\u0435\u043c, \u043a\u0430\u043a \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a. \u041f\u0440\u043e\u0441\u0442\u043e \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0432 Kafka.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mf\/q2\/m7\/mfq2m7_-itlebj0vgynys7s1pog.png\"\/><\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044e \u0432 Kafka \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u0432\u0430 \u0442\u0435\u0440\u043c\u0438\u043d\u0430: \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0438 \u0442\u043e\u043f\u0438\u043a\u0438. <strong><em>\u041f\u0430\u0440\u0442\u0438\u0446\u0438\u0438<\/em><\/strong> \u2014 \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0430 <strong><em>\u0442\u043e\u043f\u0438\u043a\u0438<\/em><\/strong> \u2014 \u0447\u0442\u043e-\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044d\u0442\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f.<\/p>\n<p>  <\/p>\n<p>\u0421 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0442\u0435\u043e\u0440\u0438\u0435\u0439 \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<p>  <\/p>\n<p>\u042f \u0441\u043e\u0437\u0434\u0430\u043c \u0432 Kafka \u0442\u043e\u043f\u0438\u043a \u0441 \u0442\u0440\u0435\u043c\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c\u0438. \u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0437\u0430 \u043c\u043d\u043e\u0439, \u0432\u043e\u0442 \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 Kafka \u0432 Windows.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">kafka-topics.bat --create --topic freblogg --partitions 3 --replication-factor 1 --zookeeper localhost:2181<\/code><\/pre>\n<p>  <\/p>\n<p>\u0412 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 Kafka \u0441\u043e\u0437\u0434\u0430\u043d\u043e \u0442\u0440\u0438 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">$ tree freblogg* freblogg-0 |-- 00000000000000000000.index |-- 00000000000000000000.log |-- 00000000000000000000.timeindex `-- leader-epoch-checkpoint freblogg-1 |-- 00000000000000000000.index |-- 00000000000000000000.log |-- 00000000000000000000.timeindex `-- leader-epoch-checkpoint freblogg-2 |-- 00000000000000000000.index |-- 00000000000000000000.log |-- 00000000000000000000.timeindex `-- leader-epoch-checkpoint<\/code><\/pre>\n<p>  <\/p>\n<p>\u041c\u044b \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0432 \u0442\u043e\u043f\u0438\u043a\u0435 \u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0438 \u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u2014 \u0441\u0432\u043e\u0439 \u043a\u0430\u0442\u0430\u043b\u043e\u0433 \u0432 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435. \u0415\u0449\u0435 \u0442\u0443\u0442 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0444\u0430\u0439\u043b\u043e\u0432 (<em>index, log \u0438 \u0442 \u0434.<\/em>), \u043d\u043e \u043e \u043d\u0438\u0445 \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435.<\/p>\n<p>  <\/p>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 Kafka <strong>\u0442\u043e\u043f\u0438\u043a <\/strong>\u2014 \u044d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435, \u0430 <strong>\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f<\/strong>. \u0422\u043e, \u0447\u0442\u043e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a\u0435. \u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438?<\/p>\n<p>  <\/p>\n<h3 id=\"particii\">\u041f\u0430\u0440\u0442\u0438\u0446\u0438\u0438<\/h3>\n<p>  <\/p>\n<p>\u0412 \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u044f\u0435\u043c\u0430\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f (\u0438\u043b\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c) \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0443\u0434\u0430\u043b\u044f\u0442\u044c. \u0418 \u043f\u043e\u0434 \u00ab\u043c\u044b\u00bb \u044f \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u044e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u0432 \u0432 Kafka. \u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0437 \u0442\u043e\u043f\u0438\u043a\u0430.<\/p>\n<p>  <\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u043c\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043c \u0432 \u0442\u043e\u043f\u0438\u043a \u043f\u0430\u0440\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u043e\u0432 \u0432 \u043f\u0430\u043f\u043a\u0430\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">$ ls -lh freblogg-0 total 20M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121   0 Aug  5 08:26 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121   0 Aug  5 08:26 leader-epoch-checkpoint<\/code><\/pre>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u0442\u0435, \u0444\u0430\u0439\u043b\u044b index \u0432\u043c\u0435\u0441\u0442\u0435 \u0432\u0435\u0441\u044f\u0442 20 \u041c\u0411, \u0430 \u0444\u0430\u0439\u043b log \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043f\u0443\u0441\u0442\u043e\u0439. \u0412 \u043f\u0430\u043f\u043a\u0430\u0445 <code>freblogg-1<\/code> \u0438 <code>freblogg-2<\/code> \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435.<br \/>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 console producer \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">kafka-console-producer.bat --topic freblogg --broker-list localhost:9092<\/code><\/pre>\n<p>  <\/p>\n<p>\u042f \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b \u0434\u0432\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u2014 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u0432\u0435\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u00abHello World\u00bb, \u0430 \u043f\u043e\u0442\u043e\u043c \u043d\u0430\u0436\u0430\u043b \u043d\u0430 Enter, \u0438 \u044d\u0442\u043e \u0432\u0442\u043e\u0440\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u0415\u0449\u0435 \u0440\u0430\u0437 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0444\u0430\u0439\u043b\u043e\u0432:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">$ ls -lh freblogg* freblogg-0: total 20M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121   0 Aug  5 08:26 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121   0 Aug  5 08:26 leader-epoch-checkpoint  freblogg-1: total 21M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121  68 Aug  5 10:15 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121  11 Aug  5 10:15 leader-epoch-checkpoint  freblogg-2: total 21M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121  79 Aug  5 09:59 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121  11 Aug  5 09:59 leader-epoch-checkpoint<\/code><\/pre>\n<p>  <\/p>\n<p>\u0414\u0432\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0437\u0430\u043d\u044f\u043b\u0438 \u0434\u0432\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0438 \u0444\u0430\u0439\u043b\u044b log \u0432 \u043d\u0438\u0445 \u0442\u0435\u043f\u0435\u0440\u044c \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440. \u042d\u0442\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e <strong>\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u0444\u0430\u0439\u043b\u0435 xxxx.log<\/strong>. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u0433\u043b\u044f\u043d\u0435\u043c \u0432 \u0444\u0430\u0439\u043b log \u0438 \u0443\u0431\u0435\u0434\u0438\u043c\u0441\u044f, \u0447\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0438 \u043f\u0440\u0430\u0432\u0434\u0430 \u0442\u0430\u043c.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">$ cat freblogg-2\/*.log @^@^B\u00c2\u00b0\u00c2\u00a3\u00c3\u00a6\u00c3\u0192^@^K^X\u00c3\u00bf\u00c3\u00bf\u00c3\u00bf\u00c3\u00bf\u00c3\u00bf\u00c3\u00bf^@^@^@^A&quot;^@^@^A^VHello World^@<\/code><\/pre>\n<p>  <\/p>\n<p>\u0424\u0430\u0439\u043b\u044b \u0441 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c log \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e \u0447\u0438\u0442\u0430\u0442\u044c, \u043d\u043e \u043c\u044b \u0432\u0441\u0435 \u0436\u0435 \u0432\u0438\u0434\u0438\u043c \u0432 \u043a\u043e\u043d\u0446\u0435 \u00abHello World\u00bb, \u0442\u043e \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b \u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432 \u0442\u043e\u043f\u0438\u043a. \u0412\u0442\u043e\u0440\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043c\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e.<\/p>\n<p>  <\/p>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u043f\u0430\u043b\u043e \u0432 \u0442\u0440\u0435\u0442\u044c\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e (freblogg-2), \u0430 \u0432\u0442\u043e\u0440\u043e\u0435 \u2014 \u0432\u043e \u0432\u0442\u043e\u0440\u0443\u044e (freblogg-1). \u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f Kafka \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e, \u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u043e \u043a\u0440\u0443\u0433\u0443 (round-robin). \u0415\u0441\u043b\u0438 \u043c\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043c \u0442\u0440\u0435\u0442\u044c\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, Kafka \u0437\u0430\u043f\u0438\u0448\u0435\u0442 \u0435\u0433\u043e \u0432\u043e freblogg-0 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0438 \u0441\u0430\u043c\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u0443\u043a\u0430\u0437\u0430\u0432 \u043a\u043b\u044e\u0447. Kafka \u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441 \u043e\u0434\u043d\u0438\u043c \u043a\u043b\u044e\u0447\u043e\u043c \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u043e\u0432\u043e\u043c\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044e \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f Id \u043d\u0430 1 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e. \u042d\u0442\u043e\u0442 Id \u0435\u0449\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <em>\u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c (offset)<\/em>. \u0423 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 0, \u0443 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u2014 1 \u0438 \u0442. \u0434., \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u0430 1 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/1z\/dw\/ge\/1zdwgeou55soug0eu_m_siwzazq.png\"\/><\/p>\n<p>  <\/p>\n<h3 id=\"nebolshoe-otstuplenie\">&lt;\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435&gt;<\/h3>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 Kafka, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0432 \u0444\u0430\u0439\u043b\u0435 log. \u041d\u0430\u043c \u043e\u043d\u0438 \u043a\u0430\u0436\u0443\u0442\u0441\u044f \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438, \u043d\u043e \u0434\u043b\u044f Kafka \u044d\u0442\u043e \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u0438. \u0412\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">kafka-run-class.bat kafka.tools.DumpLogSegments --deep-iteration --print-data-log --files logs\\freblogg-2\\00000000000000000000.log<\/code><\/pre>\n<p>  <\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">umping logs\\freblogg-2\\00000000000000000000.log Starting offset: 0  offset: 0 position: 0 CreateTime: 1533443377944 isvalid: true keysize: -1 valuesize: 11 producerId: -1 headerKeys: [] payload: Hello World  offset: 1 position: 79 CreateTime: 1533462689974 isvalid: true keysize: -1 valuesize: 6 producerId: -1 headerKeys: [] payload: amazon<\/code><\/pre>\n<p>  <\/p>\n<p>(\u042f \u0443\u0434\u0430\u043b\u0438\u043b \u0438\u0437 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u0435-\u0447\u0442\u043e \u043b\u0438\u0448\u043d\u0435\u0435.)<\/p>\n<p>  <\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0432\u0438\u0434\u0438\u043c <strong>\u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435, \u0432\u0440\u0435\u043c\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f, \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043b\u044e\u0447\u0430 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f<\/strong>, \u0430 \u0435\u0449\u0435 \u0441\u0430\u043c\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 (payload).<\/p>\n<p>  <\/p>\n<h3 id=\"nebolshoe-otstuplenie-1\">&lt;\/\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435&gt;<\/h3>\n<p>  <\/p>\n<p>\u041d\u0430\u0434\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e<strong> \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u0430 \u043a \u0431\u0440\u043e\u043a\u0435\u0440\u0443<\/strong>. \u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0442\u0440\u0438 \u0431\u0440\u043e\u043a\u0435\u0440\u0430, \u0430 \u043f\u0430\u043f\u043a\u0430 <code>freblogg-0<\/code> \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 broker-1, \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445 \u0435\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442. \u0423 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445, \u043d\u043e \u043e\u0434\u043d\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u043e\u0434\u043d\u043e\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0435 Kafka (\u0435\u0441\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 1, \u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435).<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/_7\/df\/r9\/_7dfr9wqcwnl4otqms4ubuvmtk4.png\"\/><\/p>\n<p>  <\/p>\n<h3 id=\"segmenty\">\u0421\u0435\u0433\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p>  <\/p>\n<p>\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u0444\u0430\u0439\u043b\u044b index \u0438 log \u0432 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438? \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u044f, \u043c\u043e\u0436\u0435\u0442, \u0438 \u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432 Kafka, \u043d\u043e \u043d\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f. \u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u0430 <strong>\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b<\/strong>, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. Kafka \u043d\u0435 \u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435 (\u043a\u0430\u043a \u0432 \u0444\u0430\u0439\u043b\u0435 \u043b\u043e\u0433\u0430), \u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u0442 \u0438\u0445 \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b. \u042d\u0442\u043e \u0434\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432. (\u0420\u0430\u0437\u0434\u0435\u043b\u044f\u0439 \u0438 \u0432\u043b\u0430\u0441\u0442\u0432\u0443\u0439, \u043a\u0430\u043a \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0441\u044f.)<\/p>\n<p>  <\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u044d\u0442\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u042f \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b, \u0447\u0442\u043e \u0441\u0430\u043c\u0438 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0438\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043d\u043e Kafka \u043c\u043e\u0436\u0435\u0442 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u043e\u043f\u0438\u043a\u0430. \u0423\u0434\u0430\u043b\u0438\u0442\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0444\u0430\u0439\u043b\u0430, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0432 \u043d\u0435\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">$ ls -lh freblogg-0 total 20M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121   0 Aug  5 08:26 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121   0 Aug  5 08:26 leader-epoch-checkpoint<\/code><\/pre>\n<p>  <\/p>\n<p>\u041d\u0443\u043b\u0438 (00000000000000000000) \u0432 \u0444\u0430\u0439\u043b\u0430\u0445 log \u0438 index \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u043f\u043a\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u2014 \u044d\u0442\u043e \u0438\u043c\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430. \u0423 \u0444\u0430\u0439\u043b\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b\u044b <code>segment.log<\/code>, <code>segment.index<\/code> \u0438 <code>segment.timeindex<\/code>.<\/p>\n<p>  <\/p>\n<p>Kafka \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u0444\u0430\u0439\u043b\u044b \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043f\u0440\u0438\u0447\u0435\u043c \u0443 \u043d\u0430\u0441 \u0432\u0441\u0435\u0433\u0434\u0430 \u0435\u0441\u0442\u044c <em>\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439<\/em> \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438. \u041a\u043e\u0433\u0434\u0430 Kafka \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043b\u0438\u043c\u0438\u0442\u0430 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430, \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u0430\u043d\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/va\/hh\/qe\/vahhqe2gwhdxkqru_buuwc65nc8.png\"\/><\/p>\n<p>  <\/p>\n<p>\u0412 \u0438\u043c\u0435\u043d\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u041d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432\u044b\u0448\u0435 \u0432 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 0 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c \u043e\u0442 0 \u0434\u043e 2, \u0432 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 3 \u2014 \u043e\u0442 3 \u0434\u043e 5, \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442, \u0448\u0435\u0441\u0442\u043e\u0439, \u0441\u0435\u0439\u0447\u0430\u0441 \u0430\u043a\u0442\u0438\u0432\u0435\u043d.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">$ ls -lh freblogg* freblogg-0: total 20M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121   0 Aug  5 08:26 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121   0 Aug  5 08:26 leader-epoch-checkpoint  freblogg-1: total 21M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121  68 Aug  5 10:15 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121  11 Aug  5 10:15 leader-epoch-checkpoint  freblogg-2: total 21M - freblogg 197121 10M Aug  5 08:26 00000000000000000000.index - freblogg 197121  79 Aug  5 09:59 00000000000000000000.log - freblogg 197121 10M Aug  5 08:26 00000000000000000000.timeindex - freblogg 197121  11 Aug  5 09:59 leader-epoch-checkpoint<\/code><\/pre>\n<p>  <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0443 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f 00000000000000000000. \u0420\u0430\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0435\u0442, \u0441\u0435\u0433\u043c\u0435\u043d\u0442 00000000000000000000 \u0438 \u0431\u0443\u0434\u0435\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0443 \u0432\u044b\u0434\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u044b\u0439 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f.<\/p>\n<p>  <\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438 \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e <code>freblogg-2<\/code> \u0442\u0440\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0438 \u043e\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/lg\/cu\/qs\/lgcuqs3epnz0m8zoidqrxkaxo6e.png\"\/><\/p>\n<p>  <\/p>\n<p>\u0422\u0440\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u2014 \u044d\u0442\u043e \u043d\u0430\u0448 \u043b\u0438\u043c\u0438\u0442. \u041d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438 Kafka \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u043a\u0440\u043e\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442, \u0441\u043e\u0437\u0434\u0430\u0441\u0442 \u043d\u043e\u0432\u044b\u0439, \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442 \u043d\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432 \u0444\u0430\u0439\u043b\u0435 log \u044d\u0442\u043e\u0433\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430. (\u042f \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u043d\u0443\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0449\u0435 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u044f\u0442\u044c).<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">freblogg-2 |-- 00.index |-- 00.log |-- 00.timeindex |-- 03.index |-- 03.log |-- 03.timeindex `--<\/code><\/pre>\n<p>  <\/p>\n<p>\u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0434\u0435\u043b\u043e, \u043d\u043e \u043d\u043e\u0432\u044b\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435 01. \u041c\u044b \u0432\u0438\u0434\u0438\u043c <code>03.index<\/code>, <code>03.log<\/code>. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a?<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/sh\/mw\/mq\/shmwmqdf81vcqsmbdho_oalrpsc.png\"\/><\/p>\n<p>  <\/p>\n<p>Kafka \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u043f\u043e \u0438\u043c\u0435\u043d\u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u043d\u0435\u043c. \u041d\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 3, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 Kafka \u0442\u0430\u043a \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442. \u0420\u0430\u0437 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b 00 \u0438 03, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0431\u044b\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f\u043c\u0438 0, 1 \u0438 2 \u0438 \u043f\u0440\u0430\u0432\u0434\u0430 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 00. \u041d\u043e\u0432\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 <code>freblogg-2<\/code> \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f\u043c\u0438 3 ,4 \u0438 5 \u0431\u0443\u0434\u0443\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u0432 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 03.<\/p>\n<p>  <\/p>\n<p>\u0412 Kafka \u043c\u044b \u0447\u0430\u0441\u0442\u043e \u0447\u0438\u0442\u0430\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c\u0443 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044e. \u0418\u0441\u043a\u0430\u0442\u044c \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432 \u0444\u0430\u0439\u043b\u0435 log \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u0444\u0430\u0439\u043b \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043d\u0435\u043f\u0440\u0438\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u044d\u0442\u043e 1 \u0413\u0411). \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043c \u0438 \u043d\u0443\u0436\u0435\u043d \u0444\u0430\u0439\u043b <code>.index<\/code>. <strong>\u0412 \u0444\u0430\u0439\u043b\u0435 index \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0438 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u0444\u0430\u0439\u043b\u0435 log.<\/strong><\/p>\n<p>  <\/p>\n<p>\u0424\u0430\u0439\u043b index \u0434\u043b\u044f \u0444\u0430\u0439\u043b\u0430 log, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043b \u0432 \u043a\u0440\u0430\u0442\u043a\u043e\u043c \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0438, \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043a\u0430\u043a-\u0442\u043e \u0442\u0430\u043a:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wq\/ha\/rk\/wqharkwvjbhugfod8ner4ckpskm.png\"\/><\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c 1, \u043c\u044b \u0438\u0449\u0435\u043c \u0435\u0433\u043e \u0432 \u0444\u0430\u0439\u043b\u0435 index \u0438 \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0435\u0433\u043e \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u2014 79. \u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044e 79 \u0432 \u0444\u0430\u0439\u043b\u0435 log \u0438 \u0447\u0438\u0442\u0430\u0435\u043c. \u042d\u0442\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u2014 \u043c\u044b \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u043d\u0443\u0436\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432 \u0443\u0436\u0435 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435 index \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<p>  <\/p>\n<h3 id=\"parallelizm-v-particiyah\">\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u0445<\/h3>\n<p>  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0447\u0442\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, Kafka \u0434\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u0443 (\u0438\u0437 \u0433\u0440\u0443\u043f\u043f\u044b \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u043e\u0432). \u0415\u0441\u043b\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f a, f \u0438 k, \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440 \u0447\u0438\u0442\u0430\u0435\u0442 \u0438\u0445 \u0432 \u0442\u043e\u043c \u0436\u0435 \u043f\u043e\u0440\u044f\u0434\u043a\u0435: a, f \u0438 k. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e, \u0432\u0435\u0434\u044c <strong>\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0442\u043e\u043f\u0438\u043a\u0430 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d<\/strong>, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439.<\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u043d\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u0441\u044f. \u041d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439. \u0427\u0442\u043e\u0431\u044b \u0434\u0432\u0430 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0442\u043e\u043f\u0438\u043a\u0430, \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0434\u0432\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u2014 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e. \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u0442\u043e\u043f\u0438\u043a\u0435 \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0432\u0430 \u043a\u043e\u043d\u0441\u044e\u043c\u0435\u0440\u0430 \u0442\u043e\u043f\u0438\u043a\u0430 \u043c\u043e\u0433\u0443\u0442 \u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u043e\u0432.<\/p>\n<p>  <\/p>\n<h3 id=\"topiki\">\u0422\u043e\u043f\u0438\u043a\u0438<\/h3>\n<p>  <\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0442\u043e\u043f\u0438\u043a\u0430\u043c. \u041c\u044b \u0443\u0436\u0435 \u043a\u043e\u0435-\u0447\u0442\u043e \u0437\u043d\u0430\u0435\u043c \u043e \u043d\u0438\u0445. \u0413\u043b\u0430\u0432\u043d\u043e\u0435, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c: <strong>\u0442\u043e\u043f\u0438\u043a \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439<\/strong>.<\/p>\n<p>  <\/p>\n<p>\u0422\u043e\u043f\u0438\u043a \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u043c \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043d\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0435. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430 \u0435\u0441\u0442\u044c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u043c\u044f, \u043e\u0442 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u0438\u043c\u0435\u043d\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439.<\/p>\n<p>  <\/p>\n<h3 id=\"replikaciya\">\u0420\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f<\/h3>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f? \u0421\u043e\u0437\u0434\u0430\u0432\u0430\u044f \u0442\u043e\u043f\u0438\u043a \u0432 Kafka, \u043c\u044b \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u2014 <code>replication-factor<\/code>. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0434\u0432\u0430 \u0431\u0440\u043e\u043a\u0435\u0440\u0430 \u0438 \u043c\u044b \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c <code>replication-factor 2<\/code>. \u0422\u0435\u043f\u0435\u0440\u044c Kafka \u043f\u043e\u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0431\u044d\u043a\u0430\u043f, \u0438\u043b\u0438 \u0440\u0435\u043f\u043b\u0438\u043a\u0443, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0432 \u0442\u043e\u043f\u0438\u043a\u0435. Kafka \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a HDFS \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0431\u043b\u043e\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u043d\u043e\u0434\u0430\u043c.<\/p>\n<p>  <\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0434\u043b\u044f \u0442\u043e\u043f\u0438\u043a\u0430 <code>freblogg<\/code> \u043c\u044b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 2. \u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/tm\/ho\/cw\/tmhocwn0giruofl_xyyxekshis8.png\"\/><\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0431\u0440\u043e\u043a\u0435\u0440\u0435, Kafka \u043d\u0435 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442 \u0435\u0435 \u0447\u0438\u0442\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0435\u0441\u0442\u044c LEADER, \u0442\u043e \u0435\u0441\u0442\u044c \u043b\u0438\u0434\u0435\u0440, \u0438 FOLLOWERS \u2014 \u0432\u0435\u0434\u043e\u043c\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u0435\u0437\u0435\u0440\u0432\u0435. \u0412\u0435\u0434\u043e\u043c\u044b\u0435 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0441 \u043b\u0438\u0434\u0435\u0440\u043e\u043c \u0438 \u0436\u0434\u0443\u0442 \u0441\u0432\u043e\u0435\u0433\u043e \u0437\u0432\u0435\u0437\u0434\u043d\u043e\u0433\u043e \u0447\u0430\u0441\u0430. \u041a\u043e\u0433\u0434\u0430 \u043b\u0438\u0434\u0435\u0440 \u0432\u044b\u0439\u0434\u0435\u0442 \u0438\u0437 \u0441\u0442\u0440\u043e\u044f, \u043e\u0434\u0438\u043d \u0438\u0437 in-sync \u0432\u0435\u0434\u043e\u043c\u044b\u0445 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u043d \u043d\u043e\u0432\u044b\u043c \u043b\u0438\u0434\u0435\u0440\u043e\u043c, \u0438 \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u044d\u0442\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/p>\n<p>  <\/p>\n<p>\u041b\u0438\u0434\u0435\u0440 \u0438 \u0432\u0435\u0434\u043e\u043c\u044b\u0439 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445. \u0414\u0443\u043c\u0430\u044e, \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n<p>  <\/p>\n<p>\u041c\u044b \u043f\u043e\u0434\u043e\u0448\u043b\u0438 \u043a \u043a\u043e\u043d\u0446\u0443 \u044d\u0442\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438. \u0415\u0441\u043b\u0438 \u0432\u044b \u0434\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u2014 \u043f\u043e\u0437\u0434\u0440\u0430\u0432\u043b\u044f\u044e. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u044b \u0437\u043d\u0430\u0435\u0442\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Kafka. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u0430\u0431\u044b\u0442\u044c.<\/p>\n<p>  <\/p>\n<h3 id=\"itogi\">\u0418\u0442\u043e\u0433\u0438<\/h3>\n<p>  <\/p>\n<ul>\n<li>\u0412 Kafka \u0434\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u0442\u043e\u043f\u0438\u043a\u0430\u0445.<\/li>\n<li>\u0422\u043e\u043f\u0438\u043a\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u044b \u043d\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/li>\n<li>\u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b.<\/li>\n<li>\u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b log, \u0433\u0434\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u0438 \u0444\u0430\u0439\u043b index, \u0433\u0434\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u0444\u0430\u0439\u043b\u0435 log.<\/li>\n<li>\u0423 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u0440\u043e\u043a\u0435\u0440\u0430\u0445, \u043d\u043e \u0441\u0430\u043c\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u0430 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0431\u0440\u043e\u043a\u0435\u0440\u0443.<\/li>\n<li>\u0420\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043f\u0430\u0441\u0441\u0438\u0432\u043d\u043e. \u0412\u044b \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0435\u0441\u044c \u043a \u043d\u0438\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0441\u043b\u043e\u043c\u0430\u043b\u0441\u044f \u043b\u0438\u0434\u0435\u0440.<\/li>\n<\/ul>\n<p>  <\/p>\n<p><strong><em>\u041e\u0442 \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u0438:<\/em><\/strong><br \/>  <em>\u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0442 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Apache Kafka \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u043d\u0430 \u043a\u0443\u0440\u0441\u0435 \u0421\u043b\u0451\u0440\u043c\u0430. \u041a\u0443\u0440\u0441 \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435. \u0412 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0443\u0440\u043e\u043a\u0438 \u0438 \u043f\u043b\u0430\u0442\u043d\u0430\u044f \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u0430\u044f \u0447\u0430\u0441\u0442\u044c. <a href=\"https:\/\/slurm.io\/kafka?utm_source=habr&amp;utm_medium=post&amp;utm_campaign=kafka-videocourse&amp;utm_content=post_29-12-2020&amp;utm_term=averina\">\u041e\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0437\u0430\u044f\u0432\u043a\u0443 \u043d\u0430 \u043a\u0443\u0440\u0441<\/a>, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f.<\/em><\/p>\n<p>  <\/p>\n<p>\u0420\u0435\u0441\u0443\u0440\u0441\u044b:<\/p>\n<p>  <\/p>\n<p>\u0421\u0445\u0435\u043c\u0430 Kafka \u2014 <a href=\"https:\/\/kafka.apache.org\/images\/kafka_diagram.png\">https:\/\/kafka.apache.org\/images\/kafka_diagram.png<\/a><\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/southbridge\/blog\/535374\/\"> https:\/\/habr.com\/ru\/company\/southbridge\/blog\/535374\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qh\/x0\/a7\/qhx0a70cn0t3eio2hwjkzglcj50.png\"\/><\/p>\n<p>  <\/p>\n<p>Kafka \u043f\u043e\u0432\u0441\u044e\u0434\u0443. \u0413\u0434\u0435 \u0435\u0441\u0442\u044c \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u044b \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0430 \u043e\u043d\u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b, \u0442\u0430\u043c \u043f\u043e\u0447\u0442\u0438 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0435\u0441\u0442\u044c \u0438 Kafka. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u043e\u043f\u044b\u0442\u0430\u044e\u0441\u044c \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c, \u043a\u0430\u043a \u0432 Kafka \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-315701","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/315701","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=315701"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/315701\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=315701"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=315701"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=315701"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}