{"id":409035,"date":"2024-06-29T20:32:43","date_gmt":"2024-06-29T20:32:43","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=409035"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=409035","title":{"rendered":"<span>\u041a\u0430\u043a \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 Debezium + MySql + Spring Could Streams, Part 1<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p> \u0414\u043e\u0431\u0440\u044b\u0439 \u0434\u0435\u043d\u044c, \u0425\u0430\u0431\u0440\u043e\u0436\u0438\u0442\u0435\u043b\u0438! \u042d\u0442\u043e \u043c\u043e\u044f \u043f\u0435\u0440\u0432\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u043b\u044e\u0431\u044b\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u044f, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442\u0441\u044f!<\/p>\n<h2>\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f<\/h2>\n<p>\u041d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u043c\u0435\u0441\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u044b (\u0432 \u043e\u0434\u043d\u043e\u0439 \u0411\u0440\u0438\u0442\u0430\u043d\u0441\u043a\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u043d\u0438) \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0430 \u0440\u0430\u0441\u043f\u0438\u043b\u0435\u043d\u043d\u0430\u044f MySql DB \u043f\u043e\u0434 \u0442\u0440\u0438 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0432\u0438\u0441\u0430, \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u043d\u043e Cusomer, Person, Account (\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0441\u0432\u043e\u044f DB \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e). \u041a \u043a\u0430\u0436\u0434\u043e\u0439 DB \u0431\u044b\u043b \u043f\u043e\u0434\u0432\u044f\u0437\u0430\u043d \u0441\u0432\u043e\u0439 Address (\u0430\u0434\u0440\u0435\u0441 \u0443 Customer, \u0443 Person, \u0438 \u043f\u043e\u0434 Account \u0442\u043e\u0436\u0435 \u043c\u043e\u0433 \u0431\u044b\u0442\u044c \u043f\u043e\u0434\u0432\u044f\u0437\u0430\u043d Address). \u0420\u0430\u043d\u044c\u0448\u0435 \u043a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0431\u044b\u043b\u0430 \u043e\u0434\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0438\u0441\u043a \u043f\u043e Address \u043d\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0442\u0440\u0443\u0434\u0430, \u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0431\u0430\u0437\u0443 \u0440\u0430\u0441\u043f\u0438\u043b\u0438\u043b\u0438, \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0442\u0430\u043b\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u0411\u044b\u043b\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u043b\u0441\u044f \u043f\u043e CDC \u043a \u044d\u0442\u0438\u043c \u0442\u0440\u0435\u043c DB (\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438: MySql, Debezium, Spring Cloud Streams) \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b \u0431\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 (\u043f\u043e Address, \u043f\u043e \u0438\u043c\u0435\u043d\u0438, \u0438 \u0442.\u0434.) \u0432 \u043e\u0434\u043d\u0443 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 (MongoDB). \u0412 \u0445\u043e\u0434\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043e\u043f\u044b\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438 \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f.  <\/p>\n<h2> Debezium + MySql<\/h2>\n<p>Debezium &#8212; \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u043d\u0430 Java \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043a \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u043c\u0443 \u043b\u043e\u0433\u0443 MySql (\u043a\u0443\u0434\u0430 \u043e\u043d \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u0445\u0435\u043c\u044b, \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0442.\u0434.), \u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0435 \/\u043d\u043e\u0432\u044b\u0435 \u043b\u043e\u0433\u0438 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0445 \u0432 Kafka topic. \u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c\u0441\u044f \u043a \u044d\u0442\u043e\u043c\u0443 Kafka \u0442\u043e\u043f\u0438\u043a\u0443 \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f.  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0441 Debezium \u043c\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043c\u043e\u0433\u043b\u043e <a href=\"https:\/\/www.youtube.com\/watch?v=ksNXzBY_0u8&amp;t=779s\" rel=\"noopener noreferrer nofollow\">\u0432\u0438\u0434\u0435\u043e<\/a> \u0412\u0438\u043a\u0442\u043e\u0440\u0430 \u0413\u0430\u043c\u043e\u0432\u0430 \u0438 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f <a href=\"https:\/\/debezium.io\/documentation\/reference\/1.6\/tutorial.html\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f<\/a>.<\/p>\n<p> \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0431\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u043d\u0430\u0447\u043d\u0435\u043c \u0441 docker-compose.yml \u0444\u0430\u0439\u043b\u0430:<\/p>\n<pre><code class=\"yaml\">version: '2' services:   zookeeper:     image: confluentinc\/cp-zookeeper:5.5.1     container_name: zookeeper     environment:       ZOOKEEPER_CLIENT_PORT: 2181       ZOOKEEPER_TICK_TIME: 2000    broker:     image: confluentinc\/cp-server:5.5.1     hostname: broker     container_name: broker     depends_on:       - zookeeper     ports:       - \"29092:29092\"     environment:       KAFKA_BROKER_ID: 1       KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT:\/\/broker:9092,PLAINTEXT_HOST:\/\/localhost:29092       KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1       KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1       KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1       KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0       CONFLUENT_METRICS_ENABLE: 'false'       KAFKA_CONFLUENT_LICENSE_TOPIC_REPLICATION_FACTOR: 1    connect-debezium:     image: debezium\/connect:1.2     container_name: connect-debezium     depends_on:       - broker       - person-database     ports:       - 8083:8083     environment:       BOOTSTRAP_SERVERS: broker:9092       GROUP_ID: connect-debezium       CONFIG_STORAGE_TOPIC: docker-connect-debezium-configs       OFFSET_STORAGE_TOPIC: docker-connect-debezium-offsets       STATUS_STORAGE_TOPIC: docker-connect-debezium-status       KEY_CONVERTER: org.apache.kafka.connect.storage.StringConverter       VALUE_CONVERTER: org.apache.kafka.connect.json.JsonConverter     volumes:       - ${PWD}\/scripts:\/scripts   person-database:     container_name: person-database     image: mysql     hostname: person-database     ports:       - 3306:3306     environment:       MYSQL_ROOT_PASSWORD: admin       MYSQL_USER: dev       MYSQL_PASSWORD: password       MYSQL_DATABASE: person #    volumes: #      - .\/mysqlconf\/mysqlconf.cnf:\/etc\/mysql\/conf.d\/mysql.cnf #      - .\/dump:\/docker-entrypoint-initdb.d   mongodb:     container_name: search-database     image: mongo     hostname: search-database     ports:       - 27017-27019:27017-27019     environment:       MONGO_INITDB_DATABASE: search       MONGO_INITDB_ROOT_USERNAME: dev       MONGO_INITDB_ROOT_PASSWORD: password<\/code><\/pre>\n<p> \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u043c 4 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430:<\/p>\n<ul>\n<li>\n<p> zookeeper \u2014 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442\u0430 kafka \u0431\u0440\u043e\u043a\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p> broker \u2014 \u044d\u0442\u043e \u043d\u0430\u0448\u0430 kafka \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438 \u043f\u043e\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f zookeeper, \u0431\u0440\u043e\u043a\u0435\u0440\u0430, \u0438 \u0442.\u00a0\u0434.<\/p>\n<\/li>\n<li>\n<p> connect-debezium \u2014 standalong debezium, \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043a \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044e \u043a kafka.<br \/> \u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0447\u0442\u043e \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u044d\u0442\u043e\u0442 docker-compose \u0444\u0430\u0439\u043b \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u043c\u0438 key\/value \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u043e\u0440\u043e\u0432 \u0432 Avro \u0444\u043e\u0440\u043c\u0430\u0442\u0435 ( \u0438 \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 schem-registry \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u044d\u0442\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0430\u0442\u0430). \u041d\u043e \u0432 \u043c\u043e\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e string\/json \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440\u0430 \u0431\u044b\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.  <br \/>KEY_CONVERTER: org.apache.kafka.connect.storage.StringConverter<br \/>VALUE_CONVERTER: org.apache.kafka.connect.json.JsonConverter<\/p>\n<\/li>\n<li>\n<p> MySql \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440.<\/p>\n<\/li>\n<li>\n<p> MongoDB \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 (\u0434\u043b\u044f \u0447\u0430\u0441\u0442\u0438 2 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u0430).<\/p>\n<\/li>\n<\/ul>\n<p> <strong>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0434\u043e\u043a\u0435\u0440: <\/strong><code>docker-compose -up<\/code><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0432\u0441\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438\u0441\u044c, \u043d\u0443\u0436\u043d\u043e \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432 Msyql \u0431\u0438\u043d-\u043b\u043e\u0433 \u0438 \u0434\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0430 debezium \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043a \u043d\u0435\u043c\u0443.  <\/p>\n<p> \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0434\u0435\u043c \u0432 mysql \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440  <br \/><code>docker exec -it &lt;mysql-container-id> mysql -u root -padmin<\/code> <br \/>\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c <code>nano \/etc\/mysql\/my.cnf<\/code> . \u0422.\u043a. \u0432 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0430 \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 \u043d\u0435\u0442, \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c  <code>apt-get update &amp;&amp; apt-get install nano<\/code>.<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u043e\u0441\u043b\u0435 <code>[mysql]<\/code> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<p> <code>server_id=42<\/code><\/p>\n<p><code>log_bin=mysql_bin<\/code><\/p>\n<p><code>binlog_format=row<\/code><\/p>\n<p><code>binlog_row_image=full<\/code><\/p>\n<p><code>expire_logs_days=10<\/code><\/p>\n<p> <strong>!\u0412\u0430\u0436\u043d\u043e, \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u043e \u0440\u0435-\u0441\u0442\u0430\u0440\u0442\u0430\u043d\u0443\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440!<\/strong><\/p>\n<p> \u0422\u0430\u043a\u0436\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0430 debezium:<\/p>\n<pre><code class=\"sql\">CREATE USER 'debezium'@'%' IDENTIFIED BY 'dbz'; GRANT ALL PRIVILEGES ON *.* TO 'debezium'@'%'; ALTER USER 'debezium'@'%' IDENTIFIED WITH mysql_native_password BY 'dbz';<\/code><\/pre>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043d\u0430\u0448\u0430 \u0411\u0414 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0430, \u043d\u0430\u0441\u0442\u0430\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0440\u0443\u0436\u0438\u0442\u044c \u0435\u0435 \u0441 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u043e\u043c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434 POST \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u0442\u0435\u043b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430. <\/p>\n<pre><code>curl -i -X POST -H \"Content-Type:application\/json\" \\ http:\/\/localhost:8083\/connectors -d '{    \"name\": \"data-connector\",     \"config\": {     \"connector.class\": \"io.debezium.connector.mysql.MySqlConnector\",     \"tasks.max\": \"1\",       \"database.hostname\": \"person-database\",       \"database.port\": \"3306\",     \"database.user\": \"debezium\",     \"database.allowPublicKeyRetrieval\":\"true\",     \"database.password\": \"dbz\",     \"database.server.id\": \"42\",       \"database.server.name\": \"mysql_server\",       \"database.include.list\": \"person\",       \"database.history.kafka.bootstrap.servers\": \"broker:9092\",      \"database.history.kafka.topic\": \"schema-changes.person\",     \"include.schema.changes\":\"false\",     \"transforms\": \"unwrap\",     \"transforms.unwrap.type\": \"io.debezium.transforms.ExtractNewRecordState\",     \"transforms.unwrap.add.headers\": \"db\",     \"transforms.unwrap.add.fields\": \"op,table\",     \"transforms.unwrap.drop.tombstones\": \"true\",     \"transforms.unwrap.delete.handling.mode\": \"rewrite\"   } }'<\/code><\/pre>\n<p> \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u043d\u0435 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Postman.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Kafka-\u0421onnect, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u00abtransform.*\u00bb. \u041e\u0431 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/debezium.io\/documentation\/reference\/transformations\/index.html\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a> \u0438 <a href=\"https:\/\/kafka.apache.org\/documentation\/#connect_transforms\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432\u0430\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u044f\u0442\u044c tomb-stone \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f.<\/p>\n<p> \u0422.\u043a. \u043c\u043d\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u043e\u0431 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445 \u0441\u0445\u0435\u043c\u044b, \u044f \u0438\u0445 \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u043b:<br \/> <code>\"include.schema.changes\":\"false\"<br \/><\/code> (\u043f\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u0443 \u00abtrue\u00bb)<\/p>\n<p> \u0418 \u0442\u0430\u043a, \u043e\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c Post \u043d\u0430 <a href=\"http:\/\/localhost:8083\/connectors\" rel=\"noopener noreferrer nofollow\">http:\/\/localhost:8083\/connectors<\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fa2\/2b9\/63b\/fa22b963bf82db92b653e68bab30223d.png\" width=\"1896\" height=\"1073\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fa2\/2b9\/63b\/fa22b963bf82db92b653e68bab30223d.png\"\/><figcaption><\/figcaption><\/figure>\n<p> \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430\u0448 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440:<br \/> <code>curl -i -X GET http:\/\/localhost:8083\/connectors\/data-connector<br \/><\/code> <code>curl -i -X GET http:\/\/localhost:8083\/connectors\/data-connector\/status<\/code> <br \/>\u041e\u0448\u0438\u0431\u043e\u043a \u043d\u0435\u0442, \u0432\u0438\u0434\u0438\u043c \u0441\u0442\u0430\u0442\u0443\u0441 RUNNING, \u0437\u043d\u0430\u0447\u0438\u0442 \u0432\u0441\u0435 \u043d\u043e\u0440\u043c.  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0435\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438, \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d \u043f\u0430\u0440\u043e\u043b\u044c\\\u043f\u0440\u0430\u0432\u0430 debezium \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430\u043d\u0443\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 mysql. \u0412\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0438\u043b\u0435\u0442\u0430\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u0432\u0435\u0441\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u043e\u0448\u0438\u0431\u043e\u043a, \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0418\u0442\u0430\u043a \u043d\u0430\u0448 CDC \u0433\u043e\u0442\u043e\u0432\u0430, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka:<br \/> <code>docker exec -i broker \/usr\/bin\/kafka-topics --list --bootstrap-server broker:29092<\/code><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f91\/d13\/50c\/f91d1350c18680780bc9f5180e67e4f0.png\" alt=\"\" title=\"\" width=\"929\" height=\"365\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f91\/d13\/50c\/f91d1350c18680780bc9f5180e67e4f0.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0437\u0434\u0430\u043b \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka, <em>\u043d\u043e \u044d\u0442\u043e \u0435\u0449\u0435 \u043d\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u0434\u043b\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e\u0431 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445.<\/em><\/p>\n<p> \u0417\u0430\u0439\u0434\u0435\u043c \u0432 \u043d\u0430\u0448 mysql \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443:<\/p>\n<pre><code class=\"sql\">CREATE TABLE IF NOT EXISTS tasks (        task_id INT AUTO_INCREMENT PRIMARY KEY,        title VARCHAR(255) NOT NULL,        start_date DATE,        status TINYINT NOT NULL,        priority TINYINT NOT NULL,        description TEXT,        created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP  )  ENGINE=INNODB;<\/code><\/pre>\n<p> \u041e\u043f\u044f\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka:<\/p>\n<p><code>docker exec -i broker \/usr\/bin\/kafka-topics --list --bootstrap-server broker:29092<\/code> <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f3c\/6af\/089\/f3c6af0894236d567da888fd2d6a3baf.png\" alt=\"\u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c\" title=\"\u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c\" width=\"929\" height=\"365\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f3c\/6af\/089\/f3c6af0894236d567da888fd2d6a3baf.png\"\/><figcaption>\u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c<\/figcaption><\/figure>\n<p>\u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0442\u043e\u043f\u0438\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u0432 kafka \u0441 \u00ablazy approach\u00bb \u0438 \u0442.\u043a. \u043c\u044b \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u043b\u043e\u0433\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u0445\u0435\u043c\u044b \u0411\u0414, \u043d\u0430\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u0440\u0438\u043b\u0435\u0442\u0435\u043b\u043e, \u0442\u043e\u043f\u0438\u043a \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u043b\u0441\u044f.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443:<\/p>\n<pre><code class=\"sql\">INSERT INTO tasks (title, start_date, status, priority, description)  VALUES (\"title1\", \"2021-05-28\", \"1\", \"1\", \"description1\");<\/code><\/pre>\n<p> \u041e\u043f\u044f\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka:  <\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/64e\/5d7\/e27\/64e5d7e27f583f548cb61da1ad90ad21.png\" width=\"888\" height=\"456\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/64e\/5d7\/e27\/64e5d7e27f583f548cb61da1ad90ad21.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041e \u0447\u0443\u0434\u043e, \u0443 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043f\u0438\u043a <code>mysql_server.person.tasks<\/code>!<br \/>\u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0432 Kafka \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u043e\u043f\u0438\u043a \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 &#8212; <em>one topic per table<\/em>.<\/p>\n<p>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430<code><br \/>docker exec -i broker \/usr\/bin\/kafka-console-consumer --bootstrap-server broker:29092 --topic mysql_server.person.tasks --from-beginning<\/code> <br \/>\u0438 \u0432\u0438\u0434\u0438\u043c \u043d\u0430\u0448 \u043b\u043e\u0433:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/50f\/bd6\/45a\/50fbd645a3d4b91cfc6c033d28bff710.png\" width=\"1910\" height=\"281\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50f\/bd6\/45a\/50fbd645a3d4b91cfc6c033d28bff710.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0438 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043e\u0431\u0440\u0435\u043d\u0430 \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c, \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u043e \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u043d\u043e\u0439 \u0448\u0442\u0443\u043a\u0435 &#8212; \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0442\u044c Spring Cloud Streams \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 (\u0441 Spring Function Consumer, \u0431\u0435\u0437 deprecated @StreamListener).<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/579996\/\"> https:\/\/habr.com\/ru\/articles\/579996\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p> \u0414\u043e\u0431\u0440\u044b\u0439 \u0434\u0435\u043d\u044c, \u0425\u0430\u0431\u0440\u043e\u0436\u0438\u0442\u0435\u043b\u0438! \u042d\u0442\u043e \u043c\u043e\u044f \u043f\u0435\u0440\u0432\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u043b\u044e\u0431\u044b\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u044f, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442\u0441\u044f!<\/p>\n<h2>\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f<\/h2>\n<p>\u041d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u043c\u0435\u0441\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u044b (\u0432 \u043e\u0434\u043d\u043e\u0439 \u0411\u0440\u0438\u0442\u0430\u043d\u0441\u043a\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u043d\u0438) \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0430 \u0440\u0430\u0441\u043f\u0438\u043b\u0435\u043d\u043d\u0430\u044f MySql DB \u043f\u043e\u0434 \u0442\u0440\u0438 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0432\u0438\u0441\u0430, \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u043d\u043e Cusomer, Person, Account (\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0441\u0432\u043e\u044f DB \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e). \u041a \u043a\u0430\u0436\u0434\u043e\u0439 DB \u0431\u044b\u043b \u043f\u043e\u0434\u0432\u044f\u0437\u0430\u043d \u0441\u0432\u043e\u0439 Address (\u0430\u0434\u0440\u0435\u0441 \u0443 Customer, \u0443 Person, \u0438 \u043f\u043e\u0434 Account \u0442\u043e\u0436\u0435 \u043c\u043e\u0433 \u0431\u044b\u0442\u044c \u043f\u043e\u0434\u0432\u044f\u0437\u0430\u043d Address). \u0420\u0430\u043d\u044c\u0448\u0435 \u043a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0431\u044b\u043b\u0430 \u043e\u0434\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0438\u0441\u043a \u043f\u043e Address \u043d\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0442\u0440\u0443\u0434\u0430, \u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0431\u0430\u0437\u0443 \u0440\u0430\u0441\u043f\u0438\u043b\u0438\u043b\u0438, \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0442\u0430\u043b\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435. \u0411\u044b\u043b\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u043b\u0441\u044f \u043f\u043e CDC \u043a \u044d\u0442\u0438\u043c \u0442\u0440\u0435\u043c DB (\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438: MySql, Debezium, Spring Cloud Streams) \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b \u0431\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 (\u043f\u043e Address, \u043f\u043e \u0438\u043c\u0435\u043d\u0438, \u0438 \u0442.\u0434.) \u0432 \u043e\u0434\u043d\u0443 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 (MongoDB). \u0412 \u0445\u043e\u0434\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043e\u043f\u044b\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438 \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f.  <\/p>\n<h2> Debezium + MySql<\/h2>\n<p>Debezium &#8212; \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u043d\u0430 Java \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043a \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u043c\u0443 \u043b\u043e\u0433\u0443 MySql (\u043a\u0443\u0434\u0430 \u043e\u043d \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u0445\u0435\u043c\u044b, \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0442.\u0434.), \u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0435 \/\u043d\u043e\u0432\u044b\u0435 \u043b\u043e\u0433\u0438 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0445 \u0432 Kafka topic. \u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c\u0441\u044f \u043a \u044d\u0442\u043e\u043c\u0443 Kafka \u0442\u043e\u043f\u0438\u043a\u0443 \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f.  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0441 Debezium \u043c\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043c\u043e\u0433\u043b\u043e <a href=\"https:\/\/www.youtube.com\/watch?v=ksNXzBY_0u8&amp;t=779s\" rel=\"noopener noreferrer nofollow\">\u0432\u0438\u0434\u0435\u043e<\/a> \u0412\u0438\u043a\u0442\u043e\u0440\u0430 \u0413\u0430\u043c\u043e\u0432\u0430 \u0438 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f <a href=\"https:\/\/debezium.io\/documentation\/reference\/1.6\/tutorial.html\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f<\/a>.<\/p>\n<p> \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0431\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u043d\u0430\u0447\u043d\u0435\u043c \u0441 docker-compose.yml \u0444\u0430\u0439\u043b\u0430:<\/p>\n<pre><code class=\"yaml\">version: '2' services:   zookeeper:     image: confluentinc\/cp-zookeeper:5.5.1     container_name: zookeeper     environment:       ZOOKEEPER_CLIENT_PORT: 2181       ZOOKEEPER_TICK_TIME: 2000    broker:     image: confluentinc\/cp-server:5.5.1     hostname: broker     container_name: broker     depends_on:       - zookeeper     ports:       - \"29092:29092\"     environment:       KAFKA_BROKER_ID: 1       KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT:\/\/broker:9092,PLAINTEXT_HOST:\/\/localhost:29092       KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1       KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1       KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1       KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0       CONFLUENT_METRICS_ENABLE: 'false'       KAFKA_CONFLUENT_LICENSE_TOPIC_REPLICATION_FACTOR: 1    connect-debezium:     image: debezium\/connect:1.2     container_name: connect-debezium     depends_on:       - broker       - person-database     ports:       - 8083:8083     environment:       BOOTSTRAP_SERVERS: broker:9092       GROUP_ID: connect-debezium       CONFIG_STORAGE_TOPIC: docker-connect-debezium-configs       OFFSET_STORAGE_TOPIC: docker-connect-debezium-offsets       STATUS_STORAGE_TOPIC: docker-connect-debezium-status       KEY_CONVERTER: org.apache.kafka.connect.storage.StringConverter       VALUE_CONVERTER: org.apache.kafka.connect.json.JsonConverter     volumes:       - ${PWD}\/scripts:\/scripts   person-database:     container_name: person-database     image: mysql     hostname: person-database     ports:       - 3306:3306     environment:       MYSQL_ROOT_PASSWORD: admin       MYSQL_USER: dev       MYSQL_PASSWORD: password       MYSQL_DATABASE: person #    volumes: #      - .\/mysqlconf\/mysqlconf.cnf:\/etc\/mysql\/conf.d\/mysql.cnf #      - .\/dump:\/docker-entrypoint-initdb.d   mongodb:     container_name: search-database     image: mongo     hostname: search-database     ports:       - 27017-27019:27017-27019     environment:       MONGO_INITDB_DATABASE: search       MONGO_INITDB_ROOT_USERNAME: dev       MONGO_INITDB_ROOT_PASSWORD: password<\/code><\/pre>\n<p> \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u043c 4 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430:<\/p>\n<ul>\n<li>\n<p> zookeeper \u2014 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442\u0430 kafka \u0431\u0440\u043e\u043a\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p> broker \u2014 \u044d\u0442\u043e \u043d\u0430\u0448\u0430 kafka \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438 \u043f\u043e\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f zookeeper, \u0431\u0440\u043e\u043a\u0435\u0440\u0430, \u0438 \u0442.\u00a0\u0434.<\/p>\n<\/li>\n<li>\n<p> connect-debezium \u2014 standalong debezium, \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043a \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044e \u043a kafka.<br \/> \u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0447\u0442\u043e \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u044d\u0442\u043e\u0442 docker-compose \u0444\u0430\u0439\u043b \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u043c\u0438 key\/value \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u043e\u0440\u043e\u0432 \u0432 Avro \u0444\u043e\u0440\u043c\u0430\u0442\u0435 ( \u0438 \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 schem-registry \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u044d\u0442\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0430\u0442\u0430). \u041d\u043e \u0432 \u043c\u043e\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e string\/json \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440\u0430 \u0431\u044b\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.  <br \/>KEY_CONVERTER: org.apache.kafka.connect.storage.StringConverter<br \/>VALUE_CONVERTER: org.apache.kafka.connect.json.JsonConverter<\/p>\n<\/li>\n<li>\n<p> MySql \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440.<\/p>\n<\/li>\n<li>\n<p> MongoDB \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 (\u0434\u043b\u044f \u0447\u0430\u0441\u0442\u0438 2 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b\u0430).<\/p>\n<\/li>\n<\/ul>\n<p> <strong>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0434\u043e\u043a\u0435\u0440: <\/strong><code>docker-compose -up<\/code><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0432\u0441\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438\u0441\u044c, \u043d\u0443\u0436\u043d\u043e \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432 Msyql \u0431\u0438\u043d-\u043b\u043e\u0433 \u0438 \u0434\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0430 debezium \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043a \u043d\u0435\u043c\u0443.  <\/p>\n<p> \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0434\u0435\u043c \u0432 mysql \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440  <br \/><code>docker exec -it &lt;mysql-container-id> mysql -u root -padmin<\/code> <br \/>\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c <code>nano \/etc\/mysql\/my.cnf<\/code> . \u0422.\u043a. \u0432 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0430 \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 \u043d\u0435\u0442, \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c  <code>apt-get update &amp;&amp; apt-get install nano<\/code>.<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u043e\u0441\u043b\u0435 <code>[mysql]<\/code> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<p> <code>server_id=42<\/code><\/p>\n<p><code>log_bin=mysql_bin<\/code><\/p>\n<p><code>binlog_format=row<\/code><\/p>\n<p><code>binlog_row_image=full<\/code><\/p>\n<p><code>expire_logs_days=10<\/code><\/p>\n<p> <strong>!\u0412\u0430\u0436\u043d\u043e, \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u043e \u0440\u0435-\u0441\u0442\u0430\u0440\u0442\u0430\u043d\u0443\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440!<\/strong><\/p>\n<p> \u0422\u0430\u043a\u0436\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0430 debezium:<\/p>\n<pre><code class=\"sql\">CREATE USER 'debezium'@'%' IDENTIFIED BY 'dbz'; GRANT ALL PRIVILEGES ON *.* TO 'debezium'@'%'; ALTER USER 'debezium'@'%' IDENTIFIED WITH mysql_native_password BY 'dbz';<\/code><\/pre>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043d\u0430\u0448\u0430 \u0411\u0414 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0430, \u043d\u0430\u0441\u0442\u0430\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0440\u0443\u0436\u0438\u0442\u044c \u0435\u0435 \u0441 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u043e\u043c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434 POST \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u0442\u0435\u043b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430. <\/p>\n<pre><code>curl -i -X POST -H \"Content-Type:application\/json\" \\ http:\/\/localhost:8083\/connectors -d '{    \"name\": \"data-connector\",     \"config\": {     \"connector.class\": \"io.debezium.connector.mysql.MySqlConnector\",     \"tasks.max\": \"1\",       \"database.hostname\": \"person-database\",       \"database.port\": \"3306\",     \"database.user\": \"debezium\",     \"database.allowPublicKeyRetrieval\":\"true\",     \"database.password\": \"dbz\",     \"database.server.id\": \"42\",       \"database.server.name\": \"mysql_server\",       \"database.include.list\": \"person\",       \"database.history.kafka.bootstrap.servers\": \"broker:9092\",      \"database.history.kafka.topic\": \"schema-changes.person\",     \"include.schema.changes\":\"false\",     \"transforms\": \"unwrap\",     \"transforms.unwrap.type\": \"io.debezium.transforms.ExtractNewRecordState\",     \"transforms.unwrap.add.headers\": \"db\",     \"transforms.unwrap.add.fields\": \"op,table\",     \"transforms.unwrap.drop.tombstones\": \"true\",     \"transforms.unwrap.delete.handling.mode\": \"rewrite\"   } }'<\/code><\/pre>\n<p> \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u043d\u0435 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Postman.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Kafka-\u0421onnect, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u00abtransform.*\u00bb. \u041e\u0431 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/debezium.io\/documentation\/reference\/transformations\/index.html\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a> \u0438 <a href=\"https:\/\/kafka.apache.org\/documentation\/#connect_transforms\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432\u0430\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u044f\u0442\u044c tomb-stone \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f.<\/p>\n<p> \u0422.\u043a. \u043c\u043d\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u043e\u0431 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445 \u0441\u0445\u0435\u043c\u044b, \u044f \u0438\u0445 \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u043b:<br \/> <code>\"include.schema.changes\":\"false\"<br \/><\/code> (\u043f\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u0443 \u00abtrue\u00bb)<\/p>\n<p> \u0418 \u0442\u0430\u043a, \u043e\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c Post \u043d\u0430 <a href=\"http:\/\/localhost:8083\/connectors\" rel=\"noopener noreferrer nofollow\">http:\/\/localhost:8083\/connectors<\/a>.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p> \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430\u0448 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440:<br \/> <code>curl -i -X GET http:\/\/localhost:8083\/connectors\/data-connector<br \/><\/code> <code>curl -i -X GET http:\/\/localhost:8083\/connectors\/data-connector\/status<\/code> <br \/>\u041e\u0448\u0438\u0431\u043e\u043a \u043d\u0435\u0442, \u0432\u0438\u0434\u0438\u043c \u0441\u0442\u0430\u0442\u0443\u0441 RUNNING, \u0437\u043d\u0430\u0447\u0438\u0442 \u0432\u0441\u0435 \u043d\u043e\u0440\u043c.  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0435\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438, \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d \u043f\u0430\u0440\u043e\u043b\u044c\\\u043f\u0440\u0430\u0432\u0430 debezium \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430\u043d\u0443\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 mysql. \u0412\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0438\u043b\u0435\u0442\u0430\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u0432\u0435\u0441\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u043e\u0448\u0438\u0431\u043e\u043a, \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0418\u0442\u0430\u043a \u043d\u0430\u0448 CDC \u0433\u043e\u0442\u043e\u0432\u0430, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka:<br \/> <code>docker exec -i broker \/usr\/bin\/kafka-topics --list --bootstrap-server broker:29092<\/code><\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0437\u0434\u0430\u043b \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka, <em>\u043d\u043e \u044d\u0442\u043e \u0435\u0449\u0435 \u043d\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u0434\u043b\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e\u0431 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445.<\/em><\/p>\n<p> \u0417\u0430\u0439\u0434\u0435\u043c \u0432 \u043d\u0430\u0448 mysql \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443:<\/p>\n<pre><code class=\"sql\">CREATE TABLE IF NOT EXISTS tasks (        task_id INT AUTO_INCREMENT PRIMARY KEY,        title VARCHAR(255) NOT NULL,        start_date DATE,        status TINYINT NOT NULL,        priority TINYINT NOT NULL,        description TEXT,        created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP  )  ENGINE=INNODB;<\/code><\/pre>\n<p> \u041e\u043f\u044f\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka:<\/p>\n<p><code>docker exec -i broker \/usr\/bin\/kafka-topics --list --bootstrap-server broker:29092<\/code> <\/p>\n<figure class=\"full-width\"><figcaption>\u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c<\/figcaption><\/figure>\n<p>\u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0442\u043e\u043f\u0438\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u0432 kafka \u0441 \u00ablazy approach\u00bb \u0438 \u0442.\u043a. \u043c\u044b \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u043b\u043e\u0433\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u0445\u0435\u043c\u044b \u0411\u0414, \u043d\u0430\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u0440\u0438\u043b\u0435\u0442\u0435\u043b\u043e, \u0442\u043e\u043f\u0438\u043a \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u043b\u0441\u044f.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443:<\/p>\n<pre><code class=\"sql\">INSERT INTO tasks (title, start_date, status, priority, description)  VALUES (\"title1\", \"2021-05-28\", \"1\", \"1\", \"description1\");<\/code><\/pre>\n<p> \u041e\u043f\u044f\u0442\u044c \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043f\u0438\u043a\u0438 \u0432 kafka:  <\/p>\n<figure class=\"bordered full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041e \u0447\u0443\u0434\u043e, \u0443 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043f\u0438\u043a <code>mysql_server.person.tasks<\/code>!<br \/>\u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0432 Kafka \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u043e\u043f\u0438\u043a \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 &#8212; <em>one topic per table<\/em>.<\/p>\n<p>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430<code><br \/>docker exec -i broker \/usr\/bin\/kafka-console-consumer --bootstrap-server broker:29092 --topic mysql_server.person.tasks --from-beginning<\/code> <br \/>\u0438 \u0432\u0438\u0434\u0438\u043c \u043d\u0430\u0448 \u043b\u043e\u0433:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0438 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043e\u0431\u0440\u0435\u043d\u0430 \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c, \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u043e \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u043d\u043e\u0439 \u0448\u0442\u0443\u043a\u0435 &#8212; \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0442\u044c Spring Cloud Streams \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 (\u0441 Spring Function Consumer, \u0431\u0435\u0437 deprecated @StreamListener).<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/579996\/\"> https:\/\/habr.com\/ru\/articles\/579996\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-409035","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/409035","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=409035"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/409035\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=409035"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=409035"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=409035"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}