{"id":365148,"date":"2024-05-21T02:31:54","date_gmt":"2024-05-21T02:31:54","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=365148"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-05-21T02:31:54","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=365148","title":{"rendered":"Apache Flink. \u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u043e\u0442\u043e\u043a\u0435 Kafka-to-Kafka?<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u043e\u0431\u0440\u044f\u043a\u043e\u0432. \u042f \u0442\u0435\u0445\u043b\u0438\u0434 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u041c\u0422\u0421 \u0410\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438, \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c Real-Time \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u041c\u044b \u043d\u0430\u0447\u0430\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a Apache Flink, \u0438 \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u0446\u0438\u043a\u043b\u0435 \u0441\u0442\u0430\u0442\u0435\u0439.<\/p>\n

\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u00ab\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Spring \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0434\u043b\u044f Flink-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439\u00bb<\/a> \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b, \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 Flink-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 Spring. \u041c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u043f\u0435\u0440\u0432\u0443\u044e Flink-\u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u043f\u043e\u0434\u043d\u044f\u0442\u043e\u043c \u0432 docker-compose \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u043f\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u043b\u043e\u0433\u0430\u043c. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0448\u0438\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0443 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0435 Kafka-to-Kafka.<\/p>\n

<\/figure>\n
\n\u0421\u043f\u0438\u0441\u043e\u043a \u043c\u043e\u0438\u0445 \u043f\u043e\u0441\u0442\u043e\u0432 \u043f\u0440\u043e Flink<\/summary>\n
\n
    \n
  1. \n

    \u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 Apache Flink: \u043e\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445<\/a><\/p>\n<\/li>\n

  2. \n

    \u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0434 Apache Flink: \u0441 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u0442\u044c?<\/a><\/p>\n<\/li>\n

  3. \n

    Apache Flink. \u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u043e\u0442\u043e\u043a\u0435 Kafka-to-Kafka?<\/strong><\/a><\/p>\n<\/li>\n

  4. \n

    \u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043f\u0438\u043a\u0430<\/a><\/p>\n<\/li>\n

  5. \n

    \u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 unit-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Flink-\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432: Test Harness<\/a><\/p>\n<\/li>\n

  6. \n

    Unit-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Flink-\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432, Job: Flink MiniCluster<\/strong><\/a><\/p>\n<\/li>\n

  7. \n

    TBD (\u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u0438)<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<\/details>\n

    \u0412\u0435\u0441\u044c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a>. \u042d\u0442\u043e\u0442 \u043f\u043e\u0441\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u043b\u0438\u0437\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u0435 \u0441 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c release\/2_Deduplicator_Flink_Job<\/a>.<\/p>\n

    \n\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438<\/summary>\n
    \n

    \u0417\u0430\u0434\u0430\u0447\u0430 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0439<\/a><\/p>\n

    \u0426\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d<\/a><\/p>\n

    \u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 Flink Job Kafka-to-Kafka<\/a><\/p>\n

    \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a Kafka<\/a><\/p>\n

    \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 Kafka Source<\/a><\/p>\n

    \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 Kafka Sink<\/a><\/p>\n

    \u0414\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0442\u043e\u0440<\/a><\/p>\n

    \u0424\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u0439<\/a><\/p>\n

    \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u043d\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442<\/a><\/p>\n

    \u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u043e\u043a\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439<\/a><\/p>\n

    \u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c Flink Job<\/a><\/p>\n

    \u0412\u0430\u0436\u043d\u044b\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u043e\u0434\u0443 \u0434\u0436\u043e\u0431\u044b<\/a><\/p>\n

    \u0412\u044b\u0432\u043e\u0434<\/a><\/p>\n<\/div>\n<\/details>\n

    <\/a><\/p>\n

    \u0417\u0430\u0434\u0430\u0447\u0430 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0439<\/h2>\n

    \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0435\u0448\u0438\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0443, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 Apache Flink. <\/p>\n

    \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u0430\u043d\u043d\u044b\u0445 (Source)<\/strong>: Kafka-\u0442\u043e\u043f\u0438\u043a \u00abclick-topic\u00bb, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043a\u043b\u0438\u043a\u043e\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043f\u043e \u043b\u044e\u0431\u044b\u043c \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u043c \u0441\u0430\u0439\u0442\u0430\u043c. \u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 ClickMessage \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 JSON:<\/p>\n

    {   \"userId\": \"9b22fa1f-f03a-414b-ad43-ca3efeb3047c\",     \"object\": \"test_object\",   \"platform\": \"APP\",   \"productName\": \"test_productName\",   \"productTopic\": \"test_productTopic\",   \"timestamp\": 123,   \"data\": {     \"field_1\": \"value_1\",     \"field_2\": \"value_2\"   } }<\/code><\/pre>\n
    \u041f\u043e\u043b\u0435 platform<\/strong> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0442\u0438\u043f \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438 \u043a\u043b\u0438\u043a.<\/p>\n
    \u0417\u0430\u0434\u0430\u0447\u0430<\/strong>: \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0438\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u0414\u043b\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0441 \u0442\u0438\u043f\u043e\u043c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 platform = APP \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u043e\u043a\u043d\u0435 \u0432 7 \u0434\u043d\u0435\u0439. <\/p>\n
    \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u044b \u0443\u0436\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438 \u043a\u043b\u0438\u043a \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f userId=1 \u0438 timestamp=123 \u0441 platform=APP \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 7 \u0434\u043d\u0435\u0439, \u0442\u043e \u044d\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u043f\u0438\u043a Kafka.<\/p>\n
    \u0421\u043e\u0431\u044b\u0442\u0438\u044f \u0441 \u0442\u0438\u043f\u043e\u043c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u00abWEB\u00bb \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e, \u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432 \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0443. \u0418\u0445 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u044b\u0432\u0430\u0442\u044c. \u0427\u0442\u043e\u0431\u044b \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443, \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0440\u0430\u0437\u0440\u0435\u0437\u0435 id \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f + timestamp<\/strong>.<\/p>\n
    \u041f\u0440\u0438\u0451\u043c\u043d\u0438\u043a \u0434\u0430\u043d\u043d\u044b\u0445 (Sink):<\/strong> Kafka-\u0442\u043e\u043f\u0438\u043a \u00abproduct-topic\u00bb, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0439 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f ProductMessage, \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0451\u043c \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0435\u0439 \u0438\u0437 ClickMessage:<\/p>\n
    {   \"userId\": \"3ad4ed72-2a36-489b-97ca-8243be793395\",   \"productName\": \"test_productName\",   \"object\": \"test_object\",   \"platform\": \"APP\",   \"timestamp\": 123 }<\/code><\/pre>\n
    \u0423\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435<\/strong>: \u0432\u043e\u043e\u0431\u0449\u0435, \u0434\u043b\u044f \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 Exactly Once \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0447\u0435\u043a \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f (checkpoints). \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0442\u0430\u043a\u0443\u044e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c, \u043d\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u0451\u0439<\/a> \u0432 \u0431\u043b\u043e\u043a\u0435 \u043f\u043e Apache Flink, \u0447\u0442\u043e\u0431\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u0435\u043c\u044b. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 At Most Once.<\/p>\n
    <\/a><\/p>\n
    \u0426\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d<\/h3>\n
    \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0436\u043e\u0431\u044b \u0443 \u043d\u0430\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0433\u0440\u0430\u0444 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n
    <\/figure>\n
    \u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0438\u0434\u0451\u0442 Source \u0438\u0437 Kafka-\u0442\u043e\u043f\u0438\u043a\u0430 \u00abclick-topic\u00bb. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u043b\u044e \u00abplatform\u00bb, \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c APP \u0438\u043b\u0438 WEB. \u0414\u0430\u043b\u0435\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u043f\u043e\u0442\u043e\u043a \u043d\u0430 \u0434\u0432\u0430 \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u00abplatform\u00bb: \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c APP- \u0438 WEB-\u043f\u043e\u0442\u043e\u043a\u0438.<\/p>\n
    \u041f\u043e\u0442\u043e\u043a APP \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u043e\u043a\u043d\u0435 7 \u0434\u043d\u0435\u0439, \u0430 \u043f\u043e\u0442\u043e\u043a WEB \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0442 \u0434\u0432\u0443\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442\u0441\u044f \u0432 \u0444\u043e\u0440\u043c\u0430\u0442 ProductMessage (\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 map) \u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 Kafka Sink \u2014 \u0442\u043e\u043f\u0438\u043a \u00abproduct-topic\u00bb.<\/p>\n
    <\/a><\/p>\n
    \u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 Flink Job Kafka-to-Kafka<\/h2>\n
    \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 DTO \u0434\u043b\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439<\/h4>\n
    \u041f\u043e\u0434 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b JSON-\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c DTO-\u043a\u043b\u0430\u0441\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0431\u0443\u0434\u0435\u043c \u043e\u043f\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0443\u0442\u0451\u043c \u0434\u0435-\/\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 Jackson (ObjectMapper). ClickMessage:<\/p>\n
    @Data @Builder @Jacksonized @JsonIgnoreProperties(ignoreUnknown = true) public class ClickMessage {    @JsonProperty(required = true)    @JsonPropertyDescription(\"User id\")    private UUID userId;     @JsonPropertyDescription(\"Clicked object\")    private String object;     @JsonPropertyDescription(\"User platform\")    @JsonDeserialize(using = Platform.Deserializer.class)    private Platform platform;     @JsonPropertyDescription(\"Product name\")    private String productName;     @JsonPropertyDescription(\"Product topic\")    private String productTopic;     @JsonProperty(required = true)    @JsonPropertyDescription(\"Timestamp\")    private Long timestamp;     @JsonPropertyDescription(\"Additional data\")    private Map<String, Object> data; }<\/code><\/pre>\n
    ProductMessage:<\/p>\n
    @Data @Builder @Jacksonized @JsonIgnoreProperties(ignoreUnknown = true) public class ProductMessage {    @JsonPropertyDescription(\"User id\")    private UUID userId;     @JsonPropertyDescription(\"Product name\")    private String productName;     @JsonPropertyDescription(\"Clicked object\")    private String object;     @JsonPropertyDescription(\"User id\")    @JsonDeserialize(using = Platform.Deserializer.class)    private Platform platform;     @JsonPropertyDescription(\"Timestamp\")    private Long timestamp; }<\/code><\/pre>\n
    \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043f\u043e\u043b\u0435 \u00abplatform\u00bb \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 Platform, \u0441\u043e\u0437\u0434\u0430\u0432 \u0434\u0432\u0435 \u0435\u0433\u043e \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438:<\/p>\n
    enum Enum implements Platform {     WEB, APP, SMART_TV, CONSOLE; ... }<\/code><\/pre>\n
    \u0438 \u0447\u0435\u0440\u0435\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439:<\/p>\n
    @Value class Simple implements Platform {    String value;     @Override    @JsonValue    public String value() {        return value;    } }<\/code><\/pre>\n
    \u041e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u0445 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>. <\/p>\n
    <\/a><\/p>\n
    \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a Kafka<\/h3>\n
    \u0414\u043b\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a Kafka \u0443\u0434\u043e\u0431\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0432 application.yml:<\/p>\n
    kafka:  group-id: group_id  bootstrap-servers: localhost:29092  topics:    click-topic: 'click-topic'    product-topic: 'product-topic'<\/code><\/pre>\n
    \u0411\u0443\u0434\u0435\u043c \u0438\u0445 \u043c\u0430\u043f\u0438\u0442\u044c \u043d\u0430 \u043d\u0430\u0448 \u043a\u043b\u0430\u0441\u0441 KafkaProperties:<\/p>\n
    @ConfigurationProperties(\"kafka\") @ConstructorBinding @RequiredArgsConstructor @Getter public class KafkaProperties {     @NotNull(message = \"Kafka group-id cannot be null\")     private final String groupId;     @NotNull(message = \"Kafka bootstrap servers cannot be null\")     private final String bootstrapServers;     @NotNull(message = \"Topics cannot be null\")     private final Topics topics;      @ConfigurationProperties(prefix = \"topics\")     @ConstructorBinding     @RequiredArgsConstructor     @Getter     public static class Topics {         @NotEmpty(message = \"Click Topic cannot be null or empty\")         private final String clickTopic;         @NotEmpty(message = \"Product Topic cannot be null or empty\")         private final String productTopic;     } }<\/code><\/pre>\n
    <\/a><\/p>\n
    \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 Kafka Source<\/h3>\n
    <\/figure>\n
    \u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 Kafka \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f Flink-\u043a\u043b\u0430\u0441\u0441\u043e\u043c KafkaSourceBuilder. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u043e\u0432\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c:<\/p>\n
    implementation \"org.apache.flink:flink-connector-kafka:${flinkVersion}\"<\/code><\/pre>\n
    \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u044e SourceBinder. \u0415\u0451 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0435\u00a0 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a:<\/p>\n
    public interface SourceBinder<T> {    DataStream<T> bindSource(StreamExecutionEnvironment flink); }<\/code><\/pre>\n
    \u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f Kafka-\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0431\u0430\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a> \u0438 \u043e\u0441\u043e\u0431\u043e \u043e\u0442 \u043d\u0438\u0445 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f:<\/p>\n
    @Component @RequiredArgsConstructor class ClickMessageKafkaSourceBinder implements SourceBinder<ClickMessage> {    private final KafkaProperties kafkaProperties;    private final DeserializationSchema<ClickMessage> deserializationClickMessageSchema;     @Override    public DataStream<ClickMessage> bindSource(StreamExecutionEnvironment environment) {        final String sourceName = \"Click message Kafka source\";        return environment.fromSource(            KafkaSource.<ClickMessage>builder()                .setBootstrapServers(kafkaProperties.getBootstrapServers())                .setStartingOffsets(OffsetsInitializer.committedOffsets(EARLIEST))                .setGroupId(kafkaProperties.getGroupId())                .setTopics(kafkaProperties.getTopics().getClickTopic())                .setValueOnlyDeserializer(deserializationClickMessageSchema)                .build(),            WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(1)),            sourceName        ).name(sourceName).uid(sourceName + \"_id\");    } }<\/code><\/pre>\n
    \u042d\u0442\u043e\u0442 \u043a\u043b\u0430\u0441\u0441 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0436\u043e\u0431\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 Kafka-to-Kafka. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0435\u0433\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430 \u0432 StreamExecutionEnvironment. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432: fromSource(…), addSource(…), fromCollection(…) \u0438 \u0434\u0440\u0443\u0433\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u043d\u0430\u043c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n
    \u041e\u0431\u0449\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438<\/h4>\n
    \u00a0\u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u0430\u043c\u043e\u0433\u043e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 Kafka \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 KafkaSourceBuilder, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0430\u0448\u0438\u0445 \u043f\u0440\u043e\u043f\u0435\u0440\u0442\u0435\u0439. <\/p>\n