{"id":492316,"date":"2026-08-26T12:52:45","date_gmt":"2026-08-26T12:52:45","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=492316"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=492316","title":{"rendered":"\u041f\u043e\u0447\u0435\u043c\u0443 ML-\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438: Event Time, Watermarks \u0438 Apache Flink"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435: \u0432\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0435 \u0430\u043d\u0442\u0438\u0444\u0440\u043e\u0434-\u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u043b\u044f \u0431\u0430\u043d\u043a\u0430. \u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u0442 \u043f\u044f\u0442\u044c \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u043f\u043e\u0434\u0440\u044f\u0434 \u0437\u0430 \u043f\u0430\u0440\u0443 \u043c\u0438\u043d\u0443\u0442. \u0412\u0441\u0435 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 Kafka, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a, consumer lag \u043f\u043e\u0447\u0442\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0439, Flink \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p>\u041d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u0437\u043d\u0430\u043a:  <code>transactions_in_10_minute_window = 3 <\/code>\u0425\u043e\u0442\u044f \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0438\u0445 \u0431\u044b\u043b\u043e \u043f\u044f\u0442\u044c, \u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0448\u0435\u043d\u043d\u0438\u0447\u0435\u0441\u0442\u0432\u0430 <code>0.91<\/code> \u043e\u043d\u0430 \u0432\u044b\u0434\u0430\u0451\u0442 <code>0.42<\/code>.<\/p>\n<p>\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043a\u043e\u043f\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c: \u043c\u043e\u0436\u0435\u0442, \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u043b\u0430\u0441\u044c? \u041d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0441\u0442\u043d\u043e \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 &#8212; \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u043d\u0438\u0445.<\/p>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c: <strong>\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e \u043a \u043e\u043a\u043d\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f.<\/strong><\/p>\n<p>\u0420\u0430\u043d\u044c\u0448\u0435, \u0432 \u0431\u0430\u0442\u0447\u0435, \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442: \u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0432 \u0441\u0442\u0440\u0438\u043c\u0438\u043d\u0433\u0435 \u0432\u0441\u0451 \u0441\u043b\u043e\u0436\u043d\u0435\u0435: \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438 \u0432 <code>12:00:03<\/code>, \u0430 \u043f\u0440\u0438\u0439\u0442\u0438 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0432 <code>12:00:08<\/code>, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u2014 \u0441\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0432 <code>12:00:04<\/code>, \u043d\u043e \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e.<\/p>\n<h3>Out-of-order \u2014 \u043d\u0435 \u0431\u0430\u0433, \u0430 \u0444\u0438\u0447\u0430<\/h3>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u044f\u0442\u044c \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435 \u2014 \u0438\u0445 \u0432\u0440\u0435\u043c\u044f \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f (Event Time) \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u0432 Flink (Processing Time).<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">\u2116<\/p>\n<\/th>\n<th data-colwidth=\"190\" width=\"190\">\n<p align=\"left\">Event Time<\/p>\n<\/th>\n<th data-colwidth=\"221\" width=\"221\">\n<p align=\"left\">Processing Time<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td data-colwidth=\"190\" width=\"190\">\n<p align=\"left\">12:00:01<\/p>\n<\/td>\n<td data-colwidth=\"221\" width=\"221\">\n<p align=\"left\">12:00:01<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">2<\/p>\n<\/td>\n<td data-colwidth=\"190\" width=\"190\">\n<p align=\"left\">12:00:02<\/p>\n<\/td>\n<td data-colwidth=\"221\" width=\"221\">\n<p align=\"left\">12:00:02<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">3<\/p>\n<\/td>\n<td data-colwidth=\"190\" width=\"190\">\n<p align=\"left\">12:00:03<\/p>\n<\/td>\n<td data-colwidth=\"221\" width=\"221\">\n<p align=\"left\">12:00:08<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">4<\/p>\n<\/td>\n<td data-colwidth=\"190\" width=\"190\">\n<p align=\"left\">12:00:04<\/p>\n<\/td>\n<td data-colwidth=\"221\" width=\"221\">\n<p align=\"left\">12:00:09<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"123\" width=\"123\">\n<p align=\"left\">5<\/p>\n<\/td>\n<td data-colwidth=\"190\" width=\"190\">\n<p align=\"left\">12:00:05<\/p>\n<\/td>\n<td data-colwidth=\"221\" width=\"221\">\n<p align=\"left\">12:00:05<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0443 \u043f\u043e\u0440\u044f\u0434\u043e\u043a: 1-&gt;2-&gt;3-&gt;4-&gt;5, \u0430 \u0432 \u043f\u043e\u0442\u043e\u043a\u0435 \u043e\u043d\u0438 \u043f\u0440\u0438\u043b\u0435\u0442\u0435\u043b\u0438: 1-&gt;2-&gt;5-&gt;3-&gt;4 \u0438 \u044d\u0442\u043e \u043d\u0435 \u0441\u0431\u043e\u0439 \u2014 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0440\u0430\u0437\u043d\u044b\u0435: \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0441\u0435\u0442\u044c, \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u044b \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u044b, \u0443\u0437\u043b\u044b \u0442\u043e\u0440\u043c\u043e\u0437\u044f\u0442. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u0432\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u0438: \u043a\u043e\u0433\u0434\u0430 \u0441\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c (Event Time) \u0438 \u043a\u043e\u0433\u0434\u0430 Flink \u0435\u0433\u043e \u0443\u0432\u0438\u0434\u0435\u043b (Processing Time). \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u043c\u0438\u043d\u0443\u0442\u044b, \u0430 \u0438\u043d\u043e\u0433\u0434\u0430 \u0438 \u0447\u0430\u0441\u044b. <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435: \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u00ab\u0447\u0438\u0441\u043b\u043e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 10 \u043c\u0438\u043d\u0443\u0442\u00bb, \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e Event Time, \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f \u0432 12:09:59 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u043e\u043a\u043d\u043e 12:00\u201312:10, \u0430 \u0435\u0441\u043b\u0438 \u043f\u043e Processing Time, \u043e\u043d\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432 12:10:07, \u0438 \u0443\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u043e\u043a\u043d\u0443. \u041d\u0430 \u043c\u0435\u043b\u043a\u0438\u0445 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430\u0445 \u044d\u0442\u043e \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u043d\u043e, \u0430 \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u043a\u043d\u0430 \u2014 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0440\u0430\u0437\u044b.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e Event Time, timestamp \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0438\u0435\u0437\u0436\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0441\u043e\u0431\u044b\u0442\u0438\u0435\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u0435 <code>Transaction<\/code> \u043c\u044b \u0445\u0440\u0430\u043d\u0438\u043c \u043f\u043e\u043b\u0435 <code>eventTime<\/code>:<\/p>\n<pre><code class=\"java\">public record Transaction(        String userId,        long amount,        Instant eventTime) {}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u043c Flink, \u043a\u0430\u043a\u043e\u0439 timestamp \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0438 \u0437\u0430\u0434\u0430\u0451\u043c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043e\u0434\u044f\u043d\u044b\u0445 \u0437\u043d\u0430\u043a\u043e\u0432:<\/p>\n<pre><code class=\"java\">WatermarkStrategy&lt;Transaction&gt; strategy =        WatermarkStrategy                .&lt;Transaction&gt;forBoundedOutOfOrderness(                        Duration.ofSeconds(5)                )                .withTimestampAssigner(                        (event, timestamp) -&gt;                                event.eventTime().toEpochMilli()                );DataStream&lt;Transaction&gt; timedStream =        transactions.assignTimestampsAndWatermarks(strategy);<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p><strong>TimestampAssigner<\/strong> \u2014 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 Flink: \u00ab\u044d\u0442\u043e timestamp \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439 \u0435\u0433\u043e \u043a\u0430\u043a Event Time\u00bb; <\/p>\n<\/li>\n<li>\n<p><strong>WatermarkStrategy<\/strong> \u2014 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u043a\u0430\u043a Flink \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c out-of-order \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0433\u0430\u0442\u044c Event Time. <\/p>\n<\/li>\n<\/ul>\n<p>Watermark \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u043a\u0430 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 Event Time, Flink \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441 \u0432\u0440\u0435\u043c\u0435\u043d\u0430\u043c\u0438 12:00:01, 12:00:02, 12:00:05. \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u2014 12:00:05, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043d\u0430 12:00:03 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0439\u0442\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0437\u0430\u043f\u0430\u0441: <\/p>\n<p>forBoundedOutOfOrderness(Duration.ofSeconds(5)).<\/p>\n<p>\u0423\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u0443\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u0435\u043d \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 EventTime \u2013 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430, \u043d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u043d \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u0442\u0430\u0439\u043c\u0435\u0440\u0443 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043a\u0430\u0436\u0434\u044b\u0435 200 \u043c\u0441) \u0438 \u043d\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u043f\u043e\u0442\u043e\u043a \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0437\u0430\u0442\u0438\u0445\u0430\u0435\u0442 \u2014 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 EventTime \u0431\u043e\u043b\u044c\u0448\u043e\u0439. \u0410 \u0435\u0441\u043b\u0438 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 Kafka \u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u0435\u0442, \u0442\u043e \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u0435\u0441\u043b\u0438 \u043d\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f withIdleness(). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438, \u043d\u043e \u0438 \u043e\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a  \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432.  <\/p>\n<h3>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u043a\u0443\u043d\u0434 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u0441\u0442\u0430\u0432\u0438\u0442\u044c? <\/h3>\n<p>\u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043c\u044b \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 5 \u0441\u0435\u043a\u0443\u043d\u0434 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u00ab\u0441 \u043f\u043e\u0442\u043e\u043b\u043a\u0430\u00bb, \u043e\u0434\u043d\u0430\u043a\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u044f \u0431\u044b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a \u0432 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0435.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0435\u0440\u0446\u0435\u043d\u0442\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">p50<\/p>\n<\/td>\n<td>\n<p align=\"left\">200 ms<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">p95<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.5 s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">p99<\/p>\n<\/td>\n<td>\n<p align=\"left\">8 s<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443 \u0432 5 \u0441\u0435\u043a\u0443\u043d\u0434, \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u044c \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0432\u043e\u0434\u044f\u043d\u044b\u0445 \u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0441\u0442\u0430\u043d\u0443\u0442 \u043e\u043f\u0430\u0437\u0434\u0430\u0432\u0448\u0438\u043c\u0438. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u044d\u0442\u0430 \u0434\u043e\u043b\u044f, \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0411\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041c\u0435\u043d\u044c\u0448\u0435 latency<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043d\u043e\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u043a\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043f\u0440\u0438\u0445\u043e\u0434 \u0441\u043e\u0431\u044b\u0442\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u044b\u0448\u0435 \u0440\u0438\u0441\u043a late events<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0438\u0436\u0435 \u0440\u0438\u0441\u043a late events<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 state<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 state<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0443\u0436\u043d\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a, \u0430 \u043d\u0435 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0431\u0438\u0437\u043d\u0435\u0441-\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f, \u0442\u0430\u043a \u0434\u043b\u044f \u0430\u043d\u0442\u0438\u0444\u0440\u043e\u0434\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 5 \u0441\u0435\u043a\u0443\u043d\u0434 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u043e\u0438\u0442\u044c \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u0414\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e pipeline \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439.<\/p>\n<h3>\u041a\u0430\u043a \u043e\u043a\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u0432\u043e\u0434\u044f\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u043a\u0430\u043c\u0438<\/h3>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0434\u0435\u0441\u044f\u0442\u0438\u043c\u0438\u043d\u0443\u0442\u043d\u044b\u0435 \u043e\u043a\u043d\u0430 \u043f\u043e Event Time:<\/p>\n<pre><code class=\"java\">12:00 \u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500 12:10   \u2190 \u043e\u043a\u043d\u043e 112:10 \u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500 12:20   \u2190 \u043e\u043a\u043d\u043e 2<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u043a\u043d\u043e \u043d\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0447\u0430\u0441\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 <code>12:10<\/code>. \u0414\u043b\u044f Event Time \u043e\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 <strong>Watermark \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u043e\u043a\u043d\u0430<\/strong> \u0438 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0441\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430:<\/p>\n<p><strong>Event Time \u2192 Watermark \u2192 Window \u2192 Aggregation \u2192 Feature<\/strong><\/p>\n<h3>\u041f\u043e\u0437\u0434\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f: allowedLateness \u0438 side outputs<\/h3>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0442\u043e \u043e\u043a\u043d\u043e <code>12:00\u201312:10<\/code> \u0443\u0436\u0435 \u0437\u0430\u043a\u0440\u044b\u043b\u043e\u0441\u044c, \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u043f\u0435\u0440\u0435\u0441\u0451\u043a <code>12:10<\/code>, \u0438 \u0432\u0434\u0440\u0443\u0433 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435: <code>eventTime = 12:09:59. <\/code>\u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u043e\u043a\u043d\u0430, \u0442\u0430\u043a\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442 \u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u0442\u0435\u0440\u044f\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0430\u043d\u0442\u0438\u0444\u0440\u043e\u0434\u0435. \u041c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043e\u043a\u043d\u0443 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043f\u043e\u0437\u0434\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0435\u0449\u0451 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <code>allowedLateness<\/code>:<\/p>\n<pre><code class=\"java\">.window(TumblingEventTimeWindows.of(Time.minutes(10))).allowedLateness(Time.seconds(10))<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u043a\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0435\u0449\u0451 10 \u0441\u0435\u043a\u0443\u043d\u0434 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0441\u0442\u0444\u0430\u043a\u0442\u0443\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 transactions = 3, \u0430 \u0447\u0435\u0440\u0435\u0437 7 \u0441\u0435\u043a\u0443\u043d\u0434 \u2014 \u0443\u0436\u0435 4.<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u0435\u0441\u0442\u044c \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0439 \u043a\u0430\u043c\u0435\u043d\u044c: Flink \u043c\u043e\u0436\u0435\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u043a\u043d\u0430 \u2014 \u043f\u0435\u0440\u0432\u0443\u044e \u043f\u0440\u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0438, \u043f\u043e\u0442\u043e\u043c \u0435\u0449\u0451 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u043e\u0437\u0434\u043d\u0435\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0438, \u0435\u0441\u043b\u0438 \u0430\u0433\u0440\u0435\u0433\u0430\u0442 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0441\u044f. \u0415\u0441\u043b\u0438 \u043d\u0430\u0448 \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0430\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u0441\u0451 \u0441\u043b\u043e\u043c\u0430\u0442\u044c. <\/p>\n<p>\u0414\u043b\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u0443\u0436 \u043e\u043f\u043e\u0437\u0434\u0430\u0432\u0448\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u044e\u0442 \u0434\u0430\u0436\u0435 \u0432 allowedLateness, \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c side output:<\/p>\n<pre><code class=\"java\">OutputTag&lt;Transaction&gt; lateTag =        new OutputTag&lt;&gt;(\"late-transactions\") {};\/\/ \u0432 \u043e\u043a\u043e\u043d\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438:.sideOutputLateData(lateTag)\/\/ \u0437\u0430\u0442\u0435\u043c:DataStream&lt;Transaction&gt; lateStream =        features.getSideOutput(lateTag);<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0442\u043e\u043a \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u0430\u0443\u0434\u0438\u0442\u0430, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0430 \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0442\u043e\u0431\u044b \u0440\u0443\u0433\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e: <code>sideOutputLateData<\/code> \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043a \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0448\u043b\u0438 \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0434\u043b\u044f \u043e\u043a\u043d\u0430 \u0438\u0441\u0442\u0451\u043a \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u0439 \u043f\u0435\u0440\u0438\u043e\u0434 \u043f\u043e\u0437\u0434\u043d\u0435\u0433\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0430.<\/p>\n<h3>Stateful processing: \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0430\u043c\u044f\u0442\u044c \u2014 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u044d\u0448<\/h3>\n<p>\u0414\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p> \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0441\u0443\u043c\u043c\u0430 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0437\u0430 \u0434\u0435\u043d\u044c; <\/p>\n<\/li>\n<li>\n<p> \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 24 \u0447\u0430\u0441\u0430; <\/p>\n<\/li>\n<li>\n<p> \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u043f\u043e\u043a\u0443\u043f\u043a\u0438; <\/p>\n<\/li>\n<li>\n<p> \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432. <\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f stateful processing. \u0412\u043e Flink \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 state backend, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p><code>HashMapStateBackend<\/code>; <\/p>\n<\/li>\n<li>\n<p><code>EmbeddedRocksDBStateBackend<\/code>. <\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u044b\u0431\u043e\u0440 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0431\u044a\u0451\u043c\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043a latency \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 state RocksDB \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442, \u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438: \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u043e\u0432, \u043a\u0435\u0448\u0438, \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u043a\u043e\u043c\u043f\u0430\u043a\u0446\u0438\u0438, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439. \u0414\u043b\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f RocksDB \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0447\u0435\u043c HashMap, \u0438\u0437\u2011\u0437\u0430 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438\/\u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439. \u0412\u044b\u0431\u043e\u0440 \u0431\u044d\u043a\u0435\u043d\u0434\u0430 \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u043f\u0440\u043e\u0432\u043e\u0436\u0434\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u044b\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h3>\u0421\u0430\u043c\u0430\u044f \u043e\u043f\u0430\u0441\u043d\u0430\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u0430: Training-Serving Skew<\/h3>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u0441\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0443\u0436\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0442\u044c \u0438\u0445 \u043f\u043e Event Time \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c: <code>transactions_in_10_minute_window = 5<\/code><\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u0412 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d streaming pipeline \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u0440\u0443\u0433\u0443\u044e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443, \u0434\u0440\u0443\u0433\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 Processing Time.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (batch)<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d (streaming)<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0434\u043d\u0430, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043e\u0434\u0438\u043d, \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u0442\u0435 \u0436\u0435 \u2014 \u0430 \u0432\u0445\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0439. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c training-serving skew. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u043e\u0431 \u0438\u043c\u0435\u043d\u0438 \u043f\u043e\u043b\u044f \u0432 Feature Store, \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c <strong>\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430<\/strong>, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441 Event Time \u0432 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0434\u0435\u0441\u044f\u0442\u0438\u043c\u0438\u043d\u0443\u0442\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435, \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439.<\/p>\n<p>\u0410 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u0438 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e, \u0438\u043d\u0430\u0447\u0435 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u0441\u044f\u0446\u0430\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0431\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b: CPU 30%, Memory 40%, Kafka lag \u2248 0. \u0410 \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u043d\u0435 \u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0414\u043b\u044f streaming-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u044d\u0442\u043e \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0412\u0440\u0435\u043c\u044f \u0437\u0430\u0441\u0442\u044b\u043b\u043e, \u043e\u043a\u043d\u0430 \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f, \u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u2014 \u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f.<\/p>\n<p>\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432:<\/p>\n<ul>\n<li>\n<p> \u043e\u0442\u0441\u0442\u0430\u044e\u0449\u0435\u0439 partition; <\/p>\n<\/li>\n<li>\n<p> \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432\u0448\u0435\u043c\u0441\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0435; <\/p>\n<\/li>\n<li>\n<p> \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 upstream; <\/p>\n<\/li>\n<li>\n<p> \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u0445 Watermark Strategy; <\/p>\n<\/li>\n<li>\n<p> \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432 pipeline. <\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043d\u043e \u0438 \u043d\u0430 <strong>\u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 Event Time<\/strong>:<\/p>\n<p>currentInputWatermark \u0438 currentOutputWatermark \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 watermark \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430<\/p>\n<p>watermarkLag \u2014 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e Event Time \u043e\u0442\u0441\u0442\u0430\u0451\u0442 \u043e\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u044d\u0442\u0430\u043b\u043e\u043d\u0430.. <\/p>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0437\u0434\u043e\u0440\u043e\u0432\u043e\u0439 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f CPU \u0438 \u043f\u0430\u043c\u044f\u0442\u0438. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 Event Time \u2014\u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 CPU, memory \u0438\u043b\u0438 Kafka lag.<\/p>\n<h3>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0441\u043b\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u044f Flink<\/h3>\n<p>Stateful \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b. \u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u044f \u043e\u043d \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442. \u041d\u043e \u0434\u043b\u044f ML \u0435\u0441\u0442\u044c \u043d\u044e\u0430\u043d\u0441: \u0432\u044b \u0443\u0436\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0432\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u0430 \u043f\u043e\u0442\u043e\u043c Flink \u0443\u043f\u0430\u043b. \u041f\u0440\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0442\u0435 \u0436\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0438 \u0441\u043d\u043e\u0432\u0430 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<p>\u0418 \u0435\u0441\u043b\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0435\u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u0430, \u0442\u043e \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c:<\/p>\n<ul>\n<li>\n<p> \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443; <\/p>\n<\/li>\n<li>\n<p> \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430; <\/p>\n<\/li>\n<li>\n<p> \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0443\u044e \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0443 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f; <\/p>\n<\/li>\n<li>\n<p> \u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u0441 \u0432\u043d\u0435\u0448\u043d\u0438\u043c Feature Store; <\/p>\n<\/li>\n<li>\n<p> \u0432 \u0445\u0443\u0434\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0435 \u0431\u0438\u0437\u043d\u0435\u0441-\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435. <\/p>\n<\/li>\n<\/ul>\n<p>\u0427\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 Flink, \u043d\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e. \u0414\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0432\u044b\u0432\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c exactly-once, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u044b\u0439 Kafka Sink. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 Flink \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0438 sink. \u041d\u043e \u0442\u0430\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c latency. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c: \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u043d\u0435\u0448\u043d\u044e\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u043e\u0439 \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c exactly-once \u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435<\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442: \u00ab\u0410 \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u044e\u0434\u0430 LLM \u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0443\u044e \u0411\u0414?\u00bb \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e\u0434\u0441\u0447\u0451\u0442 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0437\u0430 10 \u043c\u0438\u043d\u0443\u0442 \u2014 \u044d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0443\u044e Flink \u0434\u0435\u043b\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0445. LLM \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0445\u043e\u0440\u043e\u0448\u0438 \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043f\u043e\u0438\u0441\u043a\u0430, \u043d\u043e \u043e\u043d\u0438 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442 \u043e\u043a\u043e\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u041d\u0435 \u043d\u0430\u0434\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0442\u044c \u0442\u0430\u043c, \u0433\u0434\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u0430.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u043e\u0436\u0443 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435:  <\/p>\n<pre><code class=\"java\">StreamExecutionEnvironment env =        StreamExecutionEnvironment.getExecutionEnvironment();KafkaSource&lt;Transaction&gt; source = KafkaSource.&lt;Transaction&gt;builder()        .setBootstrapServers(\"localhost:9092\")        .setTopics(\"transactions\")        .setGroupId(\"fraud-detector\")        .setValueOnlyDeserializer(new TransactionDeserializer())        .build();WatermarkStrategy&lt;Transaction&gt; wmStrategy =        WatermarkStrategy                .&lt;Transaction&gt;forBoundedOutOfOrderness(                        Duration.ofSeconds(5)                )                .withTimestampAssigner(                        (tx, ts) -&gt; tx.eventTime().toEpochMilli()                )                .withIdleness(Duration.ofSeconds(10));  \/\/ \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u0441\u043b\u0435 10 \u0441\u0435\u043a\u0443\u043d\u0434 \u0431\u0435\u0437 \u0441\u043e\u0431\u044b\u0442\u0438\u0439DataStream&lt;Transaction&gt; transactions =        env.fromSource(                source,                wmStrategy,                \"\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439\"        );OutputTag&lt;Transaction&gt; lateTag =        new OutputTag&lt;&gt;(\"\u043e\u043f\u043e\u0437\u0434\u0430\u0432\u0448\u0438\u0435-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438\") {};SingleOutputStreamOperator&lt;Feature&gt; features =        transactions                .keyBy(Transaction::getUserId)                .window(                        TumblingEventTimeWindows.of(                                Time.minutes(10)                        )                )                .allowedLateness(Time.seconds(10))                .sideOutputLateData(lateTag)                .aggregate(new FeatureAggregator());DataStream&lt;Transaction&gt; lateStream =        features.getSideOutput(lateTag);DataStream&lt;Prediction&gt; predictions =        features.map(new MLScorer());predictions.addSink(new MySink());env.execute(\"\u0410\u043d\u0442\u0438\u0444\u0440\u043e\u0434: \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439\");<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0432\u0441\u044e \u0446\u0435\u043f\u043e\u0447\u043a\u0443: Event Time \u2192 Watermark \u2192 Window \u2192 Allowed Lateness \u2192 Aggregation \u2192 Feature \u2192 ML<\/p>\n<p>Flink \u0447\u0430\u0441\u0442\u043e \u0445\u0432\u0430\u043b\u044f\u0442 \u0437\u0430 throughput, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u0438 fault tolerance, \u043d\u043e \u0434\u043b\u044f Real-Time ML \u0435\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0432\u0435\u0449\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0440\u043e\u0439 \u0432\u0430\u0436\u043d\u0435\u0435: Flink \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044f\u0432\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u00ab\u043f\u0440\u043e\u0438\u0437\u043e\u0448\u0435\u0434\u0448\u0438\u043c \u0441\u0435\u0439\u0447\u0430\u0441\u00bb. \u0421\u043e\u0431\u044b\u0442\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0432 12:00:03, \u0430 \u043f\u0440\u0438\u0439\u0442\u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0432 12:00:08, \u0435\u0441\u043b\u0438 pipeline \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u043d\u0435 \u0442\u043e\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0435\u0449\u0451 \u0434\u043e \u0432\u044b\u0437\u043e\u0432\u0430 predict() \u0438 \u0442\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a ML-\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u0445\u043e\u0442\u044f \u043a\u043e\u0440\u0435\u043d\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 streaming-\u0441\u043b\u043e\u0435.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1074822\/\">https:\/\/habr.com\/ru\/articles\/1074822\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435: \u0432\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0435 \u0430\u043d\u0442\u0438\u0444\u0440\u043e\u0434-\u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u043b\u044f \u0431\u0430\u043d\u043a\u0430. \u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u0442 \u043f\u044f\u0442\u044c \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u043f\u043e\u0434\u0440\u044f\u0434 \u0437\u0430 \u043f\u0430\u0440\u0443 \u043c\u0438\u043d\u0443\u0442. \u0412\u0441\u0435 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 Kafka, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a, consumer lag \u043f\u043e\u0447\u0442\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0439, Flink \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e.\u041d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u0437\u043d\u0430\u043a:  transactions_in_10_minute_window = 3 \u0425\u043e\u0442\u044f \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0438\u0445 \u0431\u044b\u043b\u043e \u043f\u044f\u0442\u044c, \u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0448\u0435\u043d\u043d\u0438\u0447\u0435\u0441\u0442\u0432\u0430 0.91 \u043e\u043d\u0430 \u0432\u044b\u0434\u0430\u0451\u0442 0.42.\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043a\u043e\u043f\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c: \u043c\u043e\u0436\u0435\u0442, \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u043b\u0430\u0441\u044c? \u041d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0435\u0441\u0442\u043d\u043e \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 &#8212; \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0442\u0440\u0438 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u043d\u0438\u0445.\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c: \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e \u043a \u043e\u043a\u043d\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f.\u0420\u0430\u043d\u044c\u0448\u0435, \u0432 \u0431\u0430\u0442\u0447\u0435, \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442: \u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a.\u041e\u0434\u043d\u0430\u043a\u043e, \u0432 \u0441\u0442\u0440\u0438\u043c\u0438\u043d\u0433\u0435 \u0432\u0441\u0451 \u0441\u043b\u043e\u0436\u043d\u0435\u0435: \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438 \u0432 12:00:03, \u0430 \u043f\u0440\u0438\u0439\u0442\u0438 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0432 12:00:08, \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u2014 \u0441\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0432 12:00:04, \u043d\u043e \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e.Out-of-order \u2014 \u043d\u0435 \u0431\u0430\u0433, \u0430 \u0444\u0438\u0447\u0430\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u044f\u0442\u044c \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435 \u2014 \u0438\u0445 \u0432\u0440\u0435\u043c\u044f \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f (Event Time) \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u0432 Flink (Processing Time).\u2116Event TimeProcessing Time112:00:0112:00:01212:00:0212:00:02312:00:0312:00:08412:00:0412:00:09512:00:0512:00:05\u041f\u043e \u0431\u0438\u0437\u043d\u0435\u0441\u0443 \u043f\u043e\u0440\u044f\u0434\u043e\u043a: 1-&gt;2-&gt;3-&gt;4-&gt;5, \u0430 \u0432 \u043f\u043e\u0442\u043e\u043a\u0435 \u043e\u043d\u0438 \u043f\u0440\u0438\u043b\u0435\u0442\u0435\u043b\u0438: 1-&gt;2-&gt;5-&gt;3-&gt;4 \u0438 \u044d\u0442\u043e \u043d\u0435 \u0441\u0431\u043e\u0439 \u2014 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0440\u0430\u0437\u043d\u044b\u0435: \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0441\u0435\u0442\u044c, \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u044b \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u044b, \u0443\u0437\u043b\u044b \u0442\u043e\u0440\u043c\u043e\u0437\u044f\u0442. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u0432\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u0438: \u043a\u043e\u0433\u0434\u0430 \u0441\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c (Event Time) \u0438 \u043a\u043e\u0433\u0434\u0430 Flink \u0435\u0433\u043e \u0443\u0432\u0438\u0434\u0435\u043b (Processing Time). \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0435\u043a\u0443\u043d\u0434\u044b, \u043c\u0438\u043d\u0443\u0442\u044b, \u0430 \u0438\u043d\u043e\u0433\u0434\u0430 \u0438 \u0447\u0430\u0441\u044b. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435: \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u00ab\u0447\u0438\u0441\u043b\u043e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 10 \u043c\u0438\u043d\u0443\u0442\u00bb, \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e Event Time, \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f \u0432 12:09:59 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u043e\u043a\u043d\u043e 12:00\u201312:10, \u0430 \u0435\u0441\u043b\u0438 \u043f\u043e Processing Time, \u043e\u043d\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432 12:10:07, \u0438 \u0443\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u043e\u043a\u043d\u0443. \u041d\u0430 \u043c\u0435\u043b\u043a\u0438\u0445 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430\u0445 \u044d\u0442\u043e \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u043d\u043e, \u0430 \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u043a\u043d\u0430 \u2014 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0440\u0430\u0437\u044b.\u0427\u0442\u043e\u0431\u044b \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e Event Time, timestamp \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0438\u0435\u0437\u0436\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0441\u043e\u0431\u044b\u0442\u0438\u0435\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u0435 Transaction \u043c\u044b \u0445\u0440\u0430\u043d\u0438\u043c \u043f\u043e\u043b\u0435 eventTime:public record Transaction(        String userId,        long amount,        Instant eventTime) {}\u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u043c Flink, \u043a\u0430\u043a\u043e\u0439 timestamp \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0438 \u0437\u0430\u0434\u0430\u0451\u043c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043e\u0434\u044f\u043d\u044b\u0445 \u0437\u043d\u0430\u043a\u043e\u0432:WatermarkStrategy&lt;Transaction&gt; strategy =        WatermarkStrategy                .&lt;Transaction&gt;forBoundedOutOfOrderness(                        Duration.ofSeconds(5)                )                .withTimestampAssigner(                        (event, timestamp) -&gt;                                event.eventTime().toEpochMilli()                );DataStream&lt;Transaction&gt; timedStream =        transactions.assignTimestampsAndWatermarks(strategy);\u0417\u0434\u0435\u0441\u044c \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438:TimestampAssigner \u2014 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 Flink: \u00ab\u044d\u0442\u043e timestamp \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439 \u0435\u0433\u043e \u043a\u0430\u043a Event Time\u00bb; WatermarkStrategy \u2014 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u043a\u0430\u043a Flink \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c out-of-order \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0433\u0430\u0442\u044c Event Time. Watermark \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u043a\u0430 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430 Event Time, Flink \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441 \u0432\u0440\u0435\u043c\u0435\u043d\u0430\u043c\u0438 12:00:01, 12:00:02, 12:00:05. \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u2014 12:00:05, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043d\u0430 12:00:03 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0439\u0442\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0437\u0430\u043f\u0430\u0441: forBoundedOutOfOrderness(Duration.ofSeconds(5)).\u0423\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u0443\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u0435\u043d \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 EventTime \u2013 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430, \u043d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u043d \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u0442\u0430\u0439\u043c\u0435\u0440\u0443 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043a\u0430\u0436\u0434\u044b\u0435 200 \u043c\u0441) \u0438 \u043d\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u043f\u043e\u0442\u043e\u043a \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0437\u0430\u0442\u0438\u0445\u0430\u0435\u0442 \u2014 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 EventTime \u0431\u043e\u043b\u044c\u0448\u043e\u0439. \u0410 \u0435\u0441\u043b\u0438 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 Kafka \u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u0435\u0442, \u0442\u043e \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u0435\u0441\u043b\u0438 \u043d\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f withIdleness(). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438, \u043d\u043e \u0438 \u043e\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a  \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432.  \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u043a\u0443\u043d\u0434 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u0441\u0442\u0430\u0432\u0438\u0442\u044c? \u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043c\u044b \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 5 \u0441\u0435\u043a\u0443\u043d\u0434 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u00ab\u0441 \u043f\u043e\u0442\u043e\u043b\u043a\u0430\u00bb, \u043e\u0434\u043d\u0430\u043a\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u044f \u0431\u044b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a \u0432 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0435.\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:\u041f\u0435\u0440\u0446\u0435\u043d\u0442\u0438\u043b\u044c\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430p50200 msp952.5 sp998 s\u0415\u0441\u043b\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443 \u0432 5 \u0441\u0435\u043a\u0443\u043d\u0434, \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u044c \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0432\u043e\u0434\u044f\u043d\u044b\u0445 \u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0441\u0442\u0430\u043d\u0443\u0442 \u043e\u043f\u0430\u0437\u0434\u0430\u0432\u0448\u0438\u043c\u0438. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u044d\u0442\u0430 \u0434\u043e\u043b\u044f, \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c:\u041c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430\u0411\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430\u041c\u0435\u043d\u044c\u0448\u0435 latency\u0411\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043d\u043e\u0442\u0430\u0411\u044b\u0441\u0442\u0440\u0435\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u043a\u043d\u0430\u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043f\u0440\u0438\u0445\u043e\u0434 \u0441\u043e\u0431\u044b\u0442\u0438\u0439\u0412\u044b\u0448\u0435 \u0440\u0438\u0441\u043a late events\u041d\u0438\u0436\u0435 \u0440\u0438\u0441\u043a late events\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 state\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 state\u041d\u0443\u0436\u043d\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a, \u0430 \u043d\u0435 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0431\u0438\u0437\u043d\u0435\u0441-\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f, \u0442\u0430\u043a \u0434\u043b\u044f \u0430\u043d\u0442\u0438\u0444\u0440\u043e\u0434\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 5 \u0441\u0435\u043a\u0443\u043d\u0434 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u043e\u0438\u0442\u044c \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u0414\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e pipeline \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439.\u041a\u0430\u043a \u043e\u043a\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u0432\u043e\u0434\u044f\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u043a\u0430\u043c\u0438\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0434\u0435\u0441\u044f\u0442\u0438\u043c\u0438\u043d\u0443\u0442\u043d\u044b\u0435 \u043e\u043a\u043d\u0430 \u043f\u043e Event Time:12:00 \u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500 12:10   \u2190 \u043e\u043a\u043d\u043e 112:10 \u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500 12:20   \u2190 \u043e\u043a\u043d\u043e 2\u041e\u043a\u043d\u043e \u043d\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0447\u0430\u0441\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 12:10. \u0414\u043b\u044f Event Time \u043e\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 Watermark \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u043e\u043a\u043d\u0430 \u0438 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0441\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430:Event Time \u2192 Watermark \u2192 Window \u2192 Aggregation \u2192 Feature\u041f\u043e\u0437\u0434\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f: allowedLateness \u0438 side outputs\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0442\u043e \u043e\u043a\u043d\u043e 12:00\u201312:10 \u0443\u0436\u0435 \u0437\u0430\u043a\u0440\u044b\u043b\u043e\u0441\u044c, \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u043f\u0435\u0440\u0435\u0441\u0451\u043a 12:10, \u0438 \u0432\u0434\u0440\u0443\u0433 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435: eventTime = 12:09:59. \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u043e\u043a\u043d\u0430, \u0442\u0430\u043a\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442 \u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u0442\u0435\u0440\u044f\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0430\u043d\u0442\u0438\u0444\u0440\u043e\u0434\u0435. \u041c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043e\u043a\u043d\u0443 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043f\u043e\u0437\u0434\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0435\u0449\u0451 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e allowedLateness:.window(TumblingEventTimeWindows.of(Time.minutes(10))).allowedLateness(Time.seconds(10))\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u043a\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0435\u0449\u0451 10 \u0441\u0435\u043a\u0443\u043d\u0434 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0441\u0442\u0444\u0430\u043a\u0442\u0443\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 transactions = 3, \u0430 \u0447\u0435\u0440\u0435\u0437 7 \u0441\u0435\u043a\u0443\u043d\u0434 \u2014 \u0443\u0436\u0435 4.\u0418 \u0442\u0443\u0442 \u0435\u0441\u0442\u044c \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0439 \u043a\u0430\u043c\u0435\u043d\u044c: Flink \u043c\u043e\u0436\u0435\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043e\u043a\u043d\u0430 \u2014 \u043f\u0435\u0440\u0432\u0443\u044e \u043f\u0440\u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0438, \u043f\u043e\u0442\u043e\u043c \u0435\u0449\u0451 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u043e\u0437\u0434\u043d\u0435\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0438, \u0435\u0441\u043b\u0438 \u0430\u0433\u0440\u0435\u0433\u0430\u0442 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0441\u044f. \u0415\u0441\u043b\u0438 \u043d\u0430\u0448 \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0430\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u0441\u0451 \u0441\u043b\u043e\u043c\u0430\u0442\u044c. \u0414\u043b\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u0443\u0436 \u043e\u043f\u043e\u0437\u0434\u0430\u0432\u0448\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u044e\u0442 \u0434\u0430\u0436\u0435 \u0432 allowedLateness, \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c side output:OutputTag&lt;Transaction&gt; lateTag =        new OutputTag&lt;&gt;(&#171;late-transactions&#187;) {};\/\/ \u0432 \u043e\u043a\u043e\u043d\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438:.sideOutputLateData(lateTag)\/\/ \u0437\u0430\u0442\u0435\u043c:DataStream&lt;Transaction&gt; lateStream =        features.getSideOutput(lateTag);\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0442\u043e\u043a \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u0430\u0443\u0434\u0438\u0442\u0430, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0430 \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0442\u043e\u0431\u044b \u0440\u0443\u0433\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a.\u0412\u0430\u0436\u043d\u043e: sideOutputLateData \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043a \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0448\u043b\u0438 \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0434\u043b\u044f \u043e\u043a\u043d\u0430 \u0438\u0441\u0442\u0451\u043a \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u0439 \u043f\u0435\u0440\u0438\u043e\u0434 \u043f\u043e\u0437\u0434\u043d\u0435\u0433\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0430.Stateful processing: \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0430\u043c\u044f\u0442\u044c \u2014 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u044d\u0448\u0414\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435.\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0441\u0443\u043c\u043c\u0430 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0437\u0430 \u0434\u0435\u043d\u044c;  \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 24 \u0447\u0430\u0441\u0430;  \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u043f\u043e\u043a\u0443\u043f\u043a\u0438;  \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432. \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f stateful processing. \u0412\u043e Flink \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 state backend, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:HashMapStateBackend; EmbeddedRocksDBStateBackend. \u0412\u044b\u0431\u043e\u0440 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0431\u044a\u0451\u043c\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043a latency \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 state RocksDB \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442, \u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438: \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u043e\u0432, \u043a\u0435\u0448\u0438, \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 \u043a\u043e\u043c\u043f\u0430\u043a\u0446\u0438\u0438, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439. \u0414\u043b\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f RocksDB \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0447\u0435\u043c HashMap, \u0438\u0437\u2011\u0437\u0430 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438\/\u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439. \u0412\u044b\u0431\u043e\u0440 \u0431\u044d\u043a\u0435\u043d\u0434\u0430 \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u043f\u0440\u043e\u0432\u043e\u0436\u0434\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u044b\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.\u0421\u0430\u043c\u0430\u044f \u043e\u043f\u0430\u0441\u043d\u0430\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u0430: Training-Serving Skew\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u0441\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0443\u0436\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0442\u044c \u0438\u0445 \u043f\u043e Event Time \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c: transactions_in_10_minute_window = 5\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u0412 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d streaming pipeline \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u0440\u0443\u0433\u0443\u044e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443, \u0434\u0440\u0443\u0433\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 Processing Time.\u041e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (batch)5\u041f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d (streaming)3\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0434\u043d\u0430, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043e\u0434\u0438\u043d, \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u0442\u0435 \u0436\u0435 \u2014 \u0430 \u0432\u0445\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0439. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c training-serving skew. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u043e\u0431 \u0438\u043c\u0435\u043d\u0438 \u043f\u043e\u043b\u044f \u0432 Feature Store, \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441 Event Time \u0432 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0434\u0435\u0441\u044f\u0442\u0438\u043c\u0438\u043d\u0443\u0442\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435, \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439.\u0410 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u0438 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e, \u0438\u043d\u0430\u0447\u0435 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u0441\u044f\u0446\u0430\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438.\u041e\u0434\u043d\u0430\u043a\u043e \u0431\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b: CPU 30%, Memory 40%, Kafka lag \u2248 0. \u0410 \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u0437\u043d\u0430\u043a \u043d\u0435 \u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f.\u0414\u043b\u044f streaming-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u044d\u0442\u043e \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b. \u0412\u0440\u0435\u043c\u044f \u0437\u0430\u0441\u0442\u044b\u043b\u043e, \u043e\u043a\u043d\u0430 \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f, \u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u2014 \u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f.\u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432: \u043e\u0442\u0441\u0442\u0430\u044e\u0449\u0435\u0439 partition;  \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432\u0448\u0435\u043c\u0441\u044f \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0435;  \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 upstream;  \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u0445 Watermark Strategy;  \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432 pipeline. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043d\u043e \u0438 \u043d\u0430 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 Event Time:currentInputWatermark \u0438 currentOutputWatermark \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441 watermark \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430watermarkLag \u2014 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e Event Time \u043e\u0442\u0441\u0442\u0430\u0451\u0442 \u043e\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u044d\u0442\u0430\u043b\u043e\u043d\u0430.. \u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0437\u0434\u043e\u0440\u043e\u0432\u043e\u0439 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f CPU \u0438 \u043f\u0430\u043c\u044f\u0442\u0438. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 Event Time \u2014\u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 CPU, memory \u0438\u043b\u0438 Kafka lag.\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0441\u043b\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u044f FlinkStateful \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u044b. \u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u044f \u043e\u043d \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442. \u041d\u043e \u0434\u043b\u044f ML \u0435\u0441\u0442\u044c \u043d\u044e\u0430\u043d\u0441: \u0432\u044b \u0443\u0436\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0432\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u0430 \u043f\u043e\u0442\u043e\u043c Flink \u0443\u043f\u0430\u043b. \u041f\u0440\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0442\u0435 \u0436\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0438 \u0441\u043d\u043e\u0432\u0430 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.\u0418 \u0435\u0441\u043b\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0435\u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u0430, \u0442\u043e \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c: \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443;  \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430;  \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0443\u044e \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0443 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f;  \u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u0441 \u0432\u043d\u0435\u0448\u043d\u0438\u043c Feature Store;  \u0432 \u0445\u0443\u0434\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0435&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-492316","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492316","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=492316"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492316\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=492316"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=492316"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=492316"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}