{"id":490181,"date":"2026-08-07T13:54:14","date_gmt":"2026-08-07T13:54:14","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=490181"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=490181","title":{"rendered":"\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 c YDB: \u043e\u0442 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0434\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043e\u0440\u0430"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u043e\u0439 \u0431\u044d\u043a\u0435\u043d\u0434 \u0440\u0430\u043d\u043e \u0438\u043b\u0438 \u043f\u043e\u0437\u0434\u043d\u043e \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0437\u0430\u0434\u0430\u0447: \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c email \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u044b, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u044e. \u0427\u0430\u0441\u0442\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u2014 RabbitMQ, Kafka, Redis-\u043e\u0447\u0435\u0440\u0435\u0434\u0438. \u041d\u043e \u0435\u0441\u043b\u0438 \u0432\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u0436\u0438\u0432\u0443\u0442 \u0432 YDB, \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b \u0443\u0436\u0435 \u0440\u044f\u0434\u043e\u043c: \u0442\u0430\u0431\u043b\u0438\u0446\u044b, changefeed, \u0442\u043e\u043f\u0438\u043a\u0438 \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043d\u043e\u0434\u044b.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0437\u0430\u0434\u0430\u0447 \u2014 \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0434\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u043e\u0439 \u0434\u043b\u044f production-\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e, \u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u0412\u043c\u0435\u0441\u0442\u043e \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u2014 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043a\u043e\u0434 \u043d\u0430 Go \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <code>ydb-go-sdk<\/code>.<\/p>\n<h3>\u041f\u043e\u0434\u0445\u043e\u0434 1. \u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u043a\u0430\u043a \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0434\u0430\u0447<\/h3>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u2014 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0430 \u043f\u043e\u0442\u043e\u043c \u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0451 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u043c.<\/p>\n<h4>\u0421\u0445\u0435\u043c\u0430<\/h4>\n<pre><code class=\"sql\">CREATE TABLE tasks (    id UUID NOT NULL,    payload String NOT NULL,    created_at Timestamp NOT NULL,    done_at Timestamp,    PRIMARY KEY (id));<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041a\u043e\u043b\u043e\u043d\u043a\u0430 <code>done_at<\/code> \u043f\u0443\u0441\u0442\u0430\u044f \u0443 \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u0442\u0440\u043e\u043a\u0438 \u0441 <code>done_at IS NULL<\/code>, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f.<\/p>\n<h4>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440<\/h4>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0445 \u0447\u0435\u0440\u0435\u0437 <code>UPSERT<\/code>:<\/p>\n<pre><code class=\"go\">pool := pond.NewPool(*parallelism,    pond.WithContext(ctx),    pond.WithQueueSize(*parallelism),)for {    err := pool.Go(func() {        id := uuid.New()        payload := generatePayload(*payloadSize)        db.Query().Exec(ctx,            `UPSERT INTO tasks (id, payload, created_at)             VALUES ($id, $payload, $created_at)`,            query.WithParameters(                ydb.ParamsBuilder().                    Param(\"$id\").Uuid(id).                    Param(\"$payload\").Bytes(payload).                    Param(\"$created_at\").Timestamp(time.Now()).                    Build(),            ),        )    })    if err != nil {        break \/\/ \u043f\u0443\u043b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d (Ctrl-C)    }}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u0443\u043b \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 \u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <code>pond<\/code> \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c. <code>WithContext(ctx)<\/code> \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u043f\u0443\u043b \u043f\u0440\u0438 \u043e\u0442\u043c\u0435\u043d\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e Ctrl-C), \u0430 <code>WithQueueSize<\/code> \u0434\u0435\u0440\u0436\u0438\u0442 \u0431\u0443\u0444\u0435\u0440 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043d\u0435 \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u043b \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043e\u0436\u0438\u0434\u0430\u044e\u0449\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043e\u0434\u043d\u0443 \u0432\u0441\u0442\u0430\u0432\u043a\u0443 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0443\u043b. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441 <code>$id<\/code>, <code>$payload<\/code>, <code>$created_at<\/code> \u0437\u0430\u0449\u0438\u0449\u0430\u044e\u0442 \u043e\u0442 SQL-\u0438\u043d\u044a\u0435\u043a\u0446\u0438\u0439 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 YDB \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043b\u0430\u043d \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u044e: \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u0438 <code>totalRows<\/code>, <code>totalBytes<\/code>, <code>totalDuration<\/code>. \u0412 \u043a\u043e\u043d\u0446\u0435 \u043e\u043d \u043f\u0435\u0447\u0430\u0442\u0430\u0435\u0442 rows\/sec, throughput \u0432 Mbps \u0438 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u2014 \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <code>-parallelism<\/code> \u0438 <code>-payload-size<\/code> \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<h4>\u0417\u0430\u0447\u0435\u043c UPSERT, \u0430 \u043d\u0435 INSERT<\/h4>\n<p><code>UPSERT<\/code> (INSERT OR REPLACE) \u2014 \u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u0437\u0430\u043f\u0440\u043e\u0441 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0441\u044f \u0441 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0438 \u043a\u043b\u0438\u0435\u043d\u0442 \u043d\u0435 \u0437\u043d\u0430\u0435\u0442, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0430\u0441\u044c \u043b\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0430, \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435. \u0414\u043b\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u0441\u0442 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442.<\/p>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e<\/h4>\n<ul>\n<li>\n<p>\u0417\u0430\u0434\u0430\u0447\u0438 \u043d\u0435 \u0441\u0440\u043e\u0447\u043d\u044b\u0435, \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u0430<\/p>\n<\/li>\n<li>\n<p>\u041e\u0434\u0438\u043d \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432 \u0441 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u043e\u0439<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044a\u0451\u043c \u0437\u0430\u0434\u0430\u0447 \u043d\u0435\u0432\u0435\u043b\u0438\u043a (\u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0442\u044b\u0441\u044f\u0447 \u0432 \u043c\u0438\u043d\u0443\u0442\u0443)<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/h4>\n<p><strong>Polling<\/strong>. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 (<code>SELECT ... WHERE done_at IS NULL<\/code>). \u041c\u0435\u0436\u0434\u0443 \u0432\u0441\u0442\u0430\u0432\u043a\u043e\u0439 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0432\u0441\u0435\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u043f\u0430\u0443\u0437\u0430, \u0440\u0430\u0432\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0443 \u043e\u043f\u0440\u043e\u0441\u0430.<\/p>\n<p><strong>Hotspot<\/strong>. \u0412\u0441\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0442 \u0437\u0430 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0441\u0442\u0440\u043e\u043a\u0438. \u041f\u0440\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0435 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u0442 \u043a \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430\u043c \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439.<\/p>\n<p><strong>\u041d\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0430<\/strong>. \u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 UUID \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438. \u041d\u0435\u0442 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043e\u0432, \u043d\u0435\u0442 FIFO.<\/p>\n<p><strong>\u041d\u0435\u0442 push-\u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0439<\/strong>. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043d\u0435 \u0443\u0437\u043d\u0430\u0435\u0442 \u043e \u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0441\u043f\u0440\u043e\u0441\u0438\u0442.<\/p>\n<p>\u0410 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0431\u0430\u0437\u0430 \u0441\u0430\u043c\u0430 \u043c\u043e\u0433\u043b\u0430 \u0431\u044b \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u044f\u0442\u044c \u043e \u043d\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445?<\/p>\n<hr\/>\n<h3>\u041f\u043e\u0434\u0445\u043e\u0434 2. CDC \u2014 \u0440\u0435\u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 changefeed<\/h3>\n<p>YDB \u0443\u043c\u0435\u0435\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432 \u0442\u043e\u043f\u0438\u043a. \u042d\u0442\u043e\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Change Data Capture (CDC). \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c changefeed \u043d\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u2014 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 INSERT \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u0432 \u0442\u043e\u043f\u0438\u043a\u0435.<\/p>\n<h4>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430<\/h4>\n<pre><code class=\"sql\">ALTER TABLE tasks ADD CHANGEFEED cdc_tasks WITH (    FORMAT = 'JSON',    MODE = 'NEW_IMAGE');<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>MODE = 'NEW_IMAGE'<\/code> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u043f\u0430\u0434\u0451\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u0441\u043b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 <code>tasks<\/code> \u043a\u0430\u043a \u0440\u0430\u043d\u044c\u0448\u0435 \u2014 \u0435\u0433\u043e \u043a\u043e\u0434 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u043e\u0431\u0449\u0435. \u041d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043a\u0430\u0436\u0434\u0430\u044f \u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442 CDC-\u0441\u043e\u0431\u044b\u0442\u0438\u0435.<\/p>\n<h4>\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440<\/h4>\n<p>CDC-\u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043a \u0442\u043e\u043f\u0438\u043a\u0443 \u0447\u0435\u0440\u0435\u0437 Topic API:<\/p>\n<pre><code class=\"go\">reader, err := db.Topic().StartReader(    *consumer,    topicoptions.ReadTopic(topicPath),)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0418 \u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438 \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0446\u0438\u043a\u043b\u0435:<\/p>\n<pre><code class=\"go\">for {    batch, err := reader.ReadMessagesBatch(ctx)    if err != nil { ... }    for _, msg := range batch.Messages {        \/\/ \u041f\u0430\u0440\u0441\u0438\u043c CDC-\u0441\u043e\u0431\u044b\u0442\u0438\u0435        var cdc cdcMessage        json.Unmarshal(data, &amp;cdc)        \/\/ DELETE-\u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c (newImage \u043f\u0443\u0441\u0442)        if len(cdc.NewImage) == 0 {            continue        }        \/\/ \u0418\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c ID \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 \u043a\u043b\u044e\u0447\u0430        rowID, _ := uuid.Parse(cdc.Key[0])        \/\/ \u042d\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443        time.Sleep(*workDelay)        \/\/ \u041f\u043e\u043c\u0435\u0447\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439        db.Query().Exec(ctx,            `UPSERT INTO tasks (id, payload, created_at, done_at)             VALUES ($id, '', $created_at, CurrentUtcTimestamp())`,            query.WithParameters(                ydb.ParamsBuilder().                    Param(\"$id\").Uuid(rowID).                    Param(\"$created_at\").Timestamp(createdAtTime).                    Build(),            ),        )    }    \/\/ \u041a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u043e\u0444\u0444\u0441\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u043f\u0430\u043a\u0435\u0442\u0430    reader.Commit(ctx, batch)}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0424\u043e\u0440\u043c\u0430\u0442 CDC-\u0441\u043e\u0431\u044b\u0442\u0438\u0439<\/h4>\n<p>\u041a\u0430\u0436\u0434\u043e\u0435 CDC-\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u2014 JSON:<\/p>\n<pre><code class=\"json\">{  \"key\": [\"550e8400-e29b-41d4-a716-446655440000\"],  \"newImage\": {    \"id\": \"550e8400-e29b-41d4-a716-446655440000\",    \"payload\": \"...\",    \"created_at\": \"2026-03-31T12:00:00.000000Z\"  }}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u043b\u044f INSERT-\u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e\u043b\u0435 <code>update<\/code> \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442, \u0434\u043b\u044f UPDATE\/DELETE \u043e\u043d\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442. \u0414\u043b\u044f DELETE \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e <code>newImage<\/code> \u0431\u0443\u0434\u0435\u0442 <code>null<\/code> \u0438\u043b\u0438 \u043f\u0443\u0441\u0442\u044b\u043c. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u043e <code>len(newImage) == 0<\/code>, \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f INSERT\/UPDATE.<\/p>\n<h4>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438<\/h4>\n<p>\u041f\u0430\u0442\u0442\u0435\u0440\u043d <strong>at-least-once<\/strong>: \u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0430\u043a\u0435\u0442 \u2192 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u2192 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u043e\u0444\u0444\u0441\u0435\u0442. \u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0443\u043f\u0430\u043b \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0438 \u043a\u043e\u043c\u043c\u0438\u0442\u043e\u043c, \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043e\u043d \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0430\u043a\u0435\u0442. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <code>UPSERT<\/code>, \u0430 \u043d\u0435 <code>UPDATE<\/code> \u2014 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0442\u0435\u0445 \u0436\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u0430.<\/p>\n<p>Consumer groups \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430: \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0444\u0444\u0441\u0435\u0442\u0430.<\/p>\n<p>\u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u043e\u043f\u0443\u0449\u0435\u043d\u0430, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043a\u043e\u0434. \u0412 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e: <code>json.Unmarshal<\/code>, <code>uuid.Parse<\/code>, UPSERT \u0438 <code>Commit<\/code>.<\/p>\n<p>\u0414\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u0438 <code>processed<\/code>, <code>skipped<\/code> \u0438 <code>errors<\/code>, \u0430 \u0444\u043e\u043d\u043e\u0432\u0430\u044f goroutine \u0440\u0430\u0437 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u043f\u0435\u0447\u0430\u0442\u0430\u0435\u0442 \u0438\u0445 \u0432 \u043b\u043e\u0433\u0430\u0445. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0444\u0444\u0441\u0435\u0442 \u043f\u0430\u043a\u0435\u0442\u0430 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u0441\u044f \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u0448\u0438\u0431\u043e\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439: \u0438\u043d\u0430\u0447\u0435 \u043e\u0434\u043d\u0430 \u0441\u0431\u043e\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u043c\u043e\u0433\u043b\u0430 \u0431\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0432\u0441\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e.<\/p>\n<p>\u0423 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u0446\u0435\u043d\u0430: \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u043d\u043e. \u0414\u043b\u044f best-effort \u0437\u0430\u0434\u0430\u0447 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u043a\u0435\u0448, \u0432\u0442\u043e\u0440\u0438\u0447\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c. \u041d\u043e \u0434\u043b\u044f \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0445 \u0431\u0438\u0437\u043d\u0435\u0441-\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043b\u043e\u0445\u043e\u0439 \u0438\u0434\u0435\u0435\u0439. \u041e\u043d \u043d\u0435 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u0434\u043b\u044f \u0431\u0438\u043b\u043b\u0438\u043d\u0433\u0430, \u043f\u043b\u0430\u0442\u0435\u0436\u0435\u0439, \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043d\u0435\u043e\u0431\u0440\u0430\u0442\u0438\u043c\u044b\u0445 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 \u0438 \u0437\u0430\u0434\u0430\u0447, \u0433\u0434\u0435 \u043f\u043e\u0442\u0435\u0440\u044f \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<p>\u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043d\u0430 \u0434\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0430:<\/p>\n<ul>\n<li>\n<p><strong>\u0412\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0441\u0431\u043e\u0438<\/strong>: \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u0431\u0430\u0437\u0430, \u0443\u043f\u0430\u043b \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u0438\u0441\u0442\u0451\u043a timeout. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0444\u0444\u0441\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043d\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u0431\u044b Topic API \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430 \u0438\u043b\u0438 \u0440\u0435\u0442\u0440\u0430\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/strong>: \u0431\u0438\u0442\u044b\u0439 JSON, \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0441\u0445\u0435\u043c\u044b, \u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0439 payload. \u0418\u0445 \u043b\u0443\u0447\u0448\u0435 \u043f\u0435\u0440\u0435\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0438\u043b\u0438 DLQ \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c payload, \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0441\u0431\u043e\u044f, \u0430 \u043e\u0444\u0444\u0441\u0435\u0442 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 DLQ.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0430\u0436\u0435\u043d \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0434\u0430\u0436\u0435 DLQ \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e: \u043f\u0440\u043e\u043f\u0443\u0441\u043a \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u043e\u0433\u043d\u0430\u0442\u044c \u0435\u0433\u043e. \u0422\u043e\u0433\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c alert \u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0432\u0440\u0443\u0447\u043d\u0443\u044e. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u044b retry \u0441 backoff, \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438 \u044f\u0432\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0443\u0441 \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0441\u0442\u043e\u0438\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u043f\u043e\u0434\u0445\u043e\u0434\u0443 4 \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438.<\/p>\n<h4>\u0427\u0442\u043e \u0440\u0435\u0448\u0430\u0435\u0442 CDC<\/h4>\n<ul>\n<li>\n<p><strong>Push \u0432\u043c\u0435\u0441\u0442\u043e polling<\/strong>. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0431\u0435\u0437 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u043e\u043f\u0440\u043e\u0441\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0443\u043b\u0435\u0432\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0435<\/strong>. Changefeed \u2014 \u044d\u0442\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a \u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0430. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u0434 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c<\/strong>. Topic API \u0441\u0430\u043c \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u0440\u0435\u0442\u0440\u0430\u044f\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f CDC<\/h4>\n<p><strong>\u041d\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/strong>. \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 CDC-\u0442\u043e\u043f\u0438\u043a\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0430 \u043d\u0435 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u043e\u0439. \u0412\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e.<\/p>\n<p><strong>\u041a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b \u043f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438<\/strong>. \u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0443 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043e\u0431\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0447\u0451\u0442\u0447\u0438\u043a per-user), \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435.<\/p>\n<p><strong>\u041f\u0440\u0438\u0432\u044f\u0437\u043a\u0430 \u043a \u0441\u0445\u0435\u043c\u0435<\/strong>. \u0424\u043e\u0440\u043c\u0430\u0442 changefeed \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0442\u043e\u043f\u0438\u043a\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e.<\/p>\n<hr\/>\n<h3>\u041f\u043e\u0434\u0445\u043e\u0434 3. Topic API \u2014 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/h3>\n<p>CDC \u0434\u0430\u0451\u0442 push-\u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0437\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. \u041f\u0440\u044f\u043c\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 Topic API \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c: \u0432\u044b \u0441\u0430\u043c\u0438 \u0440\u0435\u0448\u0430\u0435\u0442\u0435, \u0432 \u043a\u0430\u043a\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u043f\u043e\u043f\u0430\u0434\u0451\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.<\/p>\n<h4>\u0417\u0430\u0447\u0435\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h4>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f read-modify-write (RMW) \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430\u043d\u044b \u043f\u043e \u0440\u0430\u0437\u043d\u044b\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443. \u0412 YDB \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a Transaction Level Incompatibility (TLI) \u2014 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f \u043e\u0442\u043a\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438 \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u043e\u0434\u043d\u0438\u043c \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u043c.<\/p>\n<h4>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/h4>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u0438\u0448\u0435\u0442 \u0432 \u0442\u043e\u043f\u0438\u043a \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u043f\u0440\u0438\u0432\u044f\u0437\u044b\u0432\u0430\u044f writer \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438:<\/p>\n<pre><code class=\"go\">func hashKey(key string, partitions int) int64 {    return int64(murmur3.Sum64([]byte(key)) % uint64(partitions))}\/\/ \u041f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 writer \u043d\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044ewriters := make([]*safeWriter, partitions)for i := range writers {    w, _ := db.Topic().StartWriter(topicPath,        topicoptions.WithWriterPartitionID(int64(i)),        topicoptions.WithWriterWaitServerAck(true),    )    writers[i] = &amp;safeWriter{w: w}}\/\/ \u041c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f: hash(key) \u2192 partitionkey := msg.UserID.String()partitionIdx := hashKey(key, partitions)writers[partitionIdx].write(ctx, data)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>murmur3.Sum64<\/code> \u2014 \u0431\u044b\u0441\u0442\u0440\u0430\u044f \u0445\u0435\u0448-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441 \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c. <code>WithWriterPartitionID<\/code> \u043f\u0440\u0438\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 writer \u043a \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. <code>WithWriterWaitServerAck(true)<\/code> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043f\u0435\u0440\u0435\u0434 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u043e\u043c.<\/p>\n<p>\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0433\u043e\u0440\u0443\u0442\u0438\u043d\u0435 \u043d\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e:<\/p>\n<pre><code class=\"go\">for i := 0; i &lt; partitionCount; i++ {    go func(partitionID int) {        reader, _ := db.Topic().StartReader(            consumerName,            topicoptions.ReadSelectors{                {Path: topic, Partitions: []int64{int64(partitionID)}},            },        )        for {            msg, _ := reader.ReadMessage(ctx)            workload(ctx, benchMsg)            reader.Commit(ctx, msg)        }    }(i)}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a: \u043a\u0430\u043a \u043a\u043b\u044e\u0447 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439<\/h4>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f \u043d\u0430 \u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445 \u0436\u0435 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043b\u044e\u0447 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">by_user (\u043f\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0427\u0438\u0442\u0430\u0435\u0442 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">TLI \u2248 0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">by_user<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u043e\u043b\u044c\u043a\u043e \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 ID \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">TLI = 0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">by_message_id (\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0427\u0438\u0442\u0430\u0435\u0442 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u043d\u043e\u0433\u043e TLI<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">by_message_id<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u043e\u043b\u044c\u043a\u043e \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 ID \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">TLI = 0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u0438 \u0442\u0440\u0435\u0442\u044c\u044f \u0441\u0442\u0440\u043e\u043a\u0438 \u2014 \u044d\u0442\u043e read-modify-write: serializable-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f \u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u0430, \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0435 \u0434\u0438\u043d\u0438\u0446\u0443 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u043e.<\/p>\n<pre><code class=\"go\">func statsWorkload(db *ydb.Driver, tliCounter *atomic.Int64) func(context.Context, BenchMessage) error {    return func(ctx context.Context, msg BenchMessage) error {        attempt := 0        return db.Query().DoTx(ctx, func(ctx context.Context, tx query.TxActor) error {            if attempt &gt; 0 {                tliCounter.Add(1) \/\/ \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0440\u0435\u0442\u0440\u0430\u0439 \u043a\u0430\u043a TLI            }            attempt++            return tx.Exec(ctx,                `UPSERT INTO stats                 SELECT                     r.user_id AS user_id,                     COALESCE(t.a, 0) + r.a AS a,                     COALESCE(t.b, 0) + r.b AS b,                     COALESCE(t.c, 0) + r.c AS c                 FROM AS_TABLE($records) AS r                 LEFT JOIN stats AS t ON r.user_id = t.user_id`,                query.WithParameters(...),            )        }, query.WithTxSettings(            query.TxSettings(query.WithSerializableReadWrite()),        ))    }}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>\u0412\u0441\u0442\u0430\u0432\u043a\u0430 \u0431\u0435\u0437 \u0447\u0442\u0435\u043d\u0438\u044f<\/strong> \u2014 <code>UPSERT INTO processed (id) VALUES ($id)<\/code>. \u041d\u0435\u0442 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u2014 \u043d\u0435\u0442 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430, TLI \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u043e\u043b\u044c.<\/p>\n<h4>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442<\/h4>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043a\u043b\u044e\u0447 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043a\u043b\u044e\u0447\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 (<code>user_id<\/code>), \u0432\u0441\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0434 \u043e\u0434\u043d\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432 \u043e\u0434\u043d\u043e\u0439 \u0433\u043e\u0440\u0443\u0442\u0438\u043d\u0435. \u041d\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u2014 \u043d\u0435\u0442 TLI.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/a4\/c9\/4c\/a4c94c6fc01e5e4f0e131a966868268e.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/a4\/c9\/4c\/a4c94c6fc01e5e4f0e131a966868268e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/a4\/c9\/4c\/a4c94c6fc01e5e4f0e131a966868268e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043a\u043b\u044e\u0447 \u2014 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 <code>message_id<\/code>, \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0440\u0430\u0437\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c 10 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c. 10 \u0433\u043e\u0440\u0443\u0442\u0438\u043d \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0442 \u0437\u0430 \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 <code>stats<\/code> \u2014 TLI \u0440\u0430\u0441\u0442\u0451\u0442 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0447\u0438\u0441\u043b\u0443 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/ee\/84\/28\/ee84284c2ccad07aa0d8fec88bcecba5.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/ee\/84\/28\/ee84284c2ccad07aa0d8fec88bcecba5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/ee\/84\/28\/ee84284c2ccad07aa0d8fec88bcecba5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p><strong>\u0412\u044b\u0432\u043e\u0434<\/strong>: \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u044b\u0431\u043e\u0440 \u043a\u043b\u044e\u0447\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0434\u043b\u044f \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u043b\u0430 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439.<\/p>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u0430<\/h4>\n<p><strong>\u041d\u0435\u0442 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438<\/strong>. \u0422\u043e\u043f\u0438\u043a\u0438 \u2014 \u044d\u0442\u043e \u043f\u043e\u0442\u043e\u043a\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043d\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u0438. \u041d\u0435\u0442 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043e\u0432, \u043d\u0435\u0442 retry \u0441 backoff, \u043d\u0435\u0442 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<p><strong>\u0420\u0443\u0447\u043d\u043e\u0435 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439<\/strong>. \u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 reader \u044f\u0432\u043d\u043e \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 <code>partitionID<\/code>. \u0415\u0441\u043b\u0438 reader \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 10 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0443\u043f\u0430\u0434\u0451\u0442 \u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0435\u0442 \u043d\u043e\u0432\u044b\u0439 reader \u0441 \u0442\u0435\u043c \u0436\u0435 selector, \u044d\u0442\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>\u042d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u044b benchmark-\u0430, \u0430 \u043d\u0435 Topic API \u0432 \u0446\u0435\u043b\u043e\u043c. \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 reader-\u0430\u043c\u0438 \u043d\u0430 \u0432\u0435\u0441\u044c topic YDB \u043c\u043e\u0436\u0435\u0442 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c\u0438. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0441\u044f \u043e\u0442 \u044d\u0442\u043e\u0439 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u0438 \u0440\u0430\u0434\u0438 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u044f \u00ab\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u2192 goroutine\u00bb.<\/p>\n<p><strong>Fire-and-forget<\/strong>. \u041f\u043e\u0441\u043b\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0430 \u043e\u0444\u0444\u0441\u0435\u0442\u0430 \u043d\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0443\u0437\u043d\u0430\u0442\u044c, \u0432 \u043a\u0430\u043a\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u0430\u00bb.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u0437\u0430\u0434\u0430\u0447 \u0441 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u0430\u043c\u0438, \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u0435\u0439 \u043d\u0443\u0436\u043d\u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430.<\/p>\n<hr\/>\n<h3>\u041f\u043e\u0434\u0445\u043e\u0434 4. \u041a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u044b \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0437\u0430\u0434\u0430\u0447<\/h3>\n<p>\u042d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 (\u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447) \u0441 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c\u0438 \u043d\u043e\u0434\u0430\u043c\u0438 YDB (\u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0436\u0434\u0443 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438). \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u2014 \u0441\u0438\u0441\u0442\u0435\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u044b, \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a, \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0435\u0432 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0443.<\/p>\n<p>\u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u0430 \u0434\u0432\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u2014 <code>cmd\/producer<\/code> \u0438 <code>cmd\/worker<\/code> \u2014 \u043f\u043e\u0432\u0435\u0440\u0445 \u043e\u0431\u0449\u0438\u0445 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 <code>pkg\/taskproducer<\/code>, <code>pkg\/taskworker<\/code>, <code>pkg\/rebalancer<\/code>, <code>pkg\/metrics<\/code>. \u041d\u0438\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u0430\u043a\u0435\u0442\u043e\u0432.<\/p>\n<h4>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0437\u0430\u0434\u0430\u0447<\/h4>\n<pre><code class=\"sql\">CREATE TABLE coordinated_tasks (    id           Utf8       NOT NULL,    hash         Int64      NOT NULL,    partition_id Uint16     NOT NULL,    priority     Uint8      NOT NULL,    status       Utf8       NOT NULL,  -- pending | locked | completed    payload      Utf8       NOT NULL,    lock_value   Utf8,    locked_until Timestamp,    scheduled_at Timestamp,    created_at   Timestamp  NOT NULL,    done_at      Timestamp,    PRIMARY KEY (partition_id, priority, id));<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0421\u043e\u0441\u0442\u0430\u0432\u043d\u043e\u0439 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u044b\u0439 \u043a\u043b\u044e\u0447 <code>(partition_id, priority, id)<\/code> \u2014 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435:<\/p>\n<ul>\n<li>\n<p><strong>partition_id<\/strong> \u043a\u0430\u043a \u043f\u0440\u0435\u0444\u0438\u043a\u0441 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438<\/p>\n<\/li>\n<li>\n<p><strong>priority<\/strong> \u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 <code>ORDER BY priority DESC<\/code> \u0431\u0435\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430<\/p>\n<\/li>\n<li>\n<p><strong>id<\/strong> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/li>\n<\/ul>\n<p>256 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 YDB-\u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u042d\u0442\u043e \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f: <code>partition_id = murmur3.Sum32(task_id) % 256<\/code> (32-\u0431\u0438\u0442\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 \u043c\u0430\u0441\u043a\u043e\u0439 \u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0433\u043e \u0431\u0438\u0442\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 <code>int64<\/code>). \u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u0432\u043b\u0430\u0434\u0435\u0435\u0442 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u044d\u0442\u0438\u0445 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u00ab\u0441\u0432\u043e\u0438\u00bb \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<h4>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440<\/h4>\n<p>\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e. \u0412\u043c\u0435\u0441\u0442\u043e \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 <strong>fixed-window batch<\/strong>-\u0440\u0435\u0436\u0438\u043c\u0435: \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u043a\u043d\u0435 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 100 \u043c\u0441) \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 batch \u0438\u0437 <code>targetBatchSize = rate * batchWindow<\/code> \u0437\u0430\u0434\u0430\u0447 \u0438 \u043f\u0438\u0448\u0435\u0442 \u0438\u0445 \u043e\u0434\u043d\u0438\u043c <code>UPSERT<\/code>-\u043e\u043c \u0447\u0435\u0440\u0435\u0437 <code>AS_TABLE<\/code>:<\/p>\n<pre><code class=\"go\">func buildBatch(ctx context.Context, batchSize int, partitions int, apigwURL string) []taskRow {    rows := make([]taskRow, 0, batchSize)    for range batchSize {        taskID, _ := uid.GenerateUUID()        hash := int64(murmur3.Sum32([]byte(taskID)))        partitionID := uint16(uint64(hash&amp;0x7FFFFFFFFFFFFFFF) % uint64(partitions))        priority := uint8(rand.Intn(256))        payload := fmt.Sprintf(`{\"url\":\"https:\/\/%s\/\"}`, apigwURL)        now := time.Now().UTC()        var scheduledAt *time.Time        if rand.Intn(10) == 0 { \/\/ ~10% \u2014 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a            t := now.Add(time.Duration(5+rand.Intn(26)) * time.Second)            scheduledAt = &amp;t        }        rows = append(rows, taskRow{ \/* \u043f\u043e\u043b\u044f *\/ })    }    return rows}func upsertBatch(ctx context.Context, db *ydb.Driver, batch []taskRow) error {    records := make([]types.Value, 0, len(batch))    for _, r := range batch {        records = append(records, types.StructValue(            types.StructFieldValue(\"id\", types.TextValue(r.id)),            types.StructFieldValue(\"hash\", types.Int64Value(r.hash)),            types.StructFieldValue(\"partition_id\", types.Uint16Value(r.partitionID)),            types.StructFieldValue(\"priority\", types.Uint8Value(r.priority)),            types.StructFieldValue(\"payload\", types.TextValue(r.payload)),            types.StructFieldValue(\"created_at\", types.TimestampValueFromTime(r.createdAt)),            types.StructFieldValue(\"scheduled_at\", types.NullableTimestampValueFromTime(r.scheduledAt)),        ))    }    return db.Query().Exec(ctx,        `UPSERT INTO coordinated_tasks         SELECT id, hash, partition_id, priority, \"pending\"u AS status,                payload, created_at, scheduled_at         FROM AS_TABLE($records)`,        query.WithParameters(            ydb.ParamsBuilder().                Param(\"$records\").Any(types.ListValue(records...)).                Build(),        ),    )}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 batch, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 <code>upsertBatch<\/code>, \u0437\u0430\u043c\u0435\u0440\u044f\u0435\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0438 \u0441\u043f\u0438\u0442 \u043e\u0441\u0442\u0430\u0442\u043e\u043a \u043e\u043a\u043d\u0430. \u0415\u0441\u043b\u0438 <code>upsert<\/code> \u043d\u0435 \u0443\u043b\u043e\u0436\u0438\u043b\u0441\u044f \u0432 \u043e\u043a\u043d\u043e, \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u0447\u0451\u0442\u0447\u0438\u043a <code>Backpressure<\/code>: \u044d\u0442\u043e \u0441\u0438\u0433\u043d\u0430\u043b, \u0447\u0442\u043e \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u0430.<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0440\u0435\u0436\u0438\u043c \u0434\u0430\u0451\u0442 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 rate \u0441 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e \u0432 \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0438 \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442 round-trip \u043a YDB \u043f\u043e \u0441\u043e\u0442\u043d\u044f\u043c \u0441\u0442\u0440\u043e\u043a.<\/p>\n<p>\u041f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u2014 JSON \u0432\u0438\u0434\u0430 <code>{\"url\":\"https:\/\/&lt;apigw&gt;\/\"}<\/code>. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0446\u0438\u043a\u043b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u043e\u0440\u043a\u0435\u0440 \u0434\u0435\u043b\u0430\u0435\u0442 HTTP POST \u043f\u043e \u044d\u0442\u043e\u043c\u0443 URL. API Gateway \u0437\u0434\u0435\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0443\u0434\u043e\u0431\u043d\u0430\u044f HTTP-\u043c\u0438\u0448\u0435\u043d\u044c \u0434\u043b\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u0430 \u0441\u0442\u0430\u0442\u0443\u0441\u044b \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f Prometheus-\u0441\u0447\u0451\u0442\u0447\u0438\u043a\u043e\u043c.<\/p>\n<h4>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439: Coordination API<\/h4>\n<p>\u041a\u0430\u043a 3 \u0432\u043e\u0440\u043a\u0435\u0440\u0430 \u0434\u0435\u043b\u044f\u0442 256 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0431\u0435\u0437 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432? \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043d\u043e\u0434 YDB.<\/p>\n<p>Coordination node \u2014 \u044d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0439 \u044d\u0444\u0435\u043c\u0435\u0440\u043d\u044b\u0435 \u0441\u0435\u043c\u0430\u0444\u043e\u0440\u044b. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 256 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f exclusive-\u0441\u0435\u043c\u0430\u0444\u043e\u0440 (<code>partition-0<\/code> \u2026 <code>partition-255<\/code>). \u0412\u043e\u0440\u043a\u0435\u0440, \u0437\u0430\u0445\u0432\u0430\u0442\u0438\u0432\u0448\u0438\u0439 \u0441\u0435\u043c\u0430\u0444\u043e\u0440, \u0432\u043b\u0430\u0434\u0435\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0435\u0439. \u0415\u0441\u043b\u0438 \u0432\u043e\u0440\u043a\u0435\u0440 \u0443\u043f\u0430\u043b \u2014 \u0441\u0435\u043c\u0430\u0444\u043e\u0440 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f (\u044d\u0444\u0435\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c).<\/p>\n<p>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e shared-\u0441\u0435\u043c\u0430\u0444\u043e\u0440 <code>worker-registry<\/code> \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432.<\/p>\n<pre><code class=\"go\">\/\/ \u0420\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0432 \u0440\u0435\u0435\u0441\u0442\u0440\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432registryLease, _ := session.AcquireSemaphore(ctx,    \"worker-registry\",    coordination.Shared,    options.WithEphemeral(true),    options.WithAcquireData([]byte(workerID)),)\/\/ \u0417\u0430\u0445\u0432\u0430\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438lease, _ := session.AcquireSemaphore(ctx,    fmt.Sprintf(\"partition-%d\", partitionID),    coordination.Exclusive,    options.WithEphemeral(true),)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0420\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430<\/h4>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0441\u0432\u043e\u044e \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0451\u043c\u043a\u043e\u0441\u0442\u044c: <code>ceil(256 \/ \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e_\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445_\u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432)<\/code> \u0438 \u0437\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043b\u0438\u043c\u0438\u0442\u0430.<\/p>\n<p>\u041f\u0440\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0430 (\u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 <code>DescribeSemaphore<\/code> \u043d\u0430 <code>worker-registry<\/code>):<\/p>\n<ol>\n<li>\n<p><strong>\u041d\u043e\u0432\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043b\u0441\u044f<\/strong> \u2014 \u0432\u0441\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u044b \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u0451\u043c\u043a\u043e\u0441\u0442\u044c \u0432\u043d\u0438\u0437 \u0438 \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u044e\u0442 \u043b\u0438\u0448\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u043e\u0440\u043a\u0435\u0440 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0441\u044f<\/strong> \u2014 \u0451\u043c\u043a\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0432\u0435\u0440\u0445, \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u043e\u0440\u043a\u0435\u0440\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438<\/p>\n<\/li>\n<\/ol>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/05\/88\/5c\/05885cce9d190f18540174b26b258625.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/05\/88\/5c\/05885cce9d190f18540174b26b258625.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/05\/88\/5c\/05885cce9d190f18540174b26b258625.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041a\u043e\u0434 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438:<\/p>\n<pre><code class=\"go\">func (r *Rebalancer) releaseExcess(newTarget int64) {    r.mu.Lock()    defer r.mu.Unlock()    excess := int64(len(r.leases)) - newTarget    released := int64(0)    for partitionID, lease := range r.leases {        if released &gt;= excess {            break        }        lease.Release()        delete(r.leases, partitionID)        r.partitionCh &lt;- partitionEvent{partitionID: partitionID, lease: nil}        released++    }}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0416\u0438\u0437\u043d\u0435\u043d\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u0437\u0430\u0434\u0430\u0447\u0438<\/h4>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/f2\/26\/eb\/f226ebce8b3f7a19ee5d9e30744c758b.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/f2\/26\/eb\/f226ebce8b3f7a19ee5d9e30744c758b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/f2\/26\/eb\/f226ebce8b3f7a19ee5d9e30744c758b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 <code>coordinated_tasks<\/code> \u0441\u043f\u0440\u044f\u0442\u0430\u043d\u0430 \u0437\u0430 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c <code>TaskRepository<\/code> (<a href=\"https:\/\/github.com\/nikolaymatrosov\/async-tasks-ydb\/blob\/main\/04_coordinated_table\/pkg\/taskworker\/repository.go\" rel=\"noopener noreferrer nofollow\">pkg\/taskworker\/repository.go<\/a>) \u0441 \u0442\u0440\u0435\u043c\u044f \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438: <code>FetchEligibleCandidate<\/code>, <code>ClaimTask<\/code>, <code>MarkCompleted<\/code>. \u0417\u0430\u0445\u0432\u0430\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0430\u0437\u0431\u0438\u0442 \u043d\u0430 <strong>\u0434\u0432\u0435 \u0444\u0430\u0437\u044b<\/strong> \u2014 \u044d\u0442\u043e \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438.<\/p>\n<p><strong>\u0424\u0430\u0437\u0430 1 \u2014 <\/strong><code><strong>FetchEligibleCandidate<\/strong><\/code><strong>.<\/strong> \u0414\u0435\u0448\u0451\u0432\u044b\u0439 snapshot read, \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0449\u0438\u0439 \u0441\u0430\u043c\u0443\u044e \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043d\u0443\u044e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443. \u0411\u0435\u0437 serializable-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438, \u0431\u0435\u0437 \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043e\u043a:<\/p>\n<pre><code class=\"go\">\/\/ query.WithTxControl(query.SnapshotReadOnlyTxControl())SELECT id, priority, payloadFROM coordinated_tasksWHERE partition_id = $partition_id  AND (      status = 'pending'      OR (status = 'locked' AND locked_until &lt; CurrentUtcTimestamp())  )  AND (scheduled_at IS NULL OR scheduled_at &lt;= CurrentUtcTimestamp())ORDER BY priority DESCLIMIT 1<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0423\u0441\u043b\u043e\u0432\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438:<\/p>\n<ul>\n<li>\n<p><code>status = 'pending'<\/code> \u2014 \u043d\u043e\u0432\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430<\/p>\n<\/li>\n<li>\n<p><code>status = 'locked' AND locked_until &lt; now()<\/code> \u2014 \u043f\u0440\u043e\u0442\u0443\u0445\u0448\u0430\u044f \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0430 (\u0432\u043e\u0440\u043a\u0435\u0440 \u0443\u043f\u0430\u043b)<\/p>\n<\/li>\n<li>\n<p><code>scheduled_at IS NULL OR scheduled_at &lt;= now()<\/code> \u2014 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b\u043e<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0424\u0430\u0437\u0430 2 \u2014 <\/strong><code><strong>ClaimTask<\/strong><\/code><strong>.<\/strong> \u0423\u0437\u043a\u0430\u044f serializable-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0439 SELECT \u043f\u043e \u043f\u043e\u043b\u043d\u043e\u043c\u0443 \u043a\u043b\u044e\u0447\u0443 <code>(partition_id, priority, id)<\/code> \u2014 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u043c, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0438 \u0435\u0451 \u043d\u0435 \u0437\u0430\u0431\u0440\u0430\u043b \u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u043c\u0435\u0436\u0434\u0443 \u0444\u0430\u0437\u0430\u043c\u0438. \u0417\u0430\u0442\u0435\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f conditional UPDATE \u0441 <code>lock_value<\/code> \u0438 <code>locked_until<\/code>:<\/p>\n<pre><code class=\"go\">return r.db.Query().DoTx(ctx, func(ctx context.Context, tx query.TxActor) error {    \/\/ 1) \u041f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u043c, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u0435\u0449\u0451 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430    rs, _ := tx.Query(ctx, `        SELECT status, locked_until        FROM coordinated_tasks        WHERE partition_id = $partition_id AND priority = $priority AND id = $id`,        \/* params: partition_id, priority, id *\/)    \/\/ ... scan status, locked_until ...    claimable := status == \"pending\" ||        (status == \"locked\" &amp;&amp; currentLockedUntil != nil &amp;&amp;         currentLockedUntil.Before(time.Now().UTC()))    if !claimable {        return nil \/\/ \u0442\u0438\u0445\u043e \u0432\u044b\u0445\u043e\u0434\u0438\u043c, \u0432\u043e\u0440\u043a\u0435\u0440 \u0432\u043e\u0437\u044c\u043c\u0451\u0442\u0441\u044f \u0437\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430    }    \/\/ 2) \u0417\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u043c \u2014 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0439 UPDATE \u043f\u043e PK    return tx.Exec(ctx, `        UPDATE coordinated_tasks        SET status = 'locked',            lock_value = $lock_value,            locked_until = $locked_until        WHERE partition_id = $partition_id AND priority = $priority AND id = $id`,        \/* params *\/)}, query.WithTxSettings(query.TxSettings(query.WithSerializableReadWrite())))<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u0432\u0435 \u0444\u0430\u0437\u044b, \u0430 \u043d\u0435 \u043e\u0434\u043d\u0430?<\/strong> \u0418\u0434\u0435\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0432\u044b\u0431\u043e\u0440 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0432\u043d\u0435 serializable-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438, \u0430 \u0441\u0442\u0440\u043e\u0433\u0438\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0445\u0432\u0430\u0442\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438.<\/p>\n<p>Snapshot-\u0447\u0442\u0435\u043d\u0438\u0435 \u0441 <code>ORDER BY priority DESC LIMIT 1<\/code> \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e \u043e\u0442 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432: \u043e\u043d\u043e \u043d\u0435 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438 \u043d\u0435 \u0432\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u0441\u0435\u0440\u0438\u043b\u0438\u0437\u0443\u0435\u043c\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f\u043c\u0438. Serializable-\u0444\u0430\u0437\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0436\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u043f\u043e \u043f\u043e\u043b\u043d\u043e\u043c\u0443 PK \u2014 \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u0443\u0437\u043a\u043e\u0435 \u043e\u043a\u043d\u043e, \u0433\u0434\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u00ab\u0432\u044b\u0431\u043e\u0440 + \u0437\u0430\u0445\u0432\u0430\u0442\u00bb \u0432 \u043e\u0434\u043d\u043e\u0439 serializable-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438, \u043d\u0430 \u0433\u043e\u0440\u044f\u0447\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u0445 \u0441 \u043e\u0431\u0449\u0438\u043c\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u043c\u0438 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 TLI \u0438 \u0440\u0435\u0442\u0440\u0430\u0435\u0432.<\/p>\n<p><strong>\u0417\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u2014 <\/strong><code><strong>MarkCompleted<\/strong><\/code> \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f serializable-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f, UPDATE \u043d\u0430 <code>status = 'completed'<\/code> \u0438 <code>done_at<\/code>.<\/p>\n<p><strong>Backoff<\/strong> \u2014 \u0435\u0441\u043b\u0438 \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043d\u0435\u0442 \u0437\u0430\u0434\u0430\u0447, \u0432\u043e\u0440\u043a\u0435\u0440 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043e\u043f\u0440\u043e\u0441\u0430 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e (50ms \u2192 100ms \u2192 200ms \u2192 \u2026 \u2192 5s). \u041f\u0440\u0438 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u2014 \u0441\u0431\u0440\u043e\u0441 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443.<\/p>\n<h4>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0441\u0431\u043e\u0435\u0432<\/h4>\n<p>\u0422\u0440\u0438 \u0443\u0440\u043e\u0432\u043d\u044f \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438:<\/p>\n<ol>\n<li>\n<p><strong>\u0412\u043e\u0440\u043a\u0435\u0440 \u0443\u043f\u0430\u043b<\/strong> \u2014 \u044d\u0444\u0435\u043c\u0435\u0440\u043d\u044b\u0435 \u0441\u0435\u043c\u0430\u0444\u043e\u0440\u044b \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u044e\u0442\u0441\u044f, \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u0417\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u0438\u0441\u0442\u0451\u043a\u0448\u0438\u043c <code>locked_until<\/code> \u0441\u043d\u043e\u0432\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>Coordination session \u043f\u043e\u0442\u0435\u0440\u044f\u043d\u0430<\/strong> \u2014 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0435\u0440 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0435\u0442 <code>session.Context().Done()<\/code>, \u043f\u0435\u0440\u0435\u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0441\u0441\u0438\u044e, \u043f\u0435\u0440\u0435\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0437\u0430\u0445\u0432\u0430\u0442 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 \u0437\u0430\u0432\u0438\u0441\u043b\u0430<\/strong> \u2014 <code>locked_until<\/code> \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0447\u0435\u0440\u0435\u0437 N \u0441\u0435\u043a\u0443\u043d\u0434 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 5) \u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u043f\u0435\u0440\u0435\u0445\u0432\u0430\u0442\u0438\u0442 \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c<\/h4>\n<ul>\n<li>\n<p>\u041d\u0443\u0436\u043d\u044b \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u044b \u0438 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a<\/p>\n<\/li>\n<li>\n<p>\u041a\u0440\u0438\u0442\u0438\u0447\u043d\u0430 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u044c: \u043d\u0438 \u043e\u0434\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c\u0441\u044f<\/p>\n<\/li>\n<li>\n<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u2014 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0442 1 \u0434\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u041d\u0443\u0436\u0435\u043d \u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/li>\n<\/ul>\n<h4>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/h4>\n<ul>\n<li>\n<p>\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438<\/p>\n<\/li>\n<li>\n<p>\u0412\u043d\u0443\u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 polling (\u043d\u0435\u0442 push-\u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0439 \u043e \u043d\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445)<\/p>\n<\/li>\n<li>\n<p>\u0427\u0438\u0441\u043b\u043e \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043e (256) \u2014 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e DLQ \u2014 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e<\/p>\n<\/li>\n<\/ul>\n<h4>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u0441\u0442\u0430<\/h4>\n<p>\u0414\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043e\u0431\u0430 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e\u0442\u0434\u0430\u044e\u0442 Prometheus-\u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 <code>:9090\/metrics<\/code>: target \u0438 observed rate, \u0440\u0430\u0437\u043c\u0435\u0440 batch \u0438 <code>Backpressure<\/code> \u0443 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430, \u0447\u0438\u0441\u043b\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439, locked\/processed\/errors \u0438 \u0441\u0442\u0430\u0442\u0443\u0441\u044b \u043e\u0442\u0432\u0435\u0442\u043e\u0432 API Gateway \u0443 \u0432\u043e\u0440\u043a\u0435\u0440\u0430.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/44\/5e\/1a\/445e1ae0271fa82d3cf1e02068c39c3b.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/44\/5e\/1a\/445e1ae0271fa82d3cf1e02068c39c3b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/44\/5e\/1a\/445e1ae0271fa82d3cf1e02068c39c3b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0442\u0435\u0441\u0442\u0430 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 \u043d\u0430 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u0432\u043e\u0440\u043a\u0435\u0440\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 80%, \u0447\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Instance Group, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0434\u0430\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f CPU &gt; 70%. \u041a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u043e\u0440\u043a\u0435\u0440, \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438. \u0412 \u043f\u0438\u043a\u0435 \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f 4 \u0432\u043e\u0440\u043a\u0435\u0440\u0430, \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u043e\u0437\u0436\u0435 IG \u0440\u0435\u0448\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0440\u0435\u0445 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/83\/c7\/ea\/83c7eae9d81eb01e38dacc2f812d63b9.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/83\/c7\/ea\/83c7eae9d81eb01e38dacc2f812d63b9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/83\/c7\/ea\/83c7eae9d81eb01e38dacc2f812d63b9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u0442\u0441\u044f \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440. \u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u0432\u0441\u0435 256 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440. \u041a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u043e\u0440\u043a\u0435\u0440, \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430: \u0432\u043e\u0440\u043a\u0435\u0440 1 \u043e\u0442\u0434\u0430\u0435\u0442 \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 \u0432\u043e\u0440\u043a\u0435\u0440\u0443 2. (\u041a\u0440\u0430\u0441\u043d\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a \u043f\u0430\u0434\u0430\u0435\u0442, \u0441\u0438\u043d\u0438\u0439 \u0440\u0430\u0441\u0442\u0435\u0442). \u0414\u0430\u043b\u0435\u0435 \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0443 \u043f\u0440\u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 instance group.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/6b\/2d\/53\/6b2d5350f53b316af3dfcd8057199683.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/6b\/2d\/53\/6b2d5350f53b316af3dfcd8057199683.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/6b\/2d\/53\/6b2d5350f53b316af3dfcd8057199683.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441\u0438\u043d\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u043e\u043c, \u0437\u0435\u043b\u0435\u043d\u044b\u043c \u2014 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432\u043e\u0440\u043a\u0435\u0440\u044b \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 500 \u0437\u0430\u0434\u0430\u0447 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/b0\/9b\/07\/b09b07fba7e41ec6ecb80174b8b4f06d.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/b0\/9b\/07\/b09b07fba7e41ec6ecb80174b8b4f06d.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/b0\/9b\/07\/b09b07fba7e41ec6ecb80174b8b4f06d.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0418 \u043d\u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 API Gateway, \u043a\u0443\u0434\u0430 \u0432\u043e\u0440\u043a\u0435\u0440\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442 HTTP-\u0437\u0430\u043f\u0440\u043e\u0441\u044b. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u043d \u0442\u0430\u043a \u0436\u0435 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 500 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0412\u0441\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0433\u0440\u0430\u0444\u0438\u043a \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0443\u0441\u0442. \u0422\u0430\u043a \u0436\u0435 \u0432\u0438\u0434\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043f\u0435\u0440\u0441\u0435\u043d\u0442\u0438\u043b\u044f\u043c \u0432\u0440\u0435\u043c\u0435\u043d \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<hr\/>\n<h3>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u0422\u0430\u0431\u043b\u0438\u0446\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">CDC<\/p>\n<\/th>\n<th>\n<p align=\"left\">Topic API<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Pull (polling)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Push (changefeed)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Push (topic)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Pull (per partition)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u044b<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0438<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">At-least-once<\/p>\n<\/td>\n<td>\n<p align=\"left\">At-least-once<\/p>\n<\/td>\n<td>\n<p align=\"left\">At-least-once<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0420\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">Consumer groups<\/p>\n<\/td>\n<td>\n<p align=\"left\">Consumer groups<\/p>\n<\/td>\n<td>\n<p align=\"left\">Coordination API<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>TLI-\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u043e\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0418\u0437\u043e\u043b\u044f\u0446\u0438\u044f \u043f\u043e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0438\u0437\u043a\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u044f\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0441\u043e\u043a\u0430\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>YDB-\u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Query API<\/p>\n<\/td>\n<td>\n<p align=\"left\">Query + CDC + Topic<\/p>\n<\/td>\n<td>\n<p align=\"left\">Topic Writer\/Reader<\/p>\n<\/td>\n<td>\n<p align=\"left\">Query + Coordination<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<hr\/>\n<h3>\u041a\u0430\u043a \u0432\u044b\u0431\u0440\u0430\u0442\u044c<\/h3>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/c5\/f0\/da\/c5f0da99eba378fdbdae5f2866455f97.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/c5\/f0\/da\/c5f0da99eba378fdbdae5f2866455f97.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/c5\/f0\/da\/c5f0da99eba378fdbdae5f2866455f97.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0422\u0440\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0430:<\/p>\n<ul>\n<li>\n<p><strong>\u0423\u0436\u0435 \u043f\u0438\u0448\u0435\u0442\u0435 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443?<\/strong> \u0414\u043e\u0431\u0430\u0432\u044c\u0442\u0435 changefeed \u2014 \u0438 \u0443 \u0432\u0430\u0441 \u043f\u043e\u0434\u0445\u043e\u0434 2 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0443\u0436\u0435\u043d \u0432\u044b\u0441\u043e\u043a\u0438\u0439 throughput \u0441 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u043c \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439?<\/strong> Topic API \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043a\u043b\u044e\u0447\u043e\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f (\u043f\u043e\u0434\u0445\u043e\u0434 3).<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0443\u0436\u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0434\u0430\u0447?<\/strong> \u0418\u043d\u0432\u0435\u0441\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 (\u043f\u043e\u0434\u0445\u043e\u0434 4).<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>YDB \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u2014 \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e <code>UPSERT<\/code> \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0434\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u043c\u0430\u0444\u043e\u0440\u043e\u0432. \u0412\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u0440\u043e\u043a\u0435\u0440 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d: \u0442\u0430\u0431\u043b\u0438\u0446\u044b, changefeed, \u0442\u043e\u043f\u0438\u043a\u0438 \u0438 coordination nodes \u0443\u0436\u0435 \u0434\u0430\u044e\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0432 \u0435\u0434\u0438\u043d\u043e\u0439 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0441 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u044b\u043c\u0438 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f\u043c\u0438.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: <strong>\u043d\u0430\u0447\u0438\u043d\u0430\u0439\u0442\u0435 \u0441 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e<\/strong>. \u0422\u0430\u0431\u043b\u0438\u0446\u0430 + CDC \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432. \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 Topic API \u2014 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433, \u043a\u043e\u0433\u0434\u0430 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u044f \u0437\u0430 \u0433\u043e\u0440\u044f\u0447\u0438\u0435 \u043a\u043b\u044e\u0447\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439. \u041a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u044b \u2014 \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0441 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u0430\u043c\u0438 \u0438 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f\u043c\u0438.<\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u0438\u043d \u0432\u0430\u0436\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434: <strong>\u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0430 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a \u0434\u0430\u043d\u043d\u044b\u043c<\/strong> \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439. \u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0438\u0437 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 3 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u043f\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043a\u043b\u044e\u0447\u0435 TLI \u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u043e \u043d\u0443\u043b\u044f.<\/p>\n<p>\u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0432 <a href=\"https:\/\/github.com\/nikolaymatrosov\/async-tasks-ydb\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a> \u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0441 YDB \u0432 Docker.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1068012\/\">https:\/\/habr.com\/ru\/articles\/1068012\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u043e\u0439 \u0431\u044d\u043a\u0435\u043d\u0434 \u0440\u0430\u043d\u043e \u0438\u043b\u0438 \u043f\u043e\u0437\u0434\u043d\u043e \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0437\u0430\u0434\u0430\u0447: \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c email \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u044b, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u044e. \u0427\u0430\u0441\u0442\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u2014 RabbitMQ, Kafka, Redis-\u043e\u0447\u0435\u0440\u0435\u0434\u0438. \u041d\u043e \u0435\u0441\u043b\u0438 \u0432\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u0436\u0438\u0432\u0443\u0442 \u0432 YDB, \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b \u0443\u0436\u0435 \u0440\u044f\u0434\u043e\u043c: \u0442\u0430\u0431\u043b\u0438\u0446\u044b, changefeed, \u0442\u043e\u043f\u0438\u043a\u0438 \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043d\u043e\u0434\u044b.\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0437\u0430\u0434\u0430\u0447 \u2014 \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0434\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b, \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u043e\u0439 \u0434\u043b\u044f production-\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e, \u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438. \u0412\u043c\u0435\u0441\u0442\u043e \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u2014 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043a\u043e\u0434 \u043d\u0430 Go \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c ydb-go-sdk.\u041f\u043e\u0434\u0445\u043e\u0434 1. \u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u043a\u0430\u043a \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0434\u0430\u0447\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u2014 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0430 \u043f\u043e\u0442\u043e\u043c \u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0451 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u043c.\u0421\u0445\u0435\u043c\u0430CREATE TABLE tasks (    id UUID NOT NULL,    payload String NOT NULL,    created_at Timestamp NOT NULL,    done_at Timestamp,    PRIMARY KEY (id));\u041a\u043e\u043b\u043e\u043d\u043a\u0430 done_at \u043f\u0443\u0441\u0442\u0430\u044f \u0443 \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u0442\u0440\u043e\u043a\u0438 \u0441 done_at IS NULL, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f.\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0445 \u0447\u0435\u0440\u0435\u0437 UPSERT:pool := pond.NewPool(*parallelism,    pond.WithContext(ctx),    pond.WithQueueSize(*parallelism),)for {    err := pool.Go(func() {        id := uuid.New()        payload := generatePayload(*payloadSize)        db.Query().Exec(ctx,            `UPSERT INTO tasks (id, payload, created_at)             VALUES ($id, $payload, $created_at)`,            query.WithParameters(                ydb.ParamsBuilder().                    Param(&#171;$id&#187;).Uuid(id).                    Param(&#171;$payload&#187;).Bytes(payload).                    Param(&#171;$created_at&#187;).Timestamp(time.Now()).                    Build(),            ),        )    })    if err != nil {        break \/\/ \u043f\u0443\u043b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d (Ctrl-C)    }}\u041f\u0443\u043b \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 \u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 pond \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c. WithContext(ctx) \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u043f\u0443\u043b \u043f\u0440\u0438 \u043e\u0442\u043c\u0435\u043d\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e Ctrl-C), \u0430 WithQueueSize \u0434\u0435\u0440\u0436\u0438\u0442 \u0431\u0443\u0444\u0435\u0440 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043d\u0435 \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u043b \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043e\u0436\u0438\u0434\u0430\u044e\u0449\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.\u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043e\u0434\u043d\u0443 \u0432\u0441\u0442\u0430\u0432\u043a\u0443 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0443\u043b. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441 $id, $payload, $created_at \u0437\u0430\u0449\u0438\u0449\u0430\u044e\u0442 \u043e\u0442 SQL-\u0438\u043d\u044a\u0435\u043a\u0446\u0438\u0439 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 YDB \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043b\u0430\u043d \u0437\u0430\u043f\u0440\u043e\u0441\u0430.\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0442\u0435\u043b\u0435\u043c\u0435\u0442\u0440\u0438\u044e: \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u0438 totalRows, totalBytes, totalDuration. \u0412 \u043a\u043e\u043d\u0446\u0435 \u043e\u043d \u043f\u0435\u0447\u0430\u0442\u0430\u0435\u0442 rows\/sec, throughput \u0432 Mbps \u0438 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u2014 \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b -parallelism \u0438 -payload-size \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.\u0417\u0430\u0447\u0435\u043c UPSERT, \u0430 \u043d\u0435 INSERTUPSERT (INSERT OR REPLACE) \u2014 \u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u0437\u0430\u043f\u0440\u043e\u0441 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0441\u044f \u0441 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0438 \u043a\u043b\u0438\u0435\u043d\u0442 \u043d\u0435 \u0437\u043d\u0430\u0435\u0442, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0430\u0441\u044c \u043b\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0430, \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435. \u0414\u043b\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u0441\u0442 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442.\u041a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0417\u0430\u0434\u0430\u0447\u0438 \u043d\u0435 \u0441\u0440\u043e\u0447\u043d\u044b\u0435, \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u0430\u041e\u0434\u0438\u043d \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432 \u0441 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u043e\u0439\u041e\u0431\u044a\u0451\u043c \u0437\u0430\u0434\u0430\u0447 \u043d\u0435\u0432\u0435\u043b\u0438\u043a (\u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0442\u044b\u0441\u044f\u0447 \u0432 \u043c\u0438\u043d\u0443\u0442\u0443)\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044fPolling. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 (SELECT &#8230; WHERE done_at IS NULL). \u041c\u0435\u0436\u0434\u0443 \u0432\u0441\u0442\u0430\u0432\u043a\u043e\u0439 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0432\u0441\u0435\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u043f\u0430\u0443\u0437\u0430, \u0440\u0430\u0432\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0443 \u043e\u043f\u0440\u043e\u0441\u0430.Hotspot. \u0412\u0441\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0442 \u0437\u0430 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0441\u0442\u0440\u043e\u043a\u0438. \u041f\u0440\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0435 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u0442 \u043a \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430\u043c \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439.\u041d\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 UUID \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438. \u041d\u0435\u0442 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043e\u0432, \u043d\u0435\u0442 FIFO.\u041d\u0435\u0442 push-\u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0439. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043d\u0435 \u0443\u0437\u043d\u0430\u0435\u0442 \u043e \u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0441\u043f\u0440\u043e\u0441\u0438\u0442.\u0410 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0431\u0430\u0437\u0430 \u0441\u0430\u043c\u0430 \u043c\u043e\u0433\u043b\u0430 \u0431\u044b \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u044f\u0442\u044c \u043e \u043d\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445?\u041f\u043e\u0434\u0445\u043e\u0434 2. CDC \u2014 \u0440\u0435\u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 changefeedYDB \u0443\u043c\u0435\u0435\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432 \u0442\u043e\u043f\u0438\u043a. \u042d\u0442\u043e\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Change Data Capture (CDC). \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c changefeed \u043d\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u2014 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 INSERT \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u0432 \u0442\u043e\u043f\u0438\u043a\u0435.\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430ALTER TABLE tasks ADD CHANGEFEED cdc_tasks WITH (    FORMAT = &#8216;JSON&#8217;,    MODE = &#8216;NEW_IMAGE&#8217;);MODE = &#8216;NEW_IMAGE&#8217; \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u043f\u0430\u0434\u0451\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u0441\u043b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 tasks \u043a\u0430\u043a \u0440\u0430\u043d\u044c\u0448\u0435 \u2014 \u0435\u0433\u043e \u043a\u043e\u0434 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u043e\u0431\u0449\u0435. \u041d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043a\u0430\u0436\u0434\u0430\u044f \u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442 CDC-\u0441\u043e\u0431\u044b\u0442\u0438\u0435.\u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440CDC-\u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043a \u0442\u043e\u043f\u0438\u043a\u0443 \u0447\u0435\u0440\u0435\u0437 Topic API:reader, err := db.Topic().StartReader(    *consumer,    topicoptions.ReadTopic(topicPath),)\u0418 \u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438 \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0446\u0438\u043a\u043b\u0435:for {    batch, err := reader.ReadMessagesBatch(ctx)    if err != nil { &#8230; }    for _, msg := range batch.Messages {        \/\/ \u041f\u0430\u0440\u0441\u0438\u043c CDC-\u0441\u043e\u0431\u044b\u0442\u0438\u0435        var cdc cdcMessage        json.Unmarshal(data, &amp;cdc)        \/\/ DELETE-\u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u043c (newImage \u043f\u0443\u0441\u0442)        if len(cdc.NewImage) == 0 {            continue        }        \/\/ \u0418\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c ID \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 \u043a\u043b\u044e\u0447\u0430        rowID, _ := uuid.Parse(cdc.Key[0])        \/\/ \u042d\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443        time.Sleep(*workDelay)        \/\/ \u041f\u043e\u043c\u0435\u0447\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439        db.Query().Exec(ctx,            `UPSERT INTO tasks (id, payload, created_at, done_at)             VALUES ($id, &#187;, $created_at, CurrentUtcTimestamp())`,            query.WithParameters(                ydb.ParamsBuilder().                    Param(&#171;$id&#187;).Uuid(rowID).                    Param(&#171;$created_at&#187;).Timestamp(createdAtTime).                    Build(),            ),        )    }    \/\/ \u041a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u043e\u0444\u0444\u0441\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u043f\u0430\u043a\u0435\u0442\u0430    reader.Commit(ctx, batch)}\u0424\u043e\u0440\u043c\u0430\u0442 CDC-\u0441\u043e\u0431\u044b\u0442\u0438\u0439\u041a\u0430\u0436\u0434\u043e\u0435 CDC-\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u2014 JSON:{  &#171;key&#187;: [&#171;550e8400-e29b-41d4-a716-446655440000&#187;],  &#171;newImage&#187;: {    &#171;id&#187;: &#171;550e8400-e29b-41d4-a716-446655440000&#187;,    &#171;payload&#187;: &#171;&#8230;&#187;,    &#171;created_at&#187;: &#171;2026-03-31T12:00:00.000000Z&#187;  }}\u0414\u043b\u044f INSERT-\u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e\u043b\u0435 update \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442, \u0434\u043b\u044f UPDATE\/DELETE \u043e\u043d\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442. \u0414\u043b\u044f DELETE \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e newImage \u0431\u0443\u0434\u0435\u0442 null \u0438\u043b\u0438 \u043f\u0443\u0441\u0442\u044b\u043c. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u043e len(newImage) == 0, \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f INSERT\/UPDATE.\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438\u041f\u0430\u0442\u0442\u0435\u0440\u043d at-least-once: \u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0430\u043a\u0435\u0442 \u2192 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u2192 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u043e\u0444\u0444\u0441\u0435\u0442. \u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0443\u043f\u0430\u043b \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0438 \u043a\u043e\u043c\u043c\u0438\u0442\u043e\u043c, \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043e\u043d \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0430\u043a\u0435\u0442. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 UPSERT, \u0430 \u043d\u0435 UPDATE \u2014 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0442\u0435\u0445 \u0436\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u0430.Consumer groups \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044e\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0430: \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0444\u0444\u0441\u0435\u0442\u0430.\u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u043e\u043f\u0443\u0449\u0435\u043d\u0430, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u043a\u043e\u0434. \u0412 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e: json.Unmarshal, uuid.Parse, UPSERT \u0438 Commit.\u0414\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u0438 processed, skipped \u0438 errors, \u0430 \u0444\u043e\u043d\u043e\u0432\u0430\u044f goroutine \u0440\u0430\u0437 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u043f\u0435\u0447\u0430\u0442\u0430\u0435\u0442 \u0438\u0445 \u0432 \u043b\u043e\u0433\u0430\u0445. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0444\u0444\u0441\u0435\u0442 \u043f\u0430\u043a\u0435\u0442\u0430 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u0441\u044f \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u0448\u0438\u0431\u043e\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439: \u0438\u043d\u0430\u0447\u0435 \u043e\u0434\u043d\u0430 \u0441\u0431\u043e\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u043c\u043e\u0433\u043b\u0430 \u0431\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0432\u0441\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e.\u0423 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u0446\u0435\u043d\u0430: \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u043d\u043e. \u0414\u043b\u044f best-effort \u0437\u0430\u0434\u0430\u0447 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u043a\u0435\u0448, \u0432\u0442\u043e\u0440\u0438\u0447\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0442\u044c. \u041d\u043e \u0434\u043b\u044f \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0445 \u0431\u0438\u0437\u043d\u0435\u0441-\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043b\u043e\u0445\u043e\u0439 \u0438\u0434\u0435\u0435\u0439. \u041e\u043d \u043d\u0435 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u0434\u043b\u044f \u0431\u0438\u043b\u043b\u0438\u043d\u0433\u0430, \u043f\u043b\u0430\u0442\u0435\u0436\u0435\u0439, \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043d\u0435\u043e\u0431\u0440\u0430\u0442\u0438\u043c\u044b\u0445 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0432\u044b\u0437\u043e\u0432\u043e\u0432 \u0438 \u0437\u0430\u0434\u0430\u0447, \u0433\u0434\u0435 \u043f\u043e\u0442\u0435\u0440\u044f \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.\u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043d\u0430 \u0434\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0430:\u0412\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0441\u0431\u043e\u0438: \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u0431\u0430\u0437\u0430, \u0443\u043f\u0430\u043b \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u0438\u0441\u0442\u0451\u043a timeout. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0444\u0444\u0441\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043d\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c, \u0447\u0442\u043e\u0431\u044b Topic API \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430 \u0438\u043b\u0438 \u0440\u0435\u0442\u0440\u0430\u044f.\u041d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f: \u0431\u0438\u0442\u044b\u0439 JSON, \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0441\u0445\u0435\u043c\u044b, \u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0439 payload. \u0418\u0445 \u043b\u0443\u0447\u0448\u0435 \u043f\u0435\u0440\u0435\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0438\u043b\u0438 DLQ \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c payload, \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0441\u0431\u043e\u044f, \u0430 \u043e\u0444\u0444\u0441\u0435\u0442 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 DLQ.\u0415\u0441\u043b\u0438 \u0432\u0430\u0436\u0435\u043d \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0434\u0430\u0436\u0435 DLQ \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e: \u043f\u0440\u043e\u043f\u0443\u0441\u043a \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u043e\u0433\u043d\u0430\u0442\u044c \u0435\u0433\u043e. \u0422\u043e\u0433\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c alert \u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0432\u0440\u0443\u0447\u043d\u0443\u044e. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u044b retry \u0441 backoff, \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u043f\u043e\u043f\u044b\u0442\u043e\u043a \u0438 \u044f\u0432\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0443\u0441 \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0441\u0442\u043e\u0438\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u043f\u043e\u0434\u0445\u043e\u0434\u0443 4 \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0437\u0430\u0434\u0430\u0447 \u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438.\u0427\u0442\u043e \u0440\u0435\u0448\u0430\u0435\u0442 CDCPush \u0432\u043c\u0435\u0441\u0442\u043e polling. \u041a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0431\u0435\u0437 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u043e\u043f\u0440\u043e\u0441\u0430.\u041d\u0443\u043b\u0435\u0432\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0435. Changefeed \u2014 \u044d\u0442\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a \u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0430. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u0434 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c.\u0412\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c. Topic API \u0441\u0430\u043c \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u0440\u0435\u0442\u0440\u0430\u044f\u043c\u0438.\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f CDC\u041d\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u041f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 CDC-\u0442\u043e\u043f\u0438\u043a\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0430 \u043d\u0435 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u043e\u0439. \u0412\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e.\u041a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b \u043f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438. \u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0443 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043e\u0431\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0447\u0451\u0442\u0447\u0438\u043a per-user), \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435.\u041f\u0440\u0438\u0432\u044f\u0437\u043a\u0430 \u043a \u0441\u0445\u0435\u043c\u0435. \u0424\u043e\u0440\u043c\u0430\u0442 changefeed \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u0430.\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0442\u043e\u043f\u0438\u043a\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e.\u041f\u043e\u0434\u0445\u043e\u0434 3. Topic API \u2014 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044fCDC \u0434\u0430\u0451\u0442 push-\u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0437\u0430\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439. \u041f\u0440\u044f\u043c\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 Topic API \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c: \u0432\u044b \u0441\u0430\u043c\u0438 \u0440\u0435\u0448\u0430\u0435\u0442\u0435, \u0432 \u043a\u0430\u043a\u0443\u044e \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u043f\u043e\u043f\u0430\u0434\u0451\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435.\u0417\u0430\u0447\u0435\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440 \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f read-modify-write (RMW) \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430\u043d\u044b \u043f\u043e \u0440\u0430\u0437\u043d\u044b\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u0432 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443. \u0412 YDB \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a Transaction Level Incompatibility (TLI) \u2014 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f \u043e\u0442\u043a\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f.\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043f\u043e\u043f\u0430\u0434\u0430\u043b\u0438 \u0432 \u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u043e\u0434\u043d\u0438\u043c \u043a\u043e\u043d\u0441\u044c\u044e\u043c\u0435\u0440\u043e\u043c.\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u041f\u0440\u043e\u0434\u044e\u0441\u0435\u0440 \u043f\u0438\u0448\u0435\u0442 \u0432 \u0442\u043e\u043f\u0438\u043a \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u043f\u0440\u0438\u0432\u044f\u0437\u044b\u0432\u0430\u044f writer \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438:func hashKey(key string, partitions int) int64 {    return int64(murmur3.Sum64([]byte(key)) % uint64(partitions))}\/\/ \u041f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 writer \u043d\u0430&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-490181","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490181","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=490181"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490181\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=490181"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=490181"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=490181"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}