{"id":317854,"date":"2021-02-11T15:00:45","date_gmt":"2021-02-11T15:00:45","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=317854"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=317854","title":{"rendered":"ClickHouse: \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d MergeTree"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p>\u041c\u043e\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 ClickHouse \u043a\u0430\u043a \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0434\u043b\u044f 100 \u043c\u043b\u0440\u0434 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0441&nbsp;\u0442\u0440\u0430\u0444\u0438\u043a\u043e\u043c \u043f\u043e&nbsp;300 \u043c\u043b\u043d \u0432&nbsp;\u0441\u0443\u0442\u043a\u0438 \u0438&nbsp;\u043f\u043e\u0438\u0441\u043a\u043e\u043c \u043f\u043e&nbsp;\u0442\u0430\u0431\u043b\u0438\u0446\u0435. \u042f&nbsp;\u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u043e\u0431&nbsp;\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0434\u0432\u0438\u0436\u043a\u0430 \u0442\u0430\u0431\u043b\u0438\u0446 MergeTree. \u0420\u0430\u0441\u0441\u043a\u0430\u0437 \u0431\u0443\u0434\u0443 \u0432\u0435\u0441\u0442\u0438, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430&nbsp;\u043d\u0435&nbsp;\u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0435 \u0441\u0445\u0435\u043c\u044b. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ug\/mz\/fk\/ugmzfklgszyykodzdnhri591s5m.jpeg\"><a name=\"habracut\"><\/a>  <\/p>\n<p>MergeTree&nbsp;&mdash; \u044d\u0442\u043e \u0441\u0435\u0440\u0434\u0446\u0435 ClickHouse, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0432\u0438\u0436\u043a\u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435. \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043e\u0442\u0441\u044b\u043b\u0430\u0435\u0442 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/LSM-%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE\" rel=\"nofollow noopener noreferrer\">\u043a&nbsp;LSM-\u0434\u0435\u0440\u0435\u0432\u0443<\/a>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0434\u0430\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432&nbsp;\u0434\u0440\u0443\u0433\u0438\u0445 \u0421\u0423\u0411\u0414.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ib\/d8\/nt\/ibd8nt2h6mg9tyy5nhrwj25-u-0.jpeg\"><br \/>  <em>\u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0440\u0435\u0448\u0430\u0435\u0442, \u0434\u0430\u0436\u0435 \u0434\u043b\u044f SSD<\/em><\/p>\n<p>  <\/p>\n<p>ClickHouse \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0441\u044f \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438, \u043f\u043e\u0434 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0438&nbsp;\u0447\u0442\u0435\u043d\u0438\u044f. \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432&nbsp;\u043a\u043e\u043d\u0435\u0446 \u0444\u0430\u0439\u043b\u0430, \u0431\u0435\u0437 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f \u0432\u0441\u044f\u043a\u0438\u0445 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u0438&nbsp;\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 seek\u2019\u043e\u0432, \u043d\u043e&nbsp;\u043a\u0430\u043a \u0431\u0435\u0437 \u043d\u0438\u0445 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f? \u0412\u0435\u0434\u044c \u043f\u043e\u0438\u0441\u043a \u043f\u043e&nbsp;\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0431\u0435\u0437 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0431\u044b\u0441\u0442\u0440\u044b\u043c \u0431\u044b\u0442\u044c \u043d\u0435&nbsp;\u043c\u043e\u0436\u0435\u0442. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u043d\u0443\u0436\u043d\u043e \u043b\u0438\u0431\u043e \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u0442\u044c \u0432&nbsp;\u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0441\u0442\u0430\u0432\u043a\u0438, \u043b\u0438\u0431\u043e \u0444\u0443\u043b\u043b\u0441\u043a\u0430\u043d\u0438\u0442\u044c \u0432&nbsp;\u043c\u043e\u043c\u0435\u043d\u0442 \u0447\u0442\u0435\u043d\u0438\u044f. \u041e\u0431\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0433\u0440\u043e\u0431\u044f\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c. ClickHouse \u0440\u0435\u0448\u0438\u043b \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435: \u0432&nbsp;\u0444\u043e\u043d\u0435.<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a \u0438&nbsp;\u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u0432&nbsp;\u0432\u0438\u0434\u0435 MergeTree: \u043f\u0438\u0448\u0435\u043c \u043d\u0430&nbsp;\u0434\u0438\u0441\u043a \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u0443\u0441\u043a\u0438 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 ClickHouse \u0441\u043b\u0438\u0432\u0430\u0435\u0442 \u0432&nbsp;\u0444\u043e\u043d\u0435 \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>  <\/p>\n<p>\u041a\u043e\u043d\u0446\u0435\u043f\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u0434\u0435\u044f, \u043d\u0430\u0434\u0435\u044e\u0441\u044c, \u044f\u0441\u043d\u0430, \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c \u043a&nbsp;\u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u044e \u0440\u0430\u0431\u043e\u0442\u044b MergeTree \u043f\u043e\u0434&nbsp;\u043c\u0438\u043a\u0440\u043e\u0441\u043a\u043e\u043f\u043e\u043c.<\/p>\n<p>  <\/p>\n<h2 id=\"laboratornaya-rabota\">\u041b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430<\/h2>\n<p>  <\/p>\n<p>\u0414\u043e\u0441\u0442\u0430\u043d\u0435\u043c \u0438\u0437-\u043f\u043e\u0434 \u043f\u0430\u0440\u0442\u044b ClickHouse \u0432\u0435\u0440\u0441\u0438\u0438 20.8.9.6 \u0438&nbsp;\u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441&nbsp;\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043a\u043e\u043b\u043e\u043d\u043e\u043a. \u0412&nbsp;\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u0432\u044b\u0431\u0435\u0440\u0435\u043c user_id. ClickHouse \u0441\u043e\u0437\u0434\u0430\u043b \u043f\u0430\u043f\u043a\u0443 \/var\/lib\/clickhouse\/data\/default\/clicks.<\/p>\n<p>  <\/p>\n<p><em>\u041f\u0440\u043e index_granularity&nbsp;&mdash; \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435.<\/em><\/p>\n<p>  <\/p>\n<pre><code class=\"sql\">create table clicks (     date      DateTime,     user_id   Int64,     banner_id String ) engine = MergeTree() order by user_id settings index_granularity = 2; <\/code><\/pre>\n<p>  <\/p>\n<p>\u0412\u0441\u0442\u0430\u0432\u0438\u043c 10&nbsp;\u0441\u0442\u0440\u043e\u0447\u0435\u043a:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">+-------------------+-------+---------+ |date               |user_id|banner_id| +-------------------+-------+---------+ |2021-01-01 15:43:58|157    |lqe(|    | |2021-01-01 15:45:38|289    |freed    | |2021-01-01 15:47:18|421    |08&amp;N0    | |2021-01-01 15:48:58|553    |n5UD$    | |2021-01-01 15:50:38|685    |1?!Up    | |2021-01-01 15:52:18|817    |caHy6    | |2021-01-01 15:53:58|949    |maXZD    | |2021-01-01 15:55:38|1081   |Fx:BO    | |2021-01-01 15:57:18|1213   |\\v8j+    | |2021-01-01 15:58:58|1345   |szEG)    | +-------------------+-------+---------+ <\/code><\/pre>\n<p>  <\/p>\n<p>\u041d\u0430&nbsp;\u0434\u0438\u0441\u043a\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043e\u0434\u0438\u043d \u043a\u0443\u0441\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 (data part) all_1_1_0. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0438\u0437&nbsp;\u0447\u0435\u0433\u043e \u043e\u043d&nbsp;\u0441\u043e\u0441\u0442\u043e\u0438\u0442:<\/p>\n<p>  <\/p>\n<ul>\n<li>all&nbsp;&mdash; \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432&nbsp;CREATE TABLE \u043c\u044b&nbsp;\u043d\u0435&nbsp;\u0437\u0430\u0434\u0430\u043b\u0438, \u0432\u0441\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432&nbsp;\u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438.<\/li>\n<li>1_1&nbsp;&mdash; \u044d\u0442\u043e \u0441\u0440\u0435\u0437 \u0431\u043b\u043e\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432&nbsp;\u043f\u0430\u0440\u0442\u0435.<\/li>\n<li>0&nbsp;&mdash; \u044d\u0442\u043e \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0432&nbsp;\u0434\u0435\u0440\u0435\u0432\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0439. \u041d\u0443\u043b\u0435\u0432\u043e\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0443&nbsp;\u043f\u0435\u0440\u0432\u044b\u0445 \u00ab\u043f\u0440\u043e\u0442\u043e\u043f\u0430\u0440\u0442\u043e\u0432\u00bb, \u0435\u0441\u043b\u0438 \u0434\u0432\u0430 \u043f\u0430\u0440\u0442\u0430 \u0441\u043b\u0438\u0442\u044c, \u0442\u043e&nbsp;\u0438\u0445&nbsp;\u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u0441\u044f \u043d\u0430&nbsp;1.<\/li>\n<\/ul>\n<p>  <\/p>\n<pre><code class=\"bash\">all_1_1_0\/ \u251c\u2500\u2500 banner_id.bin \u251c\u2500\u2500 banner_id.mrk2 \u251c\u2500\u2500 checksums.txt \u251c\u2500\u2500 columns.txt \u251c\u2500\u2500 count.txt \u251c\u2500\u2500 date.bin \u251c\u2500\u2500 date.mrk2 \u251c\u2500\u2500 primary.idx \u251c\u2500\u2500 user_id.bin \u2514\u2500\u2500 user_id.mrk2 <\/code><\/pre>\n<p>  <\/p>\n<p>\u041f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 primary.idx \u0438&nbsp;\u043f\u043e&nbsp;\u0434\u0432\u0430 \u0444\u0430\u0439\u043b\u0430 \u043d\u0430&nbsp;\u043a\u0430\u0436\u0434\u0443\u044e \u043a\u043e\u043b\u043e\u043d\u043a\u0443: mrk2 \u0438&nbsp;bin.<\/p>\n<p>  <\/p>\n<ul>\n<li>columns.txt&nbsp;&mdash; \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e&nbsp;\u043a\u043e\u043b\u043e\u043d\u043a\u0430\u0445.<\/li>\n<li>count.txt&nbsp;&mdash; \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0440\u043e\u043a \u0432&nbsp;\u043a\u0443\u0441\u043a\u0435.<\/li>\n<\/ul>\n<p>  <\/p>\n<h3 id=\"pervichnyy-indeks-primaryidx-onnbspzhe-razrezhyonnyy\">\u041f\u0435\u0440\u0432\u0438\u0447\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 primary.idx, \u043e\u043d&nbsp;\u0436\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0451\u043d\u043d\u044b\u0439<\/h3>\n<p>  <\/p>\n<p>\u0412&nbsp;primary.idx \u043b\u0435\u0436\u0430\u0442 \u0437\u0430\u0441\u0435\u0447\u043a\u0438: \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430, \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432&nbsp;CREATE TABLE, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 index_granularity \u0441\u0442\u0440\u043e\u043a\u0438: \u0434\u043b\u044f \u0441\u0442\u0440\u043e\u043a\u0438&nbsp;0, index_granularity, index_granularity*2 \u0438&nbsp;\u0442.\u0434. \u0420\u0430\u0437\u043c\u0435\u0440 \u0433\u0440\u0430\u043d\u0443\u043b\u044b index_granularity&nbsp;&mdash; \u044d\u0442\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 primary.idx. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 ClickHouse \u0447\u0438\u0442\u0430\u0435\u0442 \u0441&nbsp;\u0434\u0438\u0441\u043a\u0430 \u0446\u0435\u043b\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0440\u0430\u043d\u0443\u043b. \u0415\u0441\u043b\u0438 \u0437\u0430\u0434\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0433\u0440\u0430\u043d\u0443\u043b\u044b, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0448\u043d\u0438\u0445 \u0441\u0442\u0440\u043e\u043a, \u0435\u0441\u043b\u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439&nbsp;&mdash; \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u0441\u044f \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432&nbsp;\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0435 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f.<\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0437\u0430\u0441\u0435\u0447\u043a\u0430 (\u0437\u0434\u0435\u0441\u044c 1345) \u043d\u0443\u0436\u043d\u0430, \u0447\u0442\u043e\u0431\u044b \u0437\u043d\u0430\u0442\u044c, \u043d\u0430&nbsp;\u0447\u0451\u043c \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430.&nbsp;<br \/>  <em>od -i \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0431\u0430\u0439\u0442\u044b \u043a\u0430\u043a \u0446\u0435\u043b\u044b\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0447\u0435\u0442\u044b\u0440\u0451\u0445\u0431\u0430\u0439\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430.<\/em><\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">od -i all_1_1_0\/primary.idx 0000000               157               0             421               0 0000020               685               0             949               0 0000040              1213               0            1345               0 0000060 <\/code><\/pre>\n<p>  <\/p>\n<h3 id=\"fayly-dannyh-bin\">\u0424\u0430\u0439\u043b\u044b \u0434\u0430\u043d\u043d\u044b\u0445 .bin<\/h3>\n<p>  <\/p>\n<p>\u0424\u0430\u0439\u043b\u044b bin \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043b\u043e\u043d\u043e\u043a, \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e&nbsp;\u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044e \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430, \u0432&nbsp;\u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435&nbsp;&mdash; user_id. \u0414\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432&nbsp;\u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u0441\u0436\u0430\u0442\u0438\u044f&nbsp;&mdash; \u0431\u043b\u043e\u043a. N-\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043a&nbsp;N-\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435.<\/p>\n<p>  <\/p>\n<p>banner_id.bin:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">cat  all_1_1_0\/banner_id.bin | clickhouse-compressor -d | od -a 0000000  enq   l   q   e   (   | enq   f   r   e   e   d enq   0   8   &amp; 0000020    N   0 enq   n   5   U   D   $ enq   1   ?   !   U   p enq   c 0000040    a   H   y   6 enq   m   a   X   Z   D enq   F   x   :   B   O 0000060  enq   \\   v   8   j   + enq   s   z   E   G   ) <\/code><\/pre>\n<p>  <\/p>\n<p>user_id.bin:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">cat  all_1_1_0\/user_id.bin | clickhouse-compressor -d | od -i 0000000               157               0             289               0 0000020               421               0             553               0 0000040               685               0             817               0 0000060               949               0            1081               0 0000100              1213               0            1345               0 <\/code><\/pre>\n<p>  <\/p>\n<p>\u041d\u0443 \u0438 date.bin, \u0432 \u0432\u0438\u0434\u0435 epoch-time:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">cat  all_1_1_0\/date.bin | clickhouse-compressor -d | od -i 0000000        1609515838      1609515938      1609516038      1609516138 0000020        1609516238      1609516338      1609516438      1609516538 0000040        1609516638      1609516738 0000050 #\u043e\u0442 \u043f\u044f\u0442\u043d\u0438\u0446\u0430,  1 \u044f\u043d\u0432\u0430\u0440\u044f 2021 \u0433. 15:43:58 (UTC)  #\u0434\u043e \u043f\u044f\u0442\u043d\u0438\u0446\u0430,  1 \u044f\u043d\u0432\u0430\u0440\u044f 2021 \u0433. 15:58:58 (UTC) <\/code><\/pre>\n<p>  <\/p>\n<p>\u0421\u0442\u043e\u043f, \u0430&nbsp;\u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b? \u0412\u0435\u0434\u044c \u043c\u044b&nbsp;\u0432\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432&nbsp;\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435? \u0414\u0435\u043b\u043e \u0432&nbsp;\u0442\u043e\u043c, \u0447\u0442\u043e ClickHouse \u0441\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432&nbsp;\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0435 \u0441&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9A%D1%80%D0%B0%D1%81%D0%BD%D0%BE-%D1%87%D1%91%D1%80%D0%BD%D0%BE%D0%B5_%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE\" rel=\"nofollow noopener noreferrer\">\u043a\u0440\u0430\u0441\u043d\u043e-\u0447\u0451\u0440\u043d\u043e\u0433\u043e \u0434\u0435\u0440\u0435\u0432\u0430<\/a>, \u0438&nbsp;\u0432\u0440\u0435\u043c\u044f \u043e\u0442&nbsp;\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u043d\u0430&nbsp;\u0434\u0438\u0441\u043a \u0432&nbsp;\u0432\u0438\u0434\u0435 immutable \u0434\u0430\u0442\u0430-\u043f\u0430\u0440\u0442\u0430.<\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u0442\u044c DELETE \u0438&nbsp;UPDATE, \u043d\u043e&nbsp;\u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435&nbsp;\u0434\u043b\u044f \u0440\u0443\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432&nbsp;\u0444\u043e\u043d\u0435, \u0438&nbsp;\u043d\u0435&nbsp;\u043c\u0435\u043d\u044f\u044e\u0442 \u0441\u0442\u0430\u0440\u044b\u0435 \u043f\u0430\u0440\u0442\u044b, \u0430&nbsp;\u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u043d\u043e\u0432\u044b\u0435. <\/p>\n<p>  <\/p>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432&nbsp;\u0441\u0432\u043e\u0438\u0445 \u0444\u0430\u0439\u043b\u0430\u0445, \u043c\u043e\u0436\u043d\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435&nbsp;\u0441\u0442\u043e\u043b\u0431\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432&nbsp;SELECT, \u0442\u0430\u043a\u0436\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 \u0437\u0430&nbsp;\u0441\u0447\u0435\u0442 \u043e\u0434\u043d\u043e\u0442\u0438\u043f\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u043e&nbsp;\u044d\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435 ClickHouse \u0438&nbsp;\u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043b\u043e\u043d\u0447\u0430\u0442\u043e\u0439 \u0421\u0423\u0411\u0414.<\/p>\n<p>  <\/p>\n<h3 id=\"fayly-zasechek-mrk2\">\u0424\u0430\u0439\u043b\u044b \u0437\u0430\u0441\u0435\u0447\u0435\u043a .mrk2<\/h3>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u0441\u0435\u0447\u043a\u0438 \u0438\u0437&nbsp;primary.idx mrk2&nbsp;\u0437\u043d\u0430\u0435\u0442, \u0433\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0432&nbsp;bin-\u0444\u0430\u0439\u043b\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0438.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0441\u0435\u0447\u043a\u0430 \u0432&nbsp;mrk2 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437&nbsp;3&nbsp;\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 8-\u0431\u0438\u0442\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b, \u0432\u0441\u0435\u0433\u043e 24&nbsp;\u0431\u0430\u0439\u0442\u0430: \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0431\u043b\u043e\u043a\u0430 \u0432&nbsp;bin-\u0444\u0430\u0439\u043b\u0435, \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432&nbsp;\u0440\u0430\u0437\u0436\u0430\u0442\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u0438&nbsp;\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0440\u043e\u043a \u0432&nbsp;\u0433\u0440\u0430\u043d\u0443\u043b\u0435. \u0422\u0440\u0435\u0442\u044c\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u043a\u0430 \u043d\u0435&nbsp;\u0432\u0430\u0436\u043d\u043e.<\/p>\n<p>  <\/p>\n<p>\u0427\u0438\u0442\u0430\u0435\u043c \u0442\u0440\u0435\u0442\u044c\u044e \u0437\u0430\u0441\u0435\u0447\u043a\u0443:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">#\u0447\u0438\u0442\u0430\u0435\u043c 24 \u0431\u0430\u0439\u0442\u0430 \u043a\u0430\u043a \u0447\u0438\u0441\u043b\u0430 long \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 48 \u0431\u0430\u0439\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f od -l -j 48 -N 24 all_1_1_0\/user_id.mrk2 0000060                                 0                              32 0000100                                 2 0000110 <\/code><\/pre>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0439\u0434\u0451\u043c \u043f\u043e&nbsp;\u044d\u0442\u043e\u043c\u0443 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044e, \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0432 32&nbsp;\u0431\u0430\u0439\u0442\u0430 \u0432&nbsp;\u043d\u0443\u043b\u0435\u0432\u043e\u043c \u0431\u043b\u043e\u043a\u0435:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">cat  all_1_1_0\/user_id.bin | clickhouse-compressor -d |od -j 32 -i -N 4 0000040               685 0000044 <\/code><\/pre>\n<p>  <\/p>\n<p>\u0412\u0438\u0434\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u0438\u0437&nbsp;\u0447\u0435\u0442\u0432\u0451\u0440\u0442\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438. \u042d\u0442\u043e \u0438&nbsp;\u0435\u0441\u0442\u044c \u043d\u0430\u0447\u0430\u043b\u043e \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u0437\u0430\u0441\u0435\u0447\u043a\u0438 \u0432&nbsp;primary.idx!<\/p>\n<p>  <\/p>\n<p>\u0422\u043e&nbsp;\u0435\u0441\u0442\u044c mrk2-\u0444\u0430\u0439\u043b\u044b \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f bin-\u0444\u0430\u0439\u043b\u043e\u0432, \u0432&nbsp;\u043d\u0438\u0445 \u043b\u0435\u0436\u0438\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442&nbsp;\u043d\u043e\u043c\u0435\u0440\u0430 \u0441\u0442\u0440\u043e\u043a\u0438 \u043a&nbsp;\u0431\u0430\u0439\u0442\u043e\u0432\u043e\u043c\u0443 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044e \u0434\u0438\u0441\u043a\u0430. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u044d\u0442\u043e \u043a\u0430\u043a \u043a\u043b\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u0435\u0439 \u0438&nbsp;\u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435\u043c.<\/p>\n<p>  <\/p>\n<h2 id=\"poisk-ponbspmergetree\">\u041f\u043e\u0438\u0441\u043a \u043f\u043e&nbsp;MergeTree<\/h2>\n<p>  <\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0440\u043e\u0441 <strong>\u0441&nbsp;\u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c \u043d\u0430&nbsp;\u043f\u0435\u0440\u0432\u0438\u0447\u043d\u044b\u0439 \u043a\u043b\u044e\u0447<\/strong>. ClickHouse \u0441&nbsp;\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e&nbsp;primary.idx \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442, \u0441&nbsp;\u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043d\u0443\u0436\u043d\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u0422\u043e&nbsp;\u0435\u0441\u0442\u044c \u043f\u043e&nbsp;\u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441\u0443 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0441\u0442\u0440\u043e\u043a \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u0443.<\/p>\n<p>  <\/p>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e 982 \u043b\u0435\u0436\u0438\u0442 \u043c\u0435\u0436\u0434\u0443 \u0433\u0440\u0430\u043d\u0443\u043b\u0430\u043c\u0438 949 \u0438&nbsp;1213, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443 \u0433\u0440\u0430\u043d\u0443\u043b\u0443:<\/p>\n<p>  <\/p>\n<pre><code class=\"sql\">--\u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043b\u043e\u0433\u0438 \u0432 clickhouse-client set send_logs_level = 'trace';  SELECT * FROM clicks WHERE user_id = 982  Selected 1 parts by date, 1 parts by key, 1 marks by primary key, 1 marks to read from 1 ranges Reading approx. 2 rows with 1 streams <\/code><\/pre>\n<p>  <\/p>\n<p>\u0410&nbsp;\u0432\u043e\u0442 \u0435\u0441\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u043f\u043e&nbsp;\u043a\u043e\u043b\u043e\u043d\u043a\u0435 \u0432\u043d\u0435 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u0444\u0443\u043b\u043b\u0441\u043a\u0430\u043d:<\/p>\n<p>  <\/p>\n<pre><code class=\"sql\">SELECT * FROM clicks WHERE banner_id = 'genbykj[';  Selected 1 parts by date, 1 parts by key, 5 marks by primary key, 5 marks to read from 1 ranges Reading approx. 10 rows with 1 streams <\/code><\/pre>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 ClickHouse \u0421\u0423\u0411\u0414 \u043f\u043b\u043e\u0445\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439\u0441\u044f \u0441&nbsp;\u0442\u043e\u0447\u0435\u0447\u043d\u044b\u043c\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438, \u0432\u0435\u0434\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0448\u043d\u0438\u0445 \u0441\u0442\u0440\u043e\u043a. \u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0433\u0440\u0430\u043d\u0443\u043b\u044b \u043f\u043e&nbsp;\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 8192, \u0430&nbsp;\u0432&nbsp;\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430, \u0442\u043e&nbsp;\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f 1\/8192 = 0.0001.<\/p>\n<p>  <\/p>\n<h2 id=\"particii\">\u041f\u0430\u0440\u0442\u0438\u0446\u0438\u0438<\/h2>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u0414\u043e\u0431\u0430\u0432\u0438\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432&nbsp;CREATE TABLE, \u043e\u0431\u0440\u0435\u0437\u0430\u044f \u0434\u0430\u0442\u0443 \u0434\u043e&nbsp;\u0434\u043d\u044f:<\/p>\n<p>  <\/p>\n<pre><code class=\"sql\">create table clicks (     date      DateTime,     user_id   Int64,     banner_id String ) engine = MergeTree() order by user_id partition by toYYYYMMDD(date); +-------------------+-------+---------+ |date               |user_id|banner_id| +-------------------+-------+---------+ |2021-01-16 13:34:29|157    ||^\/g~    | |2021-01-16 18:51:09|289    |\/y;ny    | |2021-01-17 00:07:49|421    |@7bbc    | |2021-01-17 05:24:29|553    |.[e\/{    | |2021-01-17 10:41:09|685    |0Wj)m    | |2021-01-17 15:57:49|817    |W6@Oo    | |2021-01-17 21:14:29|949    |tvQZ&amp;    | |2021-01-18 02:31:09|1081   |ZPeCE    | |2021-01-18 07:47:49|1213   |H|$PI    | |2021-01-18 13:04:29|1345   |a'0^J    | +-------------------+-------+---------+ <\/code><\/pre>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 10&nbsp;\u0441\u0442\u0440\u043e\u043a, \u043d\u0430&nbsp;\u0434\u0438\u0441\u043a\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e: \u043d\u0430&nbsp;16, 17, 18&nbsp;\u044f\u043d\u0432\u0430\u0440\u044f 2021&nbsp;\u0433\u043e\u0434\u0430:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">clicks \u251c\u2500\u2500 20210116_1_1_0 \u251c\u2500\u2500 20210117_2_2_0 \u251c\u2500\u2500 20210118_3_3_0 <\/code><\/pre>\n<p>  <\/p>\n<p>\u0412\u043d\u0443\u0442\u0440\u0438 \u043f\u0430\u0440\u0442\u044b \u0442\u0430\u043a\u0438\u0435&nbsp;\u0436\u0435, \u043a\u0430\u043a \u0438&nbsp;\u0431\u0435\u0437 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e&nbsp;\u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0441\u044f \u0444\u0430\u0439\u043b, \u0445\u0440\u0430\u043d\u044f\u0449\u0438\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044e, \u043a&nbsp;\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043f\u0430\u0440\u0442:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">cat clicks\/20210118_3_3_0\/partition.dat | od -i 0000000    20210118 0000004 <\/code><\/pre>\n<p>  <\/p>\n<p>\u0418&nbsp;minmax \u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u043e&nbsp;\u0434\u0430\u0442\u0435, \u0432&nbsp;\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0438&nbsp;\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u044b \u0432&nbsp;\u043f\u0430\u0440\u0442\u0435:<\/p>\n<p>  <\/p>\n<pre><code class=\"bash\">od -i 20210116_1_1_0\/minmax_date.idx 0000000  1610804069  1610823069 0000010 date --utc -d @1610804069 Sat Jan 16 13:34:29 UTC 2021 date --utc -d @1610823069 Sat Jan 16 18:51:09 UTC 2021 <\/code><\/pre>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0432&nbsp;\u043f\u043e\u0438\u0441\u043a\u0435:<\/p>\n<p>  <\/p>\n<pre><code class=\"sql\">--\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044e, \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u0432 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 SELECT * FROM clicks WHERE (date &gt;= toUnixTimestamp('2021-01-17 00:00:00', 'UTC')) AND (date &lt; toUnixTimestamp('2021-01-17 16:00:00', 'UTC')) --\u0437\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0434\u0430\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0430\u0440\u0442\u0430, \u043b\u0435\u0433\u043a\u043e \u0443\u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0442\u044b \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e MinMax index condition: (column 0 in [1610841600, +inf)), (column 0 in (-inf, 1610899199]), and Not using primary index on part 20210117_2_2_0 Selected 1 parts by date, 1 parts by key, 1 marks by primary key, 1 marks to read from 1 ranges Reading approx. 8192 rows with 1 streams \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500date\u2500\u252c\u2500user_id\u2500\u252c\u2500banner_id\u2500\u2510 \u2502 2021-01-17 03:07:49 \u2502     421 \u2502 @7bbc     \u2502 \u2502 2021-01-17 08:24:29 \u2502     553 \u2502 .[e\/{     \u2502 \u2502 2021-01-17 13:41:09 \u2502     685 \u2502 0Wj)m     \u2502 \u2502 2021-01-17 18:57:49 \u2502     817 \u2502 W6@Oo     \u2502 \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518 Read 4 rows, 104.00 B in 0.002051518 sec., 1949 rows\/sec., 49.51 KiB\/sec.  --\u0437\u0430\u043f\u0440\u043e\u0441 \u0431\u0435\u0437 \u0443\u0447\u0430\u0441\u0442\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0439 SELECT * FROM clicks WHERE banner_id = 'genbykj[' --\u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0441\u0435 \u043f\u0430\u0440\u0442\u044b, \u0432 \u0442\u0440\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u0430 Not using primary index on part 20210117_2_2_0 Not using primary index on part 20210116_1_1_0 Not using primary index on part 20210118_3_3_0 Selected 3 parts by date, 3 parts by key, 3 marks by primary key, 3 marks to read from 3 ranges Reading approx. 24576 rows with 3 streams Read 10 rows, 140.00 B in 0.001798808 sec., 5559 rows\/sec., 76.01 KiB\/sec. <\/code><\/pre>\n<p>  <\/p>\n<p>\u0414\u0430\u0442\u0430-\u043f\u0430\u0440\u0442\u044b \u0442\u0430\u043a\u0436\u0435 \u0443\u0434\u043e\u0431\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443:<\/p>\n<p>  <\/p>\n<pre><code class=\"sql\">SELECT name, rows, min_time, max_time FROM system.parts WHERE table = 'clicks'  \u250c\u2500name\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u252c\u2500rows\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500min_time\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500max_time\u2500\u2510 \u2502 20210116_1_1_0 \u2502    2 \u2502 2021-01-16 16:34:29 \u2502 2021-01-16 21:51:09 \u2502 \u2502 20210117_2_2_0 \u2502    4 \u2502 2021-01-17 03:07:49 \u2502 2021-01-17 18:57:49 \u2502 \u2502 20210118_3_3_0 \u2502    4 \u2502 2021-01-18 00:14:29 \u2502 2021-01-18 16:04:29 \u2502 \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518 <\/code><\/pre>\n<p>  <\/p>\n<p>\u0418\u0442\u043e\u0433\u043e \u043c\u044b&nbsp;\u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0430\u0442\u0430-\u043f\u0430\u0440\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043a&nbsp;\u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0438&nbsp;\u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 ClickHouse \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438. \u0415\u0449\u0451 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0443\u0434\u0430\u043b\u044f\u0442\u044c, \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0438&nbsp;\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u043d\u0430\u0434 \u043d\u0438\u043c\u0438 <a href=\"https:\/\/clickhouse.tech\/docs\/ru\/sql-reference\/statements\/alter\/partition\/\" rel=\"nofollow noopener noreferrer\">\u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438<\/a>.<\/p>\n<p>  <\/p>\n<h3 id=\"sliyanie-data-partov\">\u0421\u043b\u0438\u044f\u043d\u0438\u0435 \u0434\u0430\u0442\u0430-\u043f\u0430\u0440\u0442\u043e\u0432<\/h3>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0442\u043e\u0432 \u043d\u0435&nbsp;\u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u043e\u0441\u044c, ClickHouse \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u0444\u043e\u043d\u043e\u0432\u043e\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043a\u0443\u0441\u043a\u043e\u0432. \u041f\u0440\u0438 \u0441\u043b\u0438\u044f\u043d\u0438\u0438 \u0442\u0430\u043a\u0436\u0435 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043b\u043e\u0433\u0438\u043a\u0430 \u0432&nbsp;Replacing, Summing, Collapsing \u0438&nbsp;\u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u0445 \u0434\u0432\u0438\u0436\u043a\u0430 MergeTree. \u041f\u0440\u0438 \u0441\u043b\u0438\u044f\u043d\u0438\u0438 \u0434\u0432\u0443\u0445 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0442\u043e\u0432 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439.<\/p>\n<p>  <\/p>\n<pre><code class=\"sql\">--\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u0438 \u0432\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u0442\u0440\u043e\u043a system stop merges clicks; insert into clicks(date, user_id, banner_id)  select now() , number * 132 + 157, randomPrintableASCII(5) from system.numbers limit 50; Ok. --\u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f 1 \u043f\u0430\u0440\u0442 +--------------+------+ |name          |active| +--------------+------+ |20210116_1_1_0|1     | +--------------+------+  --\u0432\u0441\u0442\u0430\u0432\u0438\u043c \u0435\u0449\u0451 \u0441\u0442\u0440\u043e\u043a insert into clicks(date, user_id, banner_id)   select now() , number * 132 + 157, randomPrintableASCII(5)  from system.numbers limit 50;  --\u0443\u0436\u0435 2 \u043f\u0430\u0440\u0442\u0430 +--------------+------+ |name          |active| +--------------+------+ |20210116_1_1_0|1     | |20210116_2_2_0|1     | +--------------+------+  --\u0432\u043e\u0437\u043e\u0431\u043d\u043e\u0432\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043b\u0438\u044f\u043d\u0438\u044f system start merges clicks; -- \u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043c ClickHouse \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043b\u0438\u044f\u043d\u0438\u0435 optimize table clicks final;  --\u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0434\u0432\u0430 \u043f\u0430\u0440\u0442\u0430 \u0441\u043b\u0438\u043b\u0438\u0441\u044c \u0432 \u043e\u0434\u0438\u043d 20210116_1_2_1, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0441\u044f \u0443\u0440\u043e\u0432\u0435\u043d\u044c.  --\u041d\u0435\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0443\u0434\u0430\u043b\u0435\u043d\u044b \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c. +--------------+------+----+ |name          |active|rows| +--------------+------+----+ |20210116_1_1_0|0     |50  | |20210116_1_2_1|1     |100 | |20210116_2_2_0|0     |50  | +--------------+------+----+ <\/code><\/pre>\n<p>  <\/p>\n<h2 id=\"vyvody\">\u0412\u044b\u0432\u043e\u0434\u044b<\/h2>\n<p>  <\/p>\n<p>\u042f&nbsp;\u043e\u0441\u0432\u0435\u0442\u0438\u043b \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438, \u043a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u043c\u0430\u0433\u0438\u0438 \u043d\u0435\u0442. \u0418\u0434\u0435\u044f MergeTree \u0441\u0442\u0430\u0440\u0430 \u0438&nbsp;\u043f\u0440\u043e\u0441\u0442\u0430 \u043a\u0430\u043a \u0441\u0430\u043c LSM. \u0412\u0441\u0435\u043c \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f!<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/539538\/\"> https:\/\/habr.com\/ru\/post\/539538\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p>\u041c\u043e\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 ClickHouse \u043a\u0430\u043a \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0434\u043b\u044f 100 \u043c\u043b\u0440\u0434 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0441&nbsp;\u0442\u0440\u0430\u0444\u0438\u043a\u043e\u043c \u043f\u043e&nbsp;300 \u043c\u043b\u043d \u0432&nbsp;\u0441\u0443\u0442\u043a\u0438 \u0438&nbsp;\u043f\u043e\u0438\u0441\u043a\u043e\u043c \u043f\u043e&nbsp;\u0442\u0430\u0431\u043b\u0438\u0446\u0435. \u042f&nbsp;\u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u043e\u0431&nbsp;\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0434\u0432\u0438\u0436\u043a\u0430 \u0442\u0430\u0431\u043b\u0438\u0446 MergeTree. \u0420\u0430\u0441\u0441\u043a\u0430\u0437 \u0431\u0443\u0434\u0443 \u0432\u0435\u0441\u0442\u0438, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044f \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430&nbsp;\u043d\u0435&nbsp;\u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0435 \u0441\u0445\u0435\u043c\u044b. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ug\/mz\/fk\/ugmzfklgszyykodzdnhri591s5m.jpeg\"><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-317854","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/317854","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=317854"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/317854\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=317854"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=317854"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=317854"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}