Clickhouse / zookeeper. Развертывание

Всем привет! В этой статье я расскажу свой опыт установки БД Clickhouse на пару с zookeeper`ом.

Установка

Для начала скачаем пакеты для установки

wget curl https://packages.clickhouse.com/tgz/stable/clickhouse-client-22.9.3.18-amd64.tgz && \ wget curl https://packages.clickhouse.com/tgz/stable/clickhouse-common-static-22.9.3.18-amd64.tgz && \ wget curl https://packages.clickhouse.com/tgz/stable/clickhouse-common-static-dbg-22.9.3.18-amd64.tgz && \ wget curl https://packages.clickhouse.com/tgz/stable/clickhouse-server-22.9.3.18-amd64.tgz

Список версий можно посмотреть здесь.

Далее я использую скрипт, в котором собраны все этапы установки от распаковки архивов, до создание дефолтного пользователя с последующим запуском сервиса.

Скрипт имеет следующий вид:

LATEST_VERSION=22.9.3.18    export LATEST_VERSION  case $(uname -m) in   x86_64) ARCH=amd64 ;;   aarch64) ARCH=arm64 ;;   *) echo "Unknown architecture $(uname -m)"; exit 1 ;; esac  tar -xzvf "clickhouse-common-static-$LATEST_VERSION-${ARCH}.tgz" \   || tar -xzvf "clickhouse-common-static-$LATEST_VERSION.tgz" sudo "clickhouse-common-static-$LATEST_VERSION/install/doinst.sh"  tar -xzvf "clickhouse-common-static-dbg-$LATEST_VERSION-${ARCH}.tgz" \   || tar -xzvf "clickhouse-common-static-dbg-$LATEST_VERSION.tgz" sudo "clickhouse-common-static-dbg-$LATEST_VERSION/install/doinst.sh"  tar -xzvf "clickhouse-server-$LATEST_VERSION-${ARCH}.tgz" \   || tar -xzvf "clickhouse-server-$LATEST_VERSION.tgz" sudo "clickhouse-server-$LATEST_VERSION/install/doinst.sh" configure sudo /etc/init.d/clickhouse-server start  tar -xzvf "clickhouse-client-$LATEST_VERSION-${ARCH}.tgz" \   || tar -xzvf "clickhouse-client-$LATEST_VERSION.tgz" sudo "clickhouse-client-$LATEST_VERSION/install/doinst.sh"

Важное напоминание, если вы проводите установку на нескольких ВМ, не забудьте указан одинаковый пароль для default user, как это сделал я и пришлось запускать установку заново)

После окончания установки вы увидите, что сервис стартанул и можно зайти под дефолтным юзером в систему:

clickhouse-client --password

select 1

Настройка zookeer и ingress-inginx

Так как у меня клик установлен на нескольких машинах, мне нужно как то их согласовывать между собой и использовать единую точку входа в кластер. Для этой работы я и буду использовать zookeeper.

По мимо вышеупомянутого, zookeeper также нужен для:

• Хранение метаданных о таблицах и кластере.

  • В ClickHouse есть типы таблиц ReplicatedMergeTree, ReplicatedReplacingMergeTree и др.

  • Все они используют ZooKeeper для хранения:

    • списка реплик,

    • информации о партициях

    • состояния мерджей,

    • флагов «эта партиция уже загружена» и т.д.

• Координация реплик.

  • Когда одна реплика получает новые данные, она должна синхронизироваться с другими

  • ZooKeeper фиксирует, что данные загружены, и указывает другим репликам подтянуть изменения.

• Распределение задач (scheduling).

  • Например, две реплики могут попытаться одновременно сделать merge одного и того же куска данных.

  • Через ZooKeeper они «договариваются», кто будет делать merge, а кто потом просто скопирует результат.

• Failover и согласованность.

  • ZooKeeper хранит список активных реплик.

  • Если одна нода падает, через ZooKeeper к ней перестаёт идти трафик, и другие реплики продолжают работать.

  • При восстановлении — новая реплика подтягивает актуальные данные, сверяясь через ZooKeeper.

В новых версия клика добавили встроенный аналог — Clickhouse Keepeer.

Итак, мы пробежались по функциям кипера, давайте теперь его установим.

Деплой в кластер Kubernetes

Да, тут всё серьезно, поэтому я создал отдельный namespace и беру следующие манифесты, тут ничего нового, конфигурация везде похожа:

apiVersion: v1 kind: Service metadata:   # DNS would be like zookeeper.zoons   name: zk-cs   labels:     app: zk spec:   ports:     - port: 2181       name: client   selector:     app: zk     what: node

apiVersion: v1 kind: Service metadata:   # DNS would be like zookeeper-0.zookeepers.etc   name: zk-hs   labels:     app: zk spec:   ports:     - port: 2181       name: client     - port: 2888       name: server     - port: 3888       name: leader-election   clusterIP: None   selector:     app: zk     what: node

apiVersion: policy/v1 kind: PodDisruptionBudget metadata:   name: zk-pdb spec:   selector:     matchLabels:       app: zk   maxUnavailable: 1

apiVersion: apps/v1 kind: StatefulSet metadata:   name: zk spec:   selector:     matchLabels:       app: zk   serviceName: zk-hs   replicas: 2   updateStrategy:     type: RollingUpdate   podManagementPolicy: Parallel   template:     metadata:       labels:         app: zk         what: node     spec:       affinity:         podAntiAffinity:           requiredDuringSchedulingIgnoredDuringExecution:             - labelSelector:                 matchExpressions:                   - key: "app"                     operator: In                     values:                       - zk               topologyKey: "kubernetes.io/hostname"       containers:         - name: kubernetes-zookeeper           imagePullPolicy: IfNotPresent           image: "docker.io/zookeeper:3.8.0-temurin"           resources:             requests:               memory: "1Gi"               cpu: "0.5"           ports:             - containerPort: 2181               name: client             - containerPort: 2888               name: server             - containerPort: 3888               name: leader-election           command:             - bash             - -x             - -c             - |               SERVERS=3 &&               HOST=`hostname -s` &&               DOMAIN=`hostname -d` &&               CLIENT_PORT=2181 &&               SERVER_PORT=2888 &&               ELECTION_PORT=3888 &&               ZOO_DATA_DIR=/var/lib/zookeeper/data &&               ZOO_DATA_LOG_DIR=/var/lib/zookeeper/datalog &&               {                 echo "clientPort=${CLIENT_PORT}"                 echo 'tickTime=2000'                 echo 'initLimit=30000'                 echo 'syncLimit=10'                 echo 'maxClientCnxns=2000'                 echo 'maxSessionTimeout=60000000'                 echo "dataDir=${ZOO_DATA_DIR}"                 echo "dataLogDir=${ZOO_DATA_LOG_DIR}"                 echo 'autopurge.snapRetainCount=3'                 echo 'autopurge.purgeInterval=2'                 echo 'preAllocSize=131072'                 echo 'snapCount=3000000'                 echo 'leaderServes=yes'                 echo 'standaloneEnabled=true'                 echo '4lw.commands.whitelist=stat, ruok, conf, isro'               } > /conf/zoo.cfg &&               {                 echo "zookeeper.root.logger=CONSOLE"                 echo "zookeeper.console.threshold=INFO"                 echo "log4j.rootLogger=\${zookeeper.root.logger}"                 echo "log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender"                 echo "log4j.appender.CONSOLE.Threshold=\${zookeeper.console.threshold}"                 echo "log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout"                 echo "log4j.appender.CONSOLE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n"               } > /conf/log4j.properties &&               echo 'JVMFLAGS="-Xms128M -Xmx1G -XX:+UseG1GC"' > /conf/java.env &&               if [[ $HOST =~ (.*)-([0-9]+)$ ]]; then                   NAME=${BASH_REMATCH[1]}                   ORD=${BASH_REMATCH[2]}               else                   echo "Failed to parse name and ordinal of Pod"                   exit 1               fi &&               mkdir -p ${ZOO_DATA_DIR} &&               mkdir -p ${ZOO_DATA_LOG_DIR} &&               export MY_ID=$((ORD+1)) &&               #echo 2 > $ZOO_DATA_DIR/myid &&               echo $MY_ID > $ZOO_DATA_DIR/myid &&                if [[ $SERVERS -gt 1 ]]; then                  for (( i=1; i<=$SERVERS; i++ )); do                      echo "server.$i=$NAME-$((i-1)).$DOMAIN:$SERVER_PORT:$ELECTION_PORT" >> /conf/zoo.cfg;                  done                fi &&               chown -Rv zookeeper "$ZOO_DATA_DIR" "$ZOO_DATA_LOG_DIR" "$ZOO_LOG_DIR" "$ZOO_CONF_DIR" &&               zkServer.sh start-foreground           readinessProbe:             exec:               command:                 - bash                 - -c                 - "OK=$(echo ruok | nc 127.0.0.1 2181); if [[ \"$OK\" == \"imok\" ]]; then exit 0; else exit 1; fi"             initialDelaySeconds: 10             timeoutSeconds: 5           livenessProbe:             exec:               command:                 - bash                 - -c                 - "OK=$(echo ruok | nc 127.0.0.1 2181); if [[ \"$OK\" == \"imok\" ]]; then exit 0; else exit 1; fi"             initialDelaySeconds: 10             timeoutSeconds: 5           volumeMounts:             - name: datadir               mountPath: /var/lib/zookeeper        securityContext:         runAsUser: 1000         fsGroup: 1000

Я не буду вдаваться в подробности, что именно происходит в манифестах. Скажу лишь, что это дефолтная настройка сервиса. Из интересного, у statefulset`a кипера, начиная со 101 строчки, прописана функция, которая означает, что StatefulSet сам динамически подставит правильные DNS-имена подов (zookeeper-0, zookeeper-1, zookeeper-2), и не нужно вручную жёстко хардкодить IP.

После я создаю дополнительный сервис для zookeeper, в эндпоинтах которого буду присутствовать ноды clickhouse.

apiVersion: v1 kind: Service metadata:   name: ch-svc   namespace: zk spec:   clusterIP: None   type: ClusterIP   sessionAffinity: None   ports:   - name: http     port: 8123     protocol: TCP     targetPort: 8123   - name: tcp     port: 9000     protocol: TCP     targetPort: 9000

И манифест для эндпоинтов:

apiVersion: v1 kind: Endpoints metadata:   name: ch-svc   namespace: zk subsets:   - addresses:       - ip: 00.00.00.00 #Ноды       - ip: 00.00.00.00 #клика     ports:       - name: tcp         port: 9000         protocol: TCP       - name: http         port: 8123         protocol: TCP

Также нам необходимо закрепить за каждым подом кипера свой сервис, каждый из которых будет смотреть на один из подов соответственно:

apiVersion: v1 kind: Service metadata:   name: zk-0 #В зависимости от номера пода   namespace: zk spec:   internalTrafficPolicy: Cluster   ports:   - port: 2181     protocol: TCP     targetPort: 2181   selector:     apps.kubernetes.io/pod-index: "0" #Указываем номер пода   sessionAffinity: None   type: ClusterIP

После того, как мы закончили с кипером, необходимо внести данные об ранее созданных соединений в configmap ingress-nginx-tcp.

apiVersion: v1 data:   "2181": zk/zk-0:2181 # +   "2182": zk/zk-1:2182 # +   "8123": zk/ch-svc:8123 # +   "9000": zk/ch-svc:9000 # + kind: ConfigMap metadata:   annotations:     meta.helm.sh/release-name: ingress-controller     meta.helm.sh/release-namespace: nginx-ingress   labels:     app.kubernetes.io/component: controller     app.kubernetes.io/instance: ingress-controller     app.kubernetes.io/managed-by: Helm     app.kubernetes.io/name: ingress-nginx     app.kubernetes.io/part-of: ingress-nginx     app.kubernetes.io/version: 1.2.1     helm.sh/chart: ingress-nginx-4.1.4     k8slens-edit-resource-version: v1   name: ingress-controller-ingress-nginx-tcp   namespace: nginx-ingress

На описание установки ingress-nginx я не буду останавливаться. Познакомиться с инструментом можно здесь.

В заключении мы в эндопинты ingress-controller-ingress-nginx-controller также добавляем наши порты, после чего вносим их в деплоймент nginx, раздел портов для контейнеров и перезагружаем сервис. Внешняя настройка завершена.

Внутренняя настройка Clickhouse

Конфигурация клика проводится с помощью файла /etc/clickhouse-server/config.xml. Также можно создать в папке config.d свой файл конфигурации, который при запуске системы будет слит с основным.

Для начала нам нужно задать в разделе zookeeper его хост и порты, которые мы открывали до этого. В зависимости от кол-ва реплик клика мы заполняем поля с хостом кипера и открытыми портами. В моём случае три раза.

Перезапустим сервис

#Полный перезапуск сервиса sudo service clickhouse-server restart #           vs #Перезагрузка конфигурации sudo service clickhouse-server reload

Проверка

Для проверки работоспособности зайдите в базу клика либо через СУБД по IP балансировщика, либо через ноду клика и выполните команду по созданию тестовой таблице:

CREATE TABLE test on cluster 'main' (id int)  ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/test', '{replica}', id) order by id;  insert into test values(1);

После выполнения скрипта должны отобразится рабочие ноды, которые синхронизированно выполнили скрипт. Дополнительно можно зайти на другую ноду и выполнить селект по таблице.

Удалить тестовую таблицу следующем скриптом:

drop table test on cluster main sync;

sync в данном случае очень важно проставлять, чтобы команда отработала на всех нодах.

Создание и работа и с пользователями

Для начала нам необходимо нашему default пользователю включить User Mode. Конфигурация лежит в папке /etc/clickhouse-server/users.d

<clickhouse>     <users>         <default>             <password remove='1' />             <password_sha256_hex>daaad6e5604e8e17bd9f108d91e26afe6281dac8fda0091040a7a6d7bd9b43b5</password_sha256_hex>             <access_management>1</access_management>             <named_collection_control>1</named_collection_control>             <show_named_collections>1</show_named_collections>             <show_named_collections_secrets>1</show_named_collections_secrets>         </default>     </users> </clickhouse> 

Перезапускаем сервер

sudo service clickhouse-server restart

Создадим админа БД

Под default user мы работать не будет, а создадим полноценного администратора, который будет этим заниматься.

create user clickhouse-admin identified by 'password123'

Выдадим права на все таблицы в кластере

grant all on *.* to clickhouse_admin with grant option;

Больше про работу с правами пользователей тут.

Отключим default user

<clickhouse>     <users>         <default remove="remove">             <password remove='1' />             <password_sha256_hex>daaad6e5604e8e17bd9f108d91e26afe6281dac8fda0091040a7a6d7bd9b43b5</password_sha256_hex>             <!--             <access_management>1</access_management>             <named_collection_control>1</named_collection_control>             <show_named_collections>1</show_named_collections>             <show_named_collections_secrets>1</show_named_collections_secrets>             -->         </default>     </users> </clickhouse>

Заключение

В этой статье я описал свою настройку кликхауса на пару с zookeeper, немного затронув ingress-nginx.

Clickhouse достаточно мощный инструмент для работы с большим объёмом данных, который при правильном использовании приносит свои плоды.

Надеюсь, вам было интересно. Это моя первая работа на этом ресурсе, скоро начну выкладывать ряд статей о работе над одним стартапом, так что ожидайте, будет очень интересно.