Использование NFS в качестве Persistent Volume (постоянного тома) для Kubernetes с помощью Ansible и Terraform

Экосистема Kubernetes очень динамична и включает в себя различные компоненты, взаимодействующие между собой. Управление хранением данных в Kubernetes является отдельной задачей, в рамках которой вводятся понятия Persistent Volumes (постоянных томов, PVs) и Persistent Volume Claims (запросов на выделение постоянного тома, PVCs). 

В этой статье мы рассмотрим, как с помощью Storage Class (классов хранилища) автоматически предоставлять NFS (Network File System) в качестве постоянного тома для Kubernetes. Для автоматизации мы будем использовать Ansible для настройки сервера NFS и Terraform вместе с Helm для настройки NFS-клиента. 

Начальные условия

1. Работающий кластер Kubernetes.

2. Helm, установленный на вашей локальной машине или в кластере Kubernetes

3. Ansible, установленный на локальной машине

4. Terraform, установленный на локальной машине.

Настройка NFS-сервера с помощью Ansible

1. Создайте плейбук Ansible для настройки NFS-сервера. Пример:

--- - hosts: nfs-server   become: yes   tasks:     - name: Update all packages       apt:         update_cache: yes      - name: Install NFS server package       apt:          name: nfs-kernel-server         state: present      - name: Create a directory to share       file:         path: /var/nfs_share         state: directory         mode: '777'      - name: Modify ownership & permissions of the shared directory       file:         path: /var/nfs_share         owner: nobody         group: nogroup         mode: '777'      - name: Add the directory to the NFS configuration file       lineinfile:         path: /etc/exports         line: '/var/nfs_share *(rw,sync,no_subtree_check,no_root_squash)'      - name: Export the shared directory and restart NFS service       command:         cmd: exportfs -a && systemctl restart nfs-kernel-server

Запустите плейбук с помощью Ansible. Вот пример того, как это может выглядеть в вашей командной оболочке:

ansible-playbook -i inventory.ini nfs_server.yaml

Этот плейбук установит NFS-сервер на целевой хост, создаст и сконфигурирует общий каталог (NFS-экспорт), и перезапустит службу NFS.

Настройка NFS-клиента с помощью Terraform и Helm

Для развертывания Helm Charts в кластере Kubernetes можно использовать Terraform. Ниже приведен пример сценария Terraform для установки NFS-клиента с использованием Helm-чарта nfs-subdir-external-provisioner.

1. Установите провайдер Terraform для работы с Helm:

provider "helm" {   kubernetes {     config_path = "~/.kube/config"   } }

2. Добавьте репозиторий, содержащий Helm-чарт “nfs-subdir-external-provisioner”:

data "helm_repository" "nfs" {   name = "nfs-subdir-external-provisioner"   url  = "https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/" }

3. Установите клиент NFS provisioner. Замените шаблоны <nfs-server> и <nfs-path> на IP-адрес вашего NFS-сервера и путь к экспортированному NFS-каталогу:

resource "helm_release" "nfs_client_provisioner" {   name       = "nfs-client-provisioner"   repository = data.helm_repository.nfs.metadata[0].name   chart      = "nfs-subdir-external-provisioner"   set {     name  = "nfs.server"     value = "<nfs-server>"   }   set {     name  = "nfs.path"     value = "<nfs-path>"   } }

4. Выполните сценарий Terraform. Вот пример того, как это может выглядеть в вашей среде:

terraform init terraform apply

Сценарий Terraform инициализирует Helm-провайдер, добавит Helm-репозиторий, содержащий nfs-subdir-external-provisioner и установит NFS client provisioner в кластер Kubernetes.

Проверка установки

1. Проверьте, запущен ли NFS client provisioner:

kubectl get pods

Вы должны увидеть pod с названием nfs-client-provisioner-... в статусе RUNNING.

2. Проверьте, создан ли Storage Class:

kubectl get sc

В списке должен появиться Storage Class с именем nfs-client (или тем именем, которое вы указали при установке).

Теперь, когда вы создаете Persistent Volume Claim со Storage Class “nfs-client”, Kubernetes будет динамически предоставлять Persistent Volume, используя указанный вами NFS-сервер и путь.

Установка Postgresql с помощью провайдера

Создадим ресурс Terraform helm_release для установки чарта PostgreSQL:

data "helm_repository" "bitnami" {   name = "bitnami"   url  = "https://charts.bitnami.com/bitnami" }  resource "helm_release" "postgresql" {   name       = "postgresql"   chart      = "bitnami/postgresql"   repository = data.helm_repository.bitnami.metadata[0].name   set {     name  = "persistence.storageClass"     value = "nfs-client"   }   set {     name  = "persistence.size"     value = "1Gi"   } }

Этот Helm-чарт создаст Deployment c базой данных PostgreSQL, которая использует PersistentVolumeClaim для хранения данных. PVC использует Storage Class nfs-client, задействующий сервер NFS и путь, указанные в нашем предыдущем сценарии Terraform.

После добавления вышеуказанных ресурсов в сценарий Terraform, вы можете применить конфигурацию:

terraform apply

После завершения работы сценария убедитесь, что Kubernetes Deployment и Service для PostgreSQL запущены:

kubectl get deployments kubectl get svc

Чтобы дополнительно убедиться в том, что данные PostgreSQL действительно хранятся на NFS-сервере, можно проверить точки подключения пода:

kubectl describe pod <postgresql-pod-name>

Вы увидите подключение (mount) для /bitnami/postgresql, а его PersistentVolumeClaim должен использовать класс хранения NFS.

Текст подготовлен при помощи инженеров Southbridge