Пошаговое руководство, как создать собственный Kubernetes оператор

В данной статье представлены практические материалы к вебинару Собственный Kubernetes оператор за час.

Пререквизиты

• Кластер Kubernetes (можно воспользоваться minikube)

• kubectl

• Operator SDK

Подготовка проекта

• Создаем директорию для проекта

mkdir k8s-operator-in-an-hour

• Переходим в созданную директорию

cd k8s-operator-in-an-hour

• Инициализируем проект

operator-sdk init --domain mcs.mail.ru --plugins ansible

• Создаем апи нашего оператора

opetator-sdk create api \     --groups ops \     --version v1alpha1 \     --kind Project \     --generate-role

• Вставляем в файл config/samples/ops_v1alpha1_project.yaml описание будущего объекта типа Project

apiVersion: ops.mcs.mail.ru/v1alpha1 kind: Project metadata:   name: test spec:   members:     - p.petrov     - i.ivanov   environments:     - name: prod       resources:         requests:           cpu: 4           memory: 4Gi         limits:           cpu: 4           memory: 4Gi

• В файле config/crd/bases/ops.mcs.mail.ru_projects.yaml изменяем

plural: projects      singular: project -  scope: Namespaced +  scope: Cluster    versions:    - name: v1alpha1

• Добавлеям таски в Ansible роль. В файл roles/project/tasks/main.yml вставляем

--- - name: Create a namespace   kubernetes.core.k8s:     state: present     definition:       apiVersion: v1       kind: Namespace       metadata:         name: "{{ ansible_operator_meta.name }}-{{ item.name }}"         labels:           app.kubernetes.io/managed-by: "projects-operator"   loop: "{{ environments }}"  - name: Create a resource quota   kubernetes.core.k8s:     state: present     definition:       apiVersion: v1       kind: ResourceQuota       metadata:         namespace: "{{ ansible_operator_meta.name }}-{{ item.name }}"         name: resource-quota         labels:           app.kubernetes.io/managed-by: "projects-operator"       spec:         hard:           limits.cpu: "{{item.resources.limits.cpu}}"           limits.memory: "{{item.resources.limits.memory}}"           requests.cpu: "{{item.resources.requests.cpu}}"           requests.memory: "{{item.resources.requests.memory}}"   loop: "{{ environments }}"  - name: Create a member role building   kubernetes.core.k8s:     state: present     definition:       apiVersion: rbac.authorization.k8s.io/v1       kind: RoleBinding       metadata:         name: "{{ item[1] }}"         namespace: "{{ ansible_operator_meta.name }}-{{ item[0].name }}"         labels:           app.kubernetes.io/managed-by: "projects-operator"       roleRef:         apiGroup: rbac.authorization.k8s.io         kind: ClusterRole         name: edit       subjects:         - kind: ServiceAccount           name: "{{ item[1] }}"           namespace: users   with_nested:     - "{{ environments }}"     - "{{ members }}"

• Корректируем RBAC права для оператора. Файл config/rbac/role.yaml приводим к такому виду

--- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata:   name: manager-role rules:   ##   ## Base operator rules   ##   ##   - apiGroups:       - ""     resources:       - namespaces       - resourcequotas     verbs:       - create       - delete       - get       - list       - patch       - update       - watch   - apiGroups:       - rbac.authorization.k8s.io     resources:       - rolebindings     verbs:       - create       - delete       - get       - list       - patch       - update       - watch   - apiGroups:        - rbac.authorization.k8s.io     resources:       - clusterroles     verbs:       - bind     resourceNames:       - edit   ## Rules for ops.mcs.mail.ru/v1alpha1, Kind: Project   ##   - apiGroups:       - ops.mcs.mail.ru     resources:       - projects       - projects/status       - projects/finalizers     verbs:       - create       - delete       - get       - list       - patch       - update       - watch #+kubebuilder:scaffold:rules

• В файл watches.yaml дописываем ключ для включения слежения за cluster wide объектами

  watchClusterScopedResources: true

Сборка проекта и деплой в кластер

• Собираем образ с оператором

make docker-build IMG=<your dockerhub username>/k8s-operator-in-an-hour:v0.0.1

• Пушим образ в реджистри

make docker-push IMG=<your dockerhub username>/k8s-operator-in-an-hour:v0.0.1

• Деплоим все в кластер

make deploy IMG=<your dockerhub username>/k8s-operator-in-an-hour:v0.0.1

Создание тестового Project в кластере и проверка работы оператора

• Создаем в кластере объект типа Project из подготовленного ранее файла config/samples/ops_v1alpha1_project.yaml

kubectl apply -f config/samples/ops_v1alpha1_project.yaml

• Смотрим что появился нэймспейс test-prod, ресурс квоты в нем оостветствуют тому, что мы задавали при созданиие Project и имеются в наличии рольбиндинги для пользователей

$ kubectl get ns  NAME                 STATUS   AGE default              Active   12d kube-node-lease      Active   12d kube-public          Active   12d kube-system          Active   12d test-prod            Active   10m

kubectl get rolebinding -n test-prod kubectl get resourcequota -n test-prod

Очистка окружения

• Для удаления оператора, всех созданных им объектов и crd из кластера выполните команду

make undeploy IMG=<your dockerhub username>/k8s-operator-in-an-hour:v0.0.1

Готово, вы великолепны!