Бессерверные вычисления на основе OpenWhisk, часть 4

Эта статья заканчивает цикл переводных заметок об OpenWhisk от автора Priti Desai. Сегодня рассмотрим процесс развертывания OpenWhisk поверх Kubernetes с исправленными командами для работоспособности с актуальными версиями приложений. Также будет описан процесс запуска функций OpenWhisk с использованием Knative и TektonCD в Kubernetes с использованием среды исполнения Nodejs.

Разворачиваем OpenWhisk на Kubernetes

За несколько дней я провела эксперимент по развертыванию OpenWhisk в Kubernetes для создания простого и быстрого полигона для отработки задач. А поскольку я новичок в Kubernetes — полагаю, что полтора дня было потрачено на успешное развертывание. В этом репозитории есть очень понятные инструкции для развертывания OpenWhisk в Kubernetes. Здесь будут инструкции для развертывания, сделанные для Mac (я также буду делать все на Linux, потому что предпочитаю Linux. — прим. переводчика).

1. Устанавливаем пакетный менеджер asdf, после чего автоматически исправляем ~/.bash_profile или его аналог так:

$ brew install asdf $ [ -s "/usr/local/opt/asdf/asdf.sh" ] && . /usr/local/opt/asdf/asdf.sh $ source ~/.bash_profile

[На Linux этот шаг не нужен, хотя brew есть. — прим. переводчика]

1. Добавляем плагины minikube и kubelet:

$ asdf plugin-add kubectl $ asdf plugin-add minikube

[Опять же пропускаем этот шаг на Linux. — прим. переводчика]

1. Ставим minikube и kubelet:

$ asdf install kubectl 1.9.0 $ asdf global kubectl 1.9.0 $ asdf install minikube 0.25.2 $ asdf global minikube 0.25.2

[ставятся конкретные версии, но я проверял все на последних доступных версиях для Linux; подозреваю, что можно смело ставить latest. — прим. переводчика]

На Linux этот шаг делается примерно так (все ставится в ~/bin, который у меня прописан в PATH, прим. переводчика):

$ curl -L0 minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 && chmod +x minikube && mv minikube ~/bin/ $ curl -L0 https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl && chmod +x kubectl && mv kubectl ~/bin/

1. Создаем виртуальную машину minikube (должен быть предварительно установлен VirtualBox):

$ minikube start --cpus 2 --memory 4096 --kubernetes-version=v1.9.0 --extra-config=apiserver.Authorization.Mode=RBAC

[У меня все работает с командой minikube start , без параметров и со значениями по-умолчанию. — прим. переводчика]

$ minikube start   minikube v1.5.2 on Debian 8.11   Automatically selected the 'virtualbox' driver   Downloading VM boot image ...     > minikube-v1.5.1.iso.sha256: 65 B / 65 B [--------------] 100.00% ? p/s 0s     > minikube-v1.5.1.iso: 143.76 MiB / 143.76 MiB [-] 100.00% 5.63 MiB p/s 26s   Creating virtualbox VM (CPUs=2, Memory=4096MB, Disk=20000MB) ...   Preparing Kubernetes v1.16.2 on Docker '18.09.9' ...   Downloading kubelet v1.16.2   Downloading kubeadm v1.16.2   Pulling images ...   Launching Kubernetes ...  Waiting for: apiserver   Done! kubectl is now configured to use "minikube"

1. Переключаем сеть в Docker в неразборчивый режим:

$ minikube ssh -- sudo ip link set docker0 promisc on

1. Создаем namespace и помечаем рабочий узел:

$ kubectl create namespace openwhisk $ kubectl label nodes --all openwhisk-role=invoker

1. Получаем содержимое репозитория и переопределяем тип для ingress в файле mycluster.yaml:

$ git clone https://github.com/apache/incubator-openwhisk-deploy-kube.git $ cd incubator-openwhisk-deploy-kube/ $ cat << "EOF" > mycluster.yaml whisk:     ingress:         type: NodePort             api_host_name: 192.168.99.100             api_host_port: 31001 nginx:     httpsNodePort: 31001 EOF

1. Устанавливаем Helm и проводим развертывание с его помощью:

$ brew install kubernetes-helm $ helm init # init Helm Tiller, не нужно на Helm v3+ $ kubectl get pods -n kube-system # verify that tiller-deploy is in the running state, не нужно на helm v3+ $ kubectl create clusterrolebinding tiller-cluster-admin --clusterrole=cluster-admin --serviceaccount=kube-system:default $ helm install ./openwhisk/helm/ --namespace=openwhisk -f mycluster.yaml

[На Linux с последними версиями (была доступна v3.0.1) будет чуть по-другому. — прим. переводчика]

$ curl -L0 https://get.helm.sh/helm-v3.0.1-linux-amd64.tar.gz | tar -xzvf - linux-amd64/helm --strip-components=1; sudo mv helm /usr/local/bin $ kubectl create clusterrolebinding tiller-cluster-admin --clusterrole=cluster-admin --serviceaccount=kube-system:default $ helm install ./openwhisk/helm/ --namespace=openwhisk --generate-name -f mycluster.yaml

1. Проверяем, что все поднялось (STATUS = Running или Completed):

$ kubectl get pods -n openwhisk NAME                                                              READY   STATUS      RESTARTS   AGE openwhisk-1576070780-alarmprovider-6868dc694-plvpf                1/1     Running     1          1d5h openwhisk-1576070780-apigateway-8d56f4979-825hf                   1/1     Running     1          1d5h openwhisk-1576070780-cloudantprovider-544bb46596-9scph            1/1     Running     1          1d5h openwhisk-1576070780-controller-0                                 1/1     Running     2          1d5h openwhisk-1576070780-couchdb-7fd7f6c7cc-42tw6                     1/1     Running     1          1d5h openwhisk-1576070780-gen-certs-z9nsb                              0/1     Completed   0          1d5h openwhisk-1576070780-init-couchdb-r2vmt                           0/1     Completed   0          1d5h openwhisk-1576070780-install-packages-27dtr                       0/1     Completed   0          1d4h openwhisk-1576070780-invoker-0                                    1/1     Running     1          1d5h openwhisk-1576070780-kafka-0                                      1/1     Running     1          1d5h openwhisk-1576070780-kafkaprovider-f8b4cf4fc-7z4gt                1/1     Running     1          1d5h openwhisk-1576070780-nginx-6dbdbf69bc-5x76n                       1/1     Running     1          1d5h openwhisk-1576070780-redis-cfd8756f4-hkrt6                        1/1     Running     1          1d5h openwhisk-1576070780-wskadmin                                     1/1     Running     1          1d5h openwhisk-1576070780-zookeeper-0                                  1/1     Running     1          1d5h wskopenwhisk-1576070780-invoker-00-1-prewarm-nodejs10             1/1     Running     0          61s wskopenwhisk-1576070780-invoker-00-2-prewarm-nodejs10             1/1     Running     0          61s wskopenwhisk-1576070780-invoker-00-3-whisksystem-invokerhealtht   1/1     Running     0          59s

1. Настраиваем wsk для работы:

$ wsk property set --apihost 192.168.99.100:31001 $ wsk property set --auth 23bc46b1-71f6-4ed5-8c54-816aa4f8c502:123zO3xZCLrMN6v2BKK1dXYFpXlPkccOFqm12CdAsMgRU4VrNZ9lyGVCGuMDGIwP

Проверяем:

$ wsk -i list Entities in namespace: default packages actions triggers rules

Проблемы и их решения

getsockopt: connection refused

$ wsk -i list error: Unable to obtain the list of entities for namespace 'default': Get http://192.168.99.100:31001/api/v1/namespaces/_/actions?limit=0&skip=0: dial tcp 192.168.99.100:31001: getsockopt: connection refused

Проверяем, что контейнеры в namespace openwhisk в статусе Running, т.к. иногда оно падает с ошибками CreateContainerConfigError.

Invoker still initializing — Init:1/2

Процесс скачивания всевозможных сред выполнения может занять много времени. Для ускорения можно указать сокращенный минимальный список в файле mycluster.yaml:

whisk:   runtimes: "runtimes-minimal-travis.json"

Контейнер с именем -install-packages- вываливается в Error

Просто нарастите таймауты для liveness тестов.

Установка OpenWhisk поверх Knative

Priti Desai проводила установку поверх кластера в облаке IBM, а также на обычном minikube, используя Knative Build и BuildTemplates. Я тоже буду устанавливать поверх minukube, по мотивам того, как это было описано в нашем блоге ранее — с использованием последних версий ПО. Поскольку Knative Build и BuildTemplates официально объявлены устаревшими, буду использовать рекомендуемую замену в виде Tekton Pipelines. Дальнейшая часть статьи написана после прочтения документации к Tekton Pipelines, но основана на идеях Priti. Для работы потребуется доступ к некоторой Docker Registry — я, как и оригинальная автор, буду использовать DockerHub.

$ curl -L0 https://github.com/solo-io/gloo/releases/download/v1.2.10/glooctl-linux-amd64; chmod +x glooctl-linux-amd64; mv glooctl-linux-amd64 ~/bin $ glooctl install knative $ kubectl get pods -n knative-serving NAME                              READY   STATUS    RESTARTS   AGE activator-77fc555665-rvrst        1/1     Running   0          2m23s autoscaler-5c98b7c9b6-x8hh4       1/1     Running   0          2m21s autoscaler-hpa-5cfd4f6845-w87kq   1/1     Running   0          2m22s controller-7fd74c8f67-tprm8       1/1     Running   0          2m19s webhook-74847bb77c-txr2g          1/1     Running   0          2m17s $ kubectl get pods -n gloo-system NAME                                      READY   STATUS    RESTARTS   AGE discovery-859d7fbc9c-8xhvh                1/1     Running   0          51s gloo-545886d9c6-85mwt                     1/1     Running   0          51s ingress-67d4996d75-lkkmw                  1/1     Running   0          50s knative-external-proxy-767dfd656c-wwv2z   1/1     Running   0          50s knative-internal-proxy-6fdddcc6b5-7vqd8   1/1     Running   0          51s

Сборка и работа OpenWhisk поверх Knative

1. Получаем содержимое этого репозитория:

$ git clone https://github.com/tektoncd/catalog/ $ cd catalog/openwhisk

1. Выставляем в виде переменных окружения данные для доступа к Registry и сохраняем их в виде секрета Kubernetes:

$ export DOCKER_USERNAME=<your docker hub username> $ export DOCKER_PASSWORD=<your docker hub password> $ sed -e 's/${DOCKER_USERNAME}/'"$DOCKER_USERNAME"'/' -e 's/${DOCKER_PASSWORD}/'"$DOCKER_PASSWORD"'/' docker-secret.yaml.tmpl > docker-secret.yaml $ kubectl apply -f docker-secret.yaml

Проверяем:

$ kubectl get secret NAME                    TYPE                                  DATA      AGE dockerhub-user-pass     kubernetes.io/basic-auth              2         21s

1. Создаем учетную запись для сборки окружений:

$ kubectl apply -f service-account.yaml

Проверяем:

$ kubectl get serviceaccount/openwhisk-runtime-builder NAME                        SECRETS   AGE openwhisk-runtime-builder   2         31m

1. Создаем задачу для сборки образа для OpenWhisk

$ kubectl apply -f openwhisk.yaml task.tekton.dev/openwhisk created

1. Запускаем задачу для сборки образа (на примере NodeJS):

Создаем файл taskrun.yaml с содержимым:

# Git Pipeline Resource for OpenWhisk NodeJS Runtime apiVersion: tekton.dev/v1alpha1 kind: PipelineResource metadata:     name: openwhisk-nodejs-runtime-git spec:     type: git     params:         - name: revision           value: master         - name: url           value: https://github.com/apache/openwhisk-runtime-nodejs.git ---  # Image Pipeline Resource for OpenWhisk NodeJS Sample Application apiVersion: tekton.dev/v1alpha1 kind: PipelineResource metadata:     name: openwhisk-nodejs-helloworld-image spec:     type: image     params:         - name: url           value: docker.io/${DOCKER_USERNAME}/openwhisk-nodejs-helloworld ---  # Task Run to build NodeJS image with the action source apiVersion: tekton.dev/v1alpha1 kind: TaskRun metadata:     name: openwhisk-nodejs-helloworld spec:     serviceAccountName: openwhisk-runtime-builder     taskRef:         name: openwhisk     inputs:         resources:             - name: runtime-git               resourceRef:                 name: openwhisk-nodejs-runtime-git         params:             - name: DOCKERFILE               value: "./runtime-git/core/nodejs10Action/knative/Dockerfile"             - name: OW_ACTION_NAME               value: "nodejs-helloworld"             - name: OW_ACTION_CODE               value: "function main() {return {payload: 'Hello World!'};}"             - name: OW_PROJECT_URL               value: ""     outputs:         resources:             - name: runtime-image               resourceRef:                 name: openwhisk-nodejs-helloworld-image ---

Применяем актуальные данные для этого файла:

$ sed 's/${DOCKER_USERNAME}/'"$DOCKER_USERNAME"'/' -i taskrun.yaml

Применяем:

$ kubectl apply -f taskrun.yaml pipelineresource.tekton.dev/openwhisk-nodejs-runtime-git created pipelineresource.tekton.dev/openwhisk-nodejs-helloworld-image created taskrun.tekton.dev/openwhisk-nodejs-helloworld created

Проверка работы заключается в получении имени pod`а, просмотра его статуса. Также можно посмотреть журнал выполнения каждого шага, например:

$ kubectl get taskrun NAME                          SUCCEEDED   REASON      STARTTIME   COMPLETIONTIME openwhisk-nodejs-helloworld   True        Succeeded   5m15s       44s $ kubectl get pod openwhisk-nodejs-helloworld-pod-4640d3 NAME                                     READY   STATUS      RESTARTS   AGE openwhisk-nodejs-helloworld-pod-4640d3   0/6     Completed   0          5m20s $ kubectl logs openwhisk-nodejs-helloworld-pod-4640d3 -c step-git-source-openwhisk-nodejs-runtime-git-r8vhr {"level":"info","ts":1576532931.5880227,"logger":"fallback-logger","caller":"logging/config.go:69","msg":"Fetch GitHub commit ID from kodata failed: open /var/run/ko/refs/heads/master: no such file or directory"} {"level":"info","ts":1576532936.538926,"logger":"fallback-logger","caller":"git/git.go:81","msg":"Successfully cloned https://github.com/apache/openwhisk-runtime-nodejs.git @ master in path /workspace/runtime-git"} {"level":"warn","ts":1576532936.5395331,"logger":"fallback-logger","caller":"git/git.go:128","msg":"Unexpected error: creating symlink: symlink /tekton/home/.ssh /root/.ssh: file exists"} {"level":"info","ts":1576532936.8202565,"logger":"fallback-logger","caller":"git/git.go:109","msg":"Successfully initialized and updated submodules in path /workspace/runtime-git"}

После выполнения у нас в Registry появится образ, который может быть развернут с помощью утилиты kn, предназначенной для работы с Knative сервисами, например:

kn service create nodejs-helloworld --image docker.io/${DOCKER_USERNAME}/openwhisk-nodejs-helloworld Service 'nodejs-helloworld' successfully created in namespace 'default'. Waiting for service 'nodejs-helloworld' to become ready ... OK  Service URL: http://nodejs-helloworld.default.example.com

В случае использования Gloo проверить работоспособность можно так:

$ curl -H "Host: nodejs-helloworld.default.example.com" -X POST $(glooctl proxy url --name knative-external-proxy) {"OK":true} $ curl -H "Host: nodejs-helloworld.default.example.com" -X POST $(glooctl proxy url --name knative-external-proxy) {"payload":"Hello World!"}

Другие статьи цикла

Бессерверные вычисления на основе OpenWhisk, часть 1
Бессерверные вычисления на основе OpenWhisk, часть 2
Бессерверные вычисления на основе OpenWhisk, часть 3
Бессерверные вычисления на основе OpenWhisk, часть 4