Управление устройствами интернета вещей через Kubernetes

Kubernetes последовательно захватывает все новые ниши для декларативного описания ожидаемого состояния и теперь ресурсами Kubernetes можно управлять облачными провайдерами (например, через Crossplane), создавать и масштабировать функции (KNative) и многим другим. И кажется интересной идея конфигурирования через Kubernetes физических устройств, имеющих механизм удаленного управления и отправки информации о текущем состоянии. В CNCF был зарегистрирован проект (сейчас находится в sandbox) Akri, который предлагает модель унифицированного управления устройствами умного дома и в этой статье мы рассмотрим основные аспекты конфигурирования Akri на примере udev и OPC UA.

Akri определяет два типа ресурсов: описание устройства и описание экземпляра Akri для управления устройством. Для обнаружения устройств Akri поддерживает протоколы udev (универсальный механизм обнаружения для Linux), ONVIF (для обнаружения IP-камер), OPC UA (промышленный стандарт для взаимодействия с датчиками и управляющими устройствами), в работе поддержка Bluetooth, LoRaWAN, CoAP и других, при этом можно создать собственное расширение для обнаружения устройств по специальному протоколу, который описан в документации на основе шаблона на Rust. Мы будем использовать udev и будем обнаруживать существующую веб-камеру на компьютере, но разумеется здесь можно было бы использовать любую другую конфигурацию (например, управлять GPU или другими устройства, в том числе подключенными через USB).

Для установки будем использовать Helm, это поможет сразу настроить необходимую конфигурацию обнаружения. Для получения информации о состоянии pod будет использоваться crictl, которая доступна по умолчанию в Kubernetes 1.24+. Важно при установке указать расположение socket-файла для cri в переменной agent.host.containerRuntimeSocket (например, при установке с Containerd расположение будет /run/containerd/contained.sock, для Docker + Mirantis cri-dockerd: /run/cri-dockerd.sock)

helm repo add akri-helm-charts https://project-akri.github.io/akri/ helm install akri akri-helm-charts/akri \      --set agent.host.containerRuntimeSocket=/run/cri-dockerd.sock \      --set udev.discovery.enabled=true \      --set udev.configuration.enabled=true \      --set udev.configuration.name=akri-udev-video \      --set udev.configuration.discoveryDetails.udevRules[0]='KERNEL=="video[0-9]*"' \      --set udev.configuration.brokerPod.image.repository="ghcr.io/project-akri/akri/udev-video-broker"

При установке мы указываем способ обнаружения устройств, дополнительные настройки для поиска устройств (здесь мы ищем все доступные видеоустройства в /dev). Также можно разрешить все доступные способы обнаружения через переменную agent.full=true. Для мониторинга в Prometheus можно разрешить экспорт метрик через prometheus.enabled=true, среди которых будет кроме обычных замеров rust-приложений значения количества обнаруженных устройств (akri_instance_count), запущенных брокеров (akri_broker_pod_count), а также метрики от брокеров (например, akri_frame_count от брокера udev-video).

При использовании сетевых методов обнаружения можно указывать список ip или MAC-адресов для отбора устройств и анонсированные возможности (например, scopes в ONVIF). Более подробно примеры конфигурации можно посмотреть в документации. Конфигурация discovery создает ресурс с типом Configuration (apiVersion: akri.sh/v0) со следующей спецификацией:

spec:   brokerProperties: {}   brokerSpec:     brokerPodSpec:       containers:       - image: ghcr.io/project-akri/akri/udev-video-broker:latest         name: akri-udev-video-broker         securityContext:           privileged: true   capacity: 1   configurationServiceSpec:     ports:     - name: grpc       port: 80       protocol: TCP       targetPort: 8083     type: ClusterIP   discoveryHandler:     discoveryDetails: |       udevRules:       - KERNEL=="video[0-9]*"     name: udev   instanceServiceSpec:     ports:     - name: grpc       port: 80       protocol: TCP       targetPort: 8083     type: ClusterIP

В спецификации указывается образ контейнера для брокера, который будет использоваться для взаимодействия с устройствами, и настройки discovery, которые применяются в discovery-daemonset для обнаружения новых устройств. Кроме пода обнаружения на узлы устанавливается агент, который реализует протокол Device Plugins для уведомления о доступных устройствах, устанавливается через DaemonSet на все узлы кластера. Для обнаруженных устройств создается экземпляр ресурса Instance (apiVersion: akri.sh/v0), который содержит информацию о доступе к устройству для брокера (brokerProperties). Также в brokerProperties может содержаться информация о настройках устройствах (например, частота кадров для камеры). Агент отслеживает изменения в списке устройств и соответственно создает, изменяет или удаляет ресурсы Instance.

apiVersion: akri.sh/v0 kind: Instance metadata:   name: akri-udev-video-db97e3   namespace: default spec:   brokerProperties:     UDEV_DEVNODE: /dev/video0   configurationName: akri-udev-video   deviceUsage:     akri-udev-video-db97e3-0: mynotebook   nodes:   - mynotebook   shared: false

Брокер может изменять состояние устройства при изменениях в brokerProperties, а также предоставлять методы для получения информации от устройства через REST, gRPC или другие протоколы. Для udev-video-broker можно использовать клиент, который отображает полученные кадры в веб-интерфейсе:

kubectl apply -f https://raw.githubusercontent.com/project-akri/akri/main/deployment/samples/akri-video-streaming-app.yaml PORT=`kubectl get service/akri-video-streaming-app --output=jsonpath='{.spec.ports[?(@.name=="http")].nodePort}'` open http://localhost:$PORT

Исходные тексты приложения можно посмотреть здесь. Приложение запрашивает кадры с опубликованного grpc-сервиса (связан с соответствующим Instance и может быть найден по имени Instance и суффиксу -svc, grpc опубликован на порт 80), описание протокола выглядит следующим образом:

syntax = "proto3";  option csharp_namespace = "Camera";  package camera;  service Camera {   rpc GetFrame (NotifyRequest) returns (NotifyResponse); }  message NotifyRequest { }  message NotifyResponse {   bytes frame = 1;   string camera = 2; }

Рассмотрим теперь более сложный пример с использованием OPC UA. Для симуляции устройства будем использовать https://github.com/flopach/opc-ua-sensor-simulator. Установим симулятор и попробуем подключиться к нему через свободный клиент:

git clone https://github.com/flopach/opc-ua-sensor-simulator apt install libxslt-dev libxml2-dev libffi-dev cd opc-ua-sensor-simulator sudo add-apt-repository ppa:deadsnakes/ppa sudo apt install python3.8 python3.8-distutils sudo rm /usr/bin/python sudo ln -s /usr/bin/python3.8 /usr/bin/python pip3 install -r requirements.txt unzip sensor.csv.zip sed -i 's/127.0.0.1/0.0.0.0/ig' opc-ua-server.py python opc-ua-server.py

Установим свободный клиент:

snap install --edge opcua-client

Для получения информации о доступных устройствах и замеров датчиков подключимся к localhost:4840 и получим возможность просмотра списка зарегистрированных поставщиков данных и значения температуры и давления.

Теперь настроим подключение Akri к серверу. Для этого создадим конфигурацию обнаружения:

apiVersion: akri.sh/v0 kind: Configuration metadata:   name: akri-opcua   namespace: default spec:   brokerProperties: {}   brokerSpec:     brokerPodSpec:       containers:       - image: nginx:latest         name: akri-opcua-broker   capacity: 1   configurationServiceSpec:     ports:     - name: grpc       port: 80       protocol: TCP       targetPort: 8083     type: ClusterIP   discoveryHandler:     discoveryDetails: "opcuaDiscoveryMethod: \n  standard:\n    discoveryUrls:\n    -       opc.tcp://IP:4840/opcua/\napplicationNames:\n  action: Exclude\n       \ items: []\n"     name: opcua   instanceServiceSpec:     ports:     - name: grpc       port: 80       protocol: TCP       targetPort: 80     type: ClusterIP 

Вместо IP здесь необходимо подставить соответствующий внешний адрес узла. Для каждого обнаруженного устройства будет создан брокер (в нашем случае сервер nginx). Для разработки собственного брокера (например, получения температуры с датчиков) можно использовать свободные реализации gRPC и OPC UA (например, topic и opcua в crates для Rust, grpc и asyncua в python). Во второй части статьи мы рассмотрим пример обработки данных с датчика температуры через протокол спецификации OPC UA и их извлечения в веб-интерфейсе с построением графика истории изменения температуры (также будем использовать возможности обнаружения Akri), а также поговорим о возможностях интеграции системы обнаружения со свободными системами умного дома Majordomo и Home Assistant.

В преддверии запуска курса «Инфраструктурная платформа на основе Kubernetes» приглашаю всех на бесплатный демоурок, в рамках которого мои коллеги расскажут как шаблонизировать манифесты Kubernetes разными способами и не только.

• Зарегистрироваться на бесплатный урок