Большинство статей про Kubernetes на границе (edge) описывают более-менее стабильную топологию: несколько узлов в одном или нескольких дата-центрах, предсказуемая сеть между ними, редкие сетевые партиции как исключение, а не норма. У нас всё наоборот: control plane живёт в офисе/датацентре, а agent-узлы физически стоят в транспортных средствах автопарка — едут по городу, паркуются в подземных гаражах без связи, теряют VPN на десятки минут за смену. Разрыв связи с control plane — это не инцидент, это штатный режим работы системы, который нужно было спроектировать с самого начала, а не «подкрутить» постфактум.
В этой статье — то, как устроен наш K3s-кластер для автопарка: HA control plane на kube-vip, транспорт через WireGuard поверх MikroTik, разнородный флот из amd64- и ARM-агентов (включая Jetson), и отдельно — самая интересная часть: как мы подступаемся к вопросу «может ли под на границе продолжать работать, когда control plane временно недостижим».
Почему K3s, а не ванильный Kubernetes
Ключевое ограничение — железо на бортах: часть агентов — это одноплатники и Jetson-модули, а не серверные amd64-хосты с запасом по памяти. K3s в первую очередь выигрывает не «простотой установки» (это приятный бонус), а тем, что это один статический бинарник с embedded containerd, без отдельного etcd на каждом agent-узле и с существенно меньшим footprint по памяти — на слабом ARM-борту это разница между «работает» и «OOM killer убивает kubelet раз в час».
Архитектура control plane: три узла и один VIP
Control plane — три узла в HA-конфигурации, embedded etcd (собственно поэтому три, а не два: кворуму нужно нечётное число). Проблема любого HA control plane на bare-metal или в частном облаке — единая точка входа: агентам и kubectl нужен один адрес, а не список из трёх IP, между которыми надо вручную переключаться при отказе узла.
Для этого перед control plane стоит kube-vip — он поднимает виртуальный IP и через leader election (на базе той же логики, что использует сам Kubernetes для controller-manager) назначает, какой из трёх узлов сейчас отвечает на этот VIP. Падает узел-лидер — kube-vip на оставшихся двух почти мгновенно перевыбирает нового держателя VIP, и с точки зрения агентов адрес control plane не менялся вообще.
# фрагмент манифеста kube-vip (ARP-режим)apiVersion: v1kind: Podmetadata: name: kube-vip namespace: kube-systemspec: containers: - name: kube-vip image: ghcr.io/kube-vip/kube-vip:v0.7.2 args: ["manager"] env: - name: vip_interface value: eth0 - name: address value: "10.10.0.1" - name: vip_arp value: "true" - name: vip_leaderelection value: "true"
Развёртывание control-plane и agent-узлов — не руками и не через k3sup, а через собственные Ansible-роли k3s_server и k3s_agent. Это принципиально: у нас гетерогенный флот, и один и тот же плейбук должен корректно накатываться и на amd64-сервер в офисе, и на ARM-плату в машине — с разными версиями бинарника k3s, разными systemd-юнитами по ресурсам и разной сетевой конфигурацией на входе.
Транспорт: WireGuard поверх MikroTik
Агенты не сидят в одной L2-сети с control plane — они разбросаны географически и подключаются через WireGuard-туннели, которые терминируются на MikroTik-роутерах. Выбор MikroTik не случаен: RouterOS начиная с 7 версии умеет WireGuard нативно, без отдельного Linux-бокса рядом как VPN-концентратора — это на порядок упрощает эксплуатацию, когда точек присутствия много, а держать в каждой полноценный сервер накладно.
Из этого же стека вытекает любопытная возможность на будущее: RouterOS 7 умеет запускать Linux-контейнеры нативно (не Docker CLI, а свой container-механизм поверх того же ядра) — то есть лёгкий node_exporter или прокси-шим прямо на пограничном роутере, без отдельного железа рядом, вполне реализуемо. Пока не задействовано в проде, но architecturally это ложится ровно в ту же модель «минимум лишних сущностей на границе».
Практическое следствие WireGuard-транспорта — сеть между agent и control plane не просто «иногда недоступна», у неё систематически выше и более рваная задержка, чем у выделенного канала в одном ДЦ. Это напрямую бьёт по настройке проб в Kubernetes.
Readiness и liveness на нестабильном канале
Классическая ошибка — повесить liveness-пробу на что-то тяжелее, чем «жив ли сам процесс», и получить бесконечный рестарт-луп из-за сетевых лагов, а не из-за реальной поломки. У нас это не гипотетический риск, а гарантированный сценарий: если liveness-проверка ходит куда-то через VPN-канал с непредсказуемой задержкой, кратковременный лаг WireGuard превращается в убийство и пересоздание совершенно здорового пода.
Разделение простое, но соблюдать его на границе критичнее, чем в датацентре: liveness проверяет исключительно локальное состояние процесса (без походов во внешние зависимости и уж тем более без похода через VPN-туннель), а readiness может позволить себе более тяжёлую и более медленную проверку — её провал просто временно выводит под из балансировки, а не убивает его.
livenessProbe: httpGet: path: /healthz # только локальный процесс port: 8080 periodSeconds: 10 failureThreshold: 3readinessProbe: httpGet: path: /ready # можно проверять локальные зависимости port: 8080 periodSeconds: 5 failureThreshold: 2 timeoutSeconds: 3
Гонка с cgroups: Jetson, JetPack 5.3.1 и kubelet 1.36
Самый неприятный баг флота обнаружился не в сети, а в самих ARM-узлах. Jetson-модули идут с вендорским BSP (JetPack), который на версии 5.3.1 всё ещё тянет за собой окружение, ориентированное на cgroups v1 — тогда как современный kubelet (у нас — 1.36) и его ресурсный менеджмент рассчитаны на унифицированную иерархию cgroups v2, где вместо отдельного дерева групп на каждый контроллер (CPU, память, I/O по отдельности, как было в v1) один процесс живёт в одной группе с несколькими включёнными контроллерами внутри неё.
На практике это выглядело так: kubelet на Jetson либо не стартовал, либо стартовал и сразу же вёл себя непредсказуемо по лимитам ресурсов, потому что ожидал unified-иерархию, а получал v1-раскладку от BSP. Проверяется это тривиально:
mount | grep cgroup2# пусто или нет строки с cgroup2 — система всё ещё на v1-иерархии
Чинить BSP вендора — не наш путь: JetPack трогать нежелательно, это сорвёт сертификацию и стабильность остального стека на плате. Решение оказалось на стороне K3s — явно разрешить агенту работать поверх legacy-иерархии, не требуя от системы миграции на v2:
# /etc/rancher/k3s/config.yaml на agent-узле (Jetson)kubelet-arg: - "fail-cgroupv1=false"
Без этого флага k3s-agent на подобных платах просто отказывался подниматься, ссылаясь на несовместимость cgroup-иерархии — а с ним кластер принимает узел таким, какой он есть, не выкручивая руки вендорскому образу.
Выкладка обновлений на разнородный и не всегда доступный флот
Rolling update на обычном кластере в ДЦ регулируется двумя параметрами стратегии: maxUnavailable — сколько подов старой версии можно снять одновременно, и maxSurge — сколько лишних подов новой версии можно поднять сверх нормы, пока идёт выкат. На флоте с нестабильной связью агрессивные значения не просто увеличивают blast-radius при плохом релизе — они гарантированно упрутся в то, что часть агентов физически недоступна прямо сейчас (машина в рейсе без связи), и rollout будет висеть, ожидая узлы, которые появятся в сети только через несколько часов.
strategy: type: RollingUpdate rollingUpdate: maxUnavailable: 1 maxSurge: 0
Версионирование образов и веток идёт через GitLab CI/CD с чёткой логикой: семантическая версия (v1.4.2) — это то, что реально катится на прод-флот, а всё, что собирается с веток разработки, помечается суффиксом -dev и в производственный rollout не попадает в принципе. Это разделение снимает целый класс инцидентов «а почему в машине оказался билд, который никто не должен был катить».
Главный открытый вопрос: работа пода, когда control plane недостижим
Технически kubelet и так продолжает поддерживать уже запущенные на узле поды, даже полностью потеряв связь с API-сервером — control plane нужен для новых назначений, обновлений состояния и части служебной логики, а не для того, чтобы под продолжал физически исполняться. Но у нас проблема на уровень выше: сервисам на борту машины часто нужен не только «под жив», а конкретный ответ от внутреннего API, который в обычном режиме идёт через control plane или соседние сервисы кластера — а вот это уже недоступно, когда VPN-туннель лежит.
Решение, которое сейчас на стадии прототипа — двухрежимный TCP-прокси/шим на самом agent-узле:
-
Passthrough-режим — пока VIP control plane доступен через WireGuard, шим прозрачно проксирует трафик как обычно, никак не вмешиваясь в ответ.
-
Fallback-режим — как только VIP перестаёт отвечать, шим переключается на отдачу последнего закэшированного валидного ответа вместо честного похода наружу, чтобы борт продолжал работать на «немного устаревших, но валидных» данных, а не падал в ошибку целиком.
Следующий шаг — довести этот прототип до продового качества: политика инвалидации кэша, метрики по доле fallback-ответов (чтобы видеть деградацию флота по связности как метрику, а не узнавать постфактум), и explicit-переключение состояния, которое можно будет отдавать в мониторинг отдельным сигналом «этот борт сейчас работает в offline-режиме».
Что в сухом остатке
Кластер на границе с реальным, а не гипотетическим отсутствием связи меняет приоритеты по сравнению с обычным K8s в ДЦ: HA control plane и rolling-стратегии здесь не про «отказоустойчивость на бумаге», а про то, что часть флота гарантированно будет недоступна в любой момент времени, и система обязана оставаться консистентной в этом состоянии, а не считать его аварией. Следующая итерация — довести offline-шим до продакшена и вынести связность флота в отдельную метрику здоровья системы.
Буду рад, если подпишитесь на мой канал по администрированию и DevOps — в Telegram: @sys_admin_expert
ссылка на оригинал статьи https://habr.com/ru/articles/1079024/