Kubernetes на кончиках пальцев

Привет, на CKA курсе туторы нарочито вдалбливают последовательность действи: set the cluster, set the namespace, set the pod… И все это происходит в консоли, используя kubectl — консольная утилита для управления k8s кластерами. Мне настолько это вдолбилось что я решил это автоматизировать. У меня уже был интересный проект автоматизации ssh подключений (sshto), не долго думая, я взял его за основу и написал kui. Это bash скрипт, dialog обёртка для kubectl. У диалога есть приятная фича присваивать горячку каждому пункту меню по первому символу. Это очень удобно, в результате весь k8s кластер оказывается у вас на кончиках пальцев.

Я уже упоминал kui в своих публикациях но раз уж сейчас сезон Open source, решился написать самостоятельную статью про kui, OS и вот это вот все.

Зачем делать свое если есть уже много не своего? Да, да, но я недавно побывал в замечательном городе Владимире, в числе прочего зашли в Кузницу-Музей Бородиных. Очень понравилось, дядя кузнец красивым поставленным баритоном рассказал про кузнечное дело что да как, задавал вопросы а за правильные ответы давал сахарок) В кузнице много инструментов: молотков, клещей, оправок… Раньше кузнец все это делал сам, сам делал себе инструменты. Получил заказ, подумал покумекал как делать, сделал инструмент, сделал заказ. Вот так потихоньку в кузнице инструмент и прибывал. Зайдешь в кузницу, посмотришь сколько разного инструмента у кузнеца и сразу понятно опытный кузнец или нет. Вот и я как тот кузнец, инструменты себе делаю сам, не могу не куя.

Будете во Владимире обязательно зайдите в это место, особенно с детьми. Можно самому молотком поколотить, сделать гвоздь на добрую память. К сожалению главная достопримечательность Владимира — Золотые ворота в данный момент на реставрации ну чтож — это повод вернуться и выковать еще один гвоздь.

Так что моя философия — делай своё, делай сам, делай больше, в любом случае будешь вознаграждён опытом и интересно проведешь время, только OS, только хардкор)

Начнем же знакомство с kui’ем. О чем вообще сыр бор, зачем нужен kui? Вот пример обычного рабочего процесса с kubectl, скажем нам надо посмотреть подики в неймспейсе clickhouse-dev, пишем такое:

$ kubectl --kubeconfig=.kube/config_dev -n clickhouse-dev get po NAME                      READY   STATUS    RESTARTS   AGE chi-cluster-dev01-0-0-0   2/2     Running   0          29d chi-cluster-dev01-0-1-0   2/2     Running   0          29d chi-cluster-dev01-0-2-0   2/2     Running   0          29d

Выглядит просто когда можно скопипастить команду но когда сам тыкаешь кнопки, все несколько скучнее, видосик:

Может я просто медленно печатаю? Но я всегда придерживался мнения что работать должен компьютер а человек должен только контролировать его работу и вмешиться по необходимости. Нажми на кнопку, получишь результат. А иначе зачем это все? Попробуем сделать тоже самое с kui’ем:

Согласитесь с kui’ем повеселее чем без kui’я!) А ведь это просто bash скрипт. При желании вы сможете свой kui заточить под ваши нужды без особых проблем. У меня так и было, сначала потенционал kui’я был совсем маленький, выбрать кластер, неймспейс, посмотреть подики, логи. В какой-то момент появилась задача в которой требовалось пробросить порт в подик, сделал и добавил такую функцию в kui. Клиент никак не мог удалить залипший подик, применил --force и добавил в kui команду Termination. Так потенциал kui постепенно увеличивался и сейчас kui стал очень удобным инструментом. Частенько требуется залезть прямо в под, и потыкать там, вот посмотрите как с помощью kui’я можно бысто пролезть в подик:

Чик-пык и мы внутри. Потом вернулись обратно в kui, выбрали следующий под и пошло-поехало, удобно. Кстати kui запоминает где вы были в последний раз (кластер и неймспейс) и если вы перезапустите kui то начнете там где закончили.

Был забавный диалог с коллегами:

Решил увековечить это в kui, переименовал команды cordone и uncordone вот так:

Получилось очень точно по смыслу, не хочешь плодить поды, надень … эм, закордонь. И к названию подходит как нельзя лучше. Возможно, разработчики kubectl, придумывая названия команд cordone/uncordone, тоже думали об этом, названия команд подозрительно созвучны моему варианту)

Рассмотрим kui поближе. Как я уже сказал это bash скрипт а в качестве «движка» используется диалог. Чтобы все это работало вам понадобится установить dialog и kubectl. А для доступа к кластерам необходимо конфиги с ключами положить в папку ~/.kube — это путь по умолчанию для конфигов kubectl, файлы должны начинаться со слова config*. Если вы по каким-то причинам используете другую папку/файлы, подкрутите в kui’е вот эту переменную:

CONFILES=$(echo ~/.kube/{config,config*[!~]}) # k8s confiles list.

Если у вас уже подгорает добавить что-нибудь, вперед, вот как это все выглядит внутри:

#------------------------{ Dialog creator }------------------------ D(){     local type="$1"     local name="$2"     local oklb="$3"     local nolb="$4"     local opts="$5"     shift        5      case $type in           menu) local size='0 0 0';;       inputbox) local size='10 60';;     esac      dialog   $opts                     \            --no-collapse --output-fd 1 \            --colors      --aspect  100 \            --ok-label     "$oklb" \            --cancel-label "$nolb" \            --$type        "$name" \              $size   --   "$@" }

Это функция для упрощеннго создания диалогов. А вот как эта функция используется, простые диалоги ввода данных (inputbox):

#------------------------{ Change ports used in port-forwarding command }-------------------------- local_port(){     new_local=$(D inputbox 'Change local port' CHANGE BACK '--max-input 5' $LOCAL)     LOCAL=${new_local:-$LOCAL}     cmds_regen }  remote_port(){     new_remote=$(D inputbox 'Change remote port' CHANGE BACK '--max-input 5' $REMOTE)     REMOTE=${new_remote:-$REMOTE}     cmds_regen }  #------------------------{ Change command to run in pod }------------------------------------------ change_command(){     new_kubcmd=$(D inputbox 'Change command to run in pod' CHANGE BACK '--max-input 255' "$KUBCMD")     KUBCMD="${new_kubcmd:-$KUBCMD}"     cmds_regen }  ...

И пример диалога с выбором (menu), в данном случае кластера:

select_cluster(){     cluster=$(D menu "Select cluster:" SELECT EXIT '--no-items --extra-button --extra-label NODES --help-button --help-label TOP' "${!clusters[@]}") case $? in          0) kubconfig="${clusters[$cluster]}"             select_namespace;;          2) cluster=${cluster//HELP /}             kubconfig="${clusters[$cluster]}"             select_node top;;          3) kubconfig="${clusters[$cluster]}"             select_node;;        1) bye;;   esac }

Диалог и соответственно функция возвращают разные коды завершения в зависимости от нажатой кнопки. Кнопок диалог позволяет создавать максимум 4. По умолчанию это кнопки:

• ok, код 0

• cancel, код 1

• help, код 2

• extra, код 3

Названия кнопок можно изменять опцией --<имя_кнопки>-label <новое_название_кнопки>. Для проверки кода используется case. Самый интересный диалог это выбор действия с объектами: под, джоб, деплой и т.д. Но не все команды актуальны для того или иного типа объектов. Поэтому мне пришлось сделать несколько наборов команд:

cmds_regen(){  # Commands to run, list will be updated                #-----------------------+--------------------------------------------------------------+                #   Command name        |   Description                                                |                #-----------------------+--------------------------------------------------------------+     quick_butt=(  ''     ''              "$quickl" "$quickd"                   "$F_BUTT"              "Filter items               "                   "$N_BUTT"              "Go to namespace selection  "                   "$T_BUTT"              "Go to object type selection"                   "$C_BUTT"              "Go to cluster selection    "                   "$D_BUTT"              "Go to node selection"                   "$P_BUTT"              "Go to top node selection"                   "$W_BUTT"              "Watch for a while how it's going"                           )     descr_cmds=(   Get                   "Get this $type"                    Describe              "Describe this $type"                    Output                "Set output mode: ${outputypes_list%|}"                      )     label_cmds=(   Label                 "Set this $type as label"                                    )     scale_cmds=(   Scale                 "Change number of replicas in this $type"                    )    delete_cmds=(   Delete                "Delete this $type"                    Termination           "Delete this $type using --force"                            )    common_cmds=(  "${descr_cmds[@]}"                   ''                     ''  # delimiter                    Logs                  "Get $type logs"                   'Logs all'             "Get $type logs from all containers at once!"                    Search                "Grep something in logs"                    Container             'Select container to run command or get logs from'                    Edit                  "Edit this $type"                   ''                     ''  # delimiter                   "${delete_cmds[@]}"                                                                 )       top_cmds=(  "Top $type"            "Show metrics for this $type"                   "Top ${type}s"         "Show metrics for all ${type}s"                              )   rollout_cmds=(  'Rollout restart'      "Restart this $type"                   'Rollout status '      "Show the status of this $type's rollout"                   'Rollout pause  '      "Mark the provided this $type as paused"                   'Rollout resume '      "Resume this paused $type"                   'Rollout undo   '      "Undo a previous rollout of this $type"                   'Rollout history'      "View rollout history of this $type"                         )      exec_cmds=(  "Execute $KUBCMD"      "Run command '\Z1$KUBCMD\Z0' in this $type"                   'Change command'       "Change command(\Z1$KUBCMD\Z0)"                              )      pfwd_cmds=(  'Port-forward'         "Forward local port \Z2$LOCAL\Z0 to pods port \Z2$REMOTE\Z0"                   'Change local port'    "Change local(\Z2$LOCAL\Z0) port"                   "Change pod's port"    "Change pod's(\Z2$REMOTE\Z0) port"                           )     shell_cmds=(  'Interactive shell'    "Open interactive shell in this $type"                       )      cron_cmds=(  'Suspend'              "Suspend this $type"                   'Unsuspend'            "Unsuspend this $type"                    Delete                "Delete this $type"                    Edit                  "Edit this $type"                                            )      node_cmds=(   Condom                "Make this $type unschedulable"                    Uncondome             "Make this $type schedulable again"                    Drain                 "Drain this $type in preparation for maintenance"                    'Node pods'            "Show pods of this node"                   'Top node pods'        "Show top pods of this node"                    ''                     ''  # delimiter                   "${top_cmds[@]}"                                                                    )       pod_cmds=(  "${descr_cmds[@]}"                   ''                     ''  # delimiter                    Logs                  "Get $type logs"                   'Logs all'             "Get $type logs from all containers at once!"                    Search                "Grep something in logs"                    Container             'Select container to run command or get logs from'                   ''                     ''  # delimiter                   "${delete_cmds[@]}"                   ''                     ''  # delimiter                   "${top_cmds[@]}"                   ''                     ''  # delimiter                   "${shell_cmds[@]}"                   ''                     ''  # delimiter                   "${exec_cmds[@]}"                   ''                     ''  # delimiter                   "${pfwd_cmds[@]}"                                                                   )      depl_cmds=(  "${common_cmds[@]}"                   ''                     ''  # delimiter                   "${label_cmds[@]}"                   ''                     ''  # delimiter                   "${scale_cmds[@]}"                   ''                     ''  # delimiter                   "${rollout_cmds[@]}"                   ''                     ''  # delimiter                   "${exec_cmds[@]}"                   ''                     ''  # delimiter                   "${pfwd_cmds[@]}"                                                                   ) }; cmds_regen

И применять их в зависимости от объекта:

#------------------------{ Play with objects }----------------------------------------------------- butt_no_filter=("${quick_butt[@]::4}" "${quick_butt[@]:6:10}") play_with_event            (){ WAIT;  data=$(kube get $type $ns 2>&1);  GO;  echo "$data";  pause;  select_type; } play_with_statefulset      (){ all_cmds_check "${common_cmds[@]}" "${scale_cmds[@]}"  ''  '' "${rollout_cmds[@]}" "${butt_no_filter[@]}"; } play_with_node             (){ all_cmds_check "${descr_cmds[@]}"  '' '' "${node_cmds[@]}"    "${butt_no_filter[@]:0:10}"; } play_with_daemonset        (){ all_cmds_check "${common_cmds[@]}" '' '' "${rollout_cmds[@]}" "${butt_no_filter[@]}"; } play_with_cronjob          (){ all_cmds_check "${descr_cmds[@]}"  '' '' "${cron_cmds[@]}"    "${butt_no_filter[@]}"; } play_with_secret           (){ all_cmds_check "${descr_cmds[@]}"  '' '' "${delete_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_replicaset       (){ all_cmds_check "${common_cmds[@]}" "${scale_cmds[@]}"         "${butt_no_filter[@]}"; } play_with_deployment       (){ all_cmds_check "${depl_cmds[@]}"   "${butt_no_filter[@]}"; } play_with_pod              (){ all_cmds_check "${pod_cmds[@]}"    "${butt_no_filter[@]}"; } play_with_job              (){ all_cmds_check "${common_cmds[@]}" "${butt_no_filter[@]}"; } play_with_componentstatuse (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_serviceaccount   (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_podtemplate      (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_limitrange       (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_configmap        (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_endpoint         (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_service          (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; } play_with_ingress          (){ all_cmds_check "${descr_cmds[@]}"  "${butt_no_filter[@]}"; }

А вот этот набор:

    quick_butt=(  ''     ''              "$quickl" "$quickd"                   "$F_BUTT"              "Filter items               "                   "$N_BUTT"              "Go to namespace selection  "                   "$T_BUTT"              "Go to object type selection"                   "$C_BUTT"              "Go to cluster selection    "                   "$D_BUTT"              "Go to node selection"                   "$P_BUTT"              "Go to top node selection"                   "$W_BUTT"              "Watch for a while how it's going"  )

Пришлось сделать чтобы преодолеть ограничение диалога в 4 кнопки. Можно конечно было добавить подменю, но для вызова подменю нужна кнопка а с ними напряженка. Подменю не удобно и там тоже было бы максимум 4 кнопки. Сделал так, получилось как-бы встроенное подменю. Все дополнительные кнопки/команды на виду и доступны сразу по горячим кнопкам. Да, если основной список длинный они уезжают за экран, но когда долго работаешь с kui’ем горячки запоминаются быстро, достаточно нажать циферку и нужная команда выбрана. Это очень удобно.

Чаще всего приходится возиться с подиками поэтому список команд для подов самый большой:

Можно посмотреть под в разных форматах json|yaml|wide|name. Посмотреть логи. Относительно недавно добавил возможность смотреть логи сразу во всех контейнерах. Когда у пода несколько контейнеров команда kubectl -n.. logs pod/pod_name ругнется если не указан контейнер:

error: a container name must be specified for pod chi-cluster-dev01-0-0-0, choose one of: [clickhouse clickhouse-bulk]

Но с kui’ем можно сказать Logs all и получить логи сразу всех контейнеров.

Можно удалить под, выполнить в нем команду открыть порт или открыть интерактивную оболочку.

Теперь с помощью подменю Quick selection изменяем тип на deployment:

И видим что деплойментов тут нет О_о

Да, судя по именам подиков это стайтфулсет, нажимаем 3 > enter S > enter

Ага, стайтфулсет, посмотрим что можно с ним делать:

Основная функция тут конечно рестарт, частенько приходится рестартить какой-нибудь стейтфулсет или деплоймент.

Ну и конечно ноды, жмем 5 > enter

Заго.. закордонивание уже описано, еще можно сделать drain, посмотреть статистику топ нод, выбрать все поды ноды и даже топ поды ноды. И все это на кончиках пальцев. Мышь можно не трогать, хотя dialog её поддерживает, элементы меню можно подсвечивать мышью.

Это опенсорс. Есть идеи? Шлите пулреквесты. Нашли ошибку, создайте issue, возможно когда-нибудь исправлю) Кстати вот на днях некто john9x указал на очепятку, поправил, спасибо.

Почему опенсорс? Ну а как иначе, во-первых как я сказал выше философия, во-вторых в проекте используется открытое ПО: didalog, kubectl. В-третьих практически все что я знаю и умею, я подчерпнул из открытых источников, поэтому стараюсь вернуть долг опенсорс сообществу, пишу код, пишу статьи когда есть время. Надеюсь кому-то это будет полезно.

В блоге нашей компании есть статья про kui на английском она немного оутдатед и написана в более строгом стиле. Но если у вас есть англоязычные коллеги и вы считаете что им стоит посмотреть на kui, отправьте им это.

Только OS, только хардкор!)

Творите, выдумывайте, пробуйте!)