Ненастоящий деплой, или как подложить свинью разработчикам

—

от автора

Представьте: деплой прошёл, пайплайн зелёный. Контейнер остановился и запустился заново — это видно в логах. Но на проде изменений нет. В такой ситуации вопросы задают разработчику. Особенно неприятно, если он как раз ловит плавающий баг.

Но иногда дело не в баге. Код мог вообще не попасть на сервер.

Для простоты рассмотрен односерверный деплой через Docker Compose, без blue-green и без гарантии работы без перерыва. Здесь интересен не образцовый способ выкладки, а конкретная ошибка обработки статуса команд.

Как это может произойти

GitHub Actions успешно собрал Docker-образ и отправил его в GHCR. На этапе деплоя VPS не смог скачать образ:

err: Error response from daemon: Head"https://ghcr.io/v2/example/app/manifests/latest": denied: denied

Это выглядело как ошибка, после которой деплой должен был остановиться. Но в конце шага появилась зелёная галочка:

✅ Successfully executed commands to all host.

Workflow подключился к VPS по SSH и запустил там команды. Само соединение прошло успешно. Ошибкой был docker pull, но использовавшийся appleboy/ssh-action@v0.1.10 не останавливал скрипт после неё: параметр script\_stop был выключен. Поэтому выполнились следующие команды:

docker compose downdocker compose up -d

На сервере уже лежал предыдущий образ. Контейнеры пересоздались из него, а последняя команда завершилась успешно. Поэтому SSH Action сообщил об успехе, хотя новый образ до сервера не доехал.

Это не ошибка SSH-соединения. SSH здесь только транспорт: GitHub Actions передал команды серверу, а Action сообщил итоговый статус удалённого скрипта. В этой конкретной конфигурации ошибка одного шага не остановила скрипт, а успешное завершение последней команды привело к зелёному статусу всего шага.

Как проверить, какой образ запущен

Сначала можно сравнить ID образа, из которого создан контейнер, с ID образа, на который локально указывает тег latest:

docker inspect app-container \  --format 'container image={{.Image}}'docker image inspect ghcr.io/example/app:latest \  --format 'local latest image={{.Id}}'

В нашем случае обе команды вывели один и тот же ID:

container image=sha256:<одинаковый ID>local latest image=sha256:<одинаковый ID>

Это показало, что контейнер использовал тот же локальный образ, на который указывал тег latest. Само совпадение ID ещё не говорит, старый это код или новый, и не сравнивает локальный образ с реестром.

Содержимое можно проверить отдельно. Если это сервис на Java, то вот так можно скопировать JAR из контейнера и проверить в Java-классе наличие имён старого и нового методов. Имена и путь здесь указаны условные:

docker cp app-container:/app/app.jar /tmp/running-app.jarpython3 - <<'PY'from zipfile import ZipFileclass_path = "BOOT-INF/classes/com/example/sync/SyncService.class"with ZipFile("/tmp/running-app.jar") as jar:    bytecode = jar.read(class_path)for name in ("syncLegacyEntries", "syncDateEntries"):    print(f"{name}: {name.encode() in bytecode}")PY

Результат:

syncLegacyEntries: TruesyncDateEntries: False

В исходниках проверенного коммита уже был новый метод, а в JAR внутри контейнера находился старый. В сочетании с ошибкой скачивания и совпавшими ID это показало, что VPS пересоздал контейнер из старого локального образа.

Это быстрая проверка конкретного Java-класса, а не универсальный способ определять версию приложения. Для постоянной диагностики лучше включать SHA коммита в тег образа и метаданные сборки. Например, можно добавлять OCI-метку org.opencontainers.image.revision и затем проверять её у образа или контейнера.

Как настроить остановку при ошибке

В начале удалённого скрипта можно включить остановку при ошибке:

- name: SSH & Deploy  uses: appleboy/ssh-action@v0.1.10  with:    host: ${{ secrets.SERVER_HOST }}    username: ${{ secrets.SERVER_USER }}    key: ${{ secrets.SERVER_SSH_KEY }}    script: |      set -e      docker pull ghcr.io/example/app:COMMIT_SHA      docker compose down      docker compose up -d

Так ошибка при скачивании остановит скрипт до docker compose down, и уже работающие контейнеры не будут остановлены из-за неудачного обновления.

В использовавшейся версии appleboy/ssh-action@v0.1.10 для этого также существовал параметр script_stop: true. В более новых версиях Action этот параметр удалён; актуальная документация советует добавлять set -e в начало удалённого скрипта.

Тег образа по SHA коммита

Второй способ снизить риск случайно запустить образ с тегом latest — помечать образ SHA коммита, из которого собрана версия, и деплоить по этому тегу. Это помогает соотнести сборку с исходниками, но сам тег не гарантирует, что образ действительно собран из указанного коммита: тег можно перезаписать. Для точной идентификации образа используют digest.

- name: Build Docker image  run: docker build \    -t ghcr.io/${{ github.repository_owner }}/example_backend:${{ github.sha }} .- name: Push Docker image  run: docker push \    ghcr.io/${{ github.repository_owner }}/example_backend:${{ github.sha }}

В Compose тег можно передать через обязательную переменную:

services:  example:    image: ghcr.io/example/example_backend:${EXAMPLE_BACKEND_TAG:?EXAMPLE_BACKEND_TAG must be set}

А в удалённом скрипте передать тот же SHA:

script: |  set -e  export EXAMPLE_BACKEND_TAG=${{ github.sha }}  docker pull "ghcr.io/example/example_backend:${EXAMPLE_BACKEND_TAG}"  docker compose -f ./somedir/docker-compose.yml down  docker compose -f ./somedir/docker-compose.yml up -d

Если образа с нужным SHA-тегом ещё нет на VPS и реестр откажет в скачивании, команда docker pull завершится ошибкой. С set -e скрипт остановится до docker compose down, и работающие контейнеры останутся запущенными. Если такой образ уже есть в локальном кэше, он может быть правильным образом для этого коммита — сам факт наличия в кэше не означает, что код старый. Но без остановки скрипта после ошибки docker pull команды down и up продолжат выполняться, и Compose может запустить локальный образ. Поэтому SHA-тег помогает различать версии, но не заменяет обработку ошибок.

Примечание. При переходе с тега latest на тег с SHA коммита нужно убедиться, что у вас есть работающая политика хранения образов в registry, иначе можно забить registry. Но важно сохранить несколько последних версий и образ для отката, а не просто добиться того, чтобы старые образы удалялись.

Какой из этого следует вывод?

  • Зелёный статус job не всегда означает, что каждая команда внутри удалённого скрипта завершилась успешно.

  • Нужно читать ошибки в логах даже у зелёных деплоев.

  • На удалённом сервере полезно проверять, какой образ и код действительно запущены.

  • Скрипт деплоя должен останавливаться при первой ошибке, особенно до команд, останавливающих работающий сервис.

  • Тег с SHA коммита помогает соотнести образ с исходниками, но не заменяет fail-fast и сам по себе не подтверждает содержимое образа.

ссылка на оригинал статьи https://habr.com/ru/articles/1110582/