Сборка docker образа под различные платформы

Создаем Manifest руками

Начнем с более сложного подхода — создания Docker Manifest вручную. Сначала мы создадим образы для каждой архитектуры и отправим их в Docker Hub. Затем объединим эти образы в мульти-архитектурный манифест, который будет ссылаться на общий тег.

Для примера нам понадобится проект для сборки. Используем следующий Dockerfile, который основан на Debian и добавляет в него утилиту curl:

ARG ARCH=
FROM ${ARCH}/debian:buster-slim

RUN apt-get update \
&& apt-get install -y curl \
&& rm -rf /var/lib/apt/lists/*

ENTRYPOINT [ "curl" ]

Обратите внимание на переменную ARCH в Dockerfile. При сборке мы будем указывать нужную базовую версию образа Debian для каждой архитектуры. Если бы мы оставили просто FROM debian:buster-slim, Docker автоматически бы скачал образ Debian для архитектуры системы, на которой запущена сборка. Поэтому важно явно указывать архитектуру через аргумент ARCH. Если для нужной архитектуры нет готового базового образа, его нужно будет создать вручную.

Теперь выполним команды для сборки и публикации образов для каждой архитектуры:

Сборка для AMD64:

$ docker build -t your-username/multiarch-example:manifest-amd64 --build-arg ARCH=amd64 .
$ docker push your-username/multiarch-example:manifest-amd64

Сборка для ARM32V7:

$ docker build -t your-username/multiarch-example:manifest-arm32v7 --build-arg ARCH=arm32v7 .
$ docker push your-username/multiarch-example:manifest-arm32v7

Сборка для ARM64V8:

$ docker build -t your-username/multiarch-example:manifest-arm64v8 --build-arg ARCH=arm64v8 .
$ docker push your-username/multiarch-example:manifest-arm64v8

Теперь, когда образы для разных архитектур собраны и опубликованы, мы можем объединить их в один мульти-архитектурный образ с помощью манифеста:

docker manifest create \
your-username/multiarch-example:manifest-latest \
--amend your-username/multiarch-example:manifest-amd64 \
--amend your-username/multiarch-example:manifest-arm32v7 \
--amend your-username/multiarch-example:manifest-arm64v8 

После создания манифеста отправляем его в Docker Hub:

docker manifest push your-username/multiarch-example:manifest-latest

Теперь ваш мульти-архитектурный образ опубликован, и Docker автоматически выберет правильную архитектуру для конечной системы, на которой будет запущен образ.

Docker Buildix

Существует замечательный проект под названием QEMU, который способен эмулировать множество различных платформ. Благодаря недавним улучшениям в проекте Docker Buildx, использование QEMU с Docker стало как никогда простым.

Эмуляция QEMU в Docker основывается на функции ядра Linux под названием binfmt_misc. Эта функция позволяет Linux обрабатывать исполняемые файлы, предназначенные для других архитектур. Когда система сталкивается с форматом файла, который она не распознает (например, для другой архитектуры), она передает файл обработчику binfmt_misc, который перенаправляет его в подходящее приложение, таким как эмулятор QEMU или виртуальная машина.

Чтобы это заработало, необходимо зарегистрировать интересующие нас платформы в системе. Если вы используете Docker Desktop, то платформы для большинства распространенных архитектур уже зарегистрированы. Однако, если вы работаете на Linux, регистрация осуществляется вручную. Для этого можно запустить образ docker/binfmt с привилегиями:

$ docker run --privileged --rm docker/binfmt:a7996909642ee92942dcd6cff44b9b95f08dad64

После этого может потребоваться перезапуск Docker. Если вам нужно зарегистрировать конкретные платформы или работать с экзотическими архитектурами, например, PowerPC, можно воспользоваться проектом qus.

Мы немного изменим наш предыдущий Dockerfile, чтобы он стал более универсальным:

FROM debian:buster-slim

RUN apt-get update && apt-get install -y curl && rm -rf /var/lib/apt/lists/*

ENTRYPOINT [ "curl" ]

Чтобы использовать Docker Buildx для мульти-архитектурных сборок, необходимо сначала создать и активировать экземпляр сборщика:

docker buildx create --use

Теперь можно выполнить сборку образов для нескольких платформ с помощью одной команды:

$ docker buildx build \
--push \
--platform linux/arm/v7,linux/arm64/v8,linux/amd64 \ --tag your-username/multiarch-example:buildx-latest .

В команде сборки используется аргумент --platform для указания архитектур, на которые мы нацеливаемся. Это позволяет Docker скачивать соответствующие образы для каждой платформы. Например, если в нашем Dockerfile указан базовый образ FROM debian:buster, Docker автоматически выберет образы Debian для всех указанных платформ (arm/v7, arm64/v8 и amd64), что упрощает процесс мульти-архитектурной сборки.

Этот метод эффективен, однако для более сложных сборок вы можете заметить, что его выполнение становится слишком медленным или возникают ошибки при работе с QEMU. В таких случаях целесообразно рассмотреть возможность использования кросс-компиляции образа, что может значительно ускорить процесс сборки и избежать проблем, связанных с эмуляцией.

Сборка в GitLab CI

Для завершения нашего обзора рассмотрим, как можно автоматизировать сборку контейнеров для различных архитектур с использованием GitLab CI. Пример покажет, как настроить процесс сборки и публикации образов в Docker Hub при пуше тега в формате v.*.

Ниже приведен пример конфигурации .gitlab-ci.yml для сборки мульти-архитектурного Docker-образа:

docker-build:
  image: docker.struchkov.dev/docker-buildx:latest
  stage: deploy
  only:
    - /^v.*$/
  except:
    - branches
  services:
    - docker:dind
  before_script:
    - echo "$CI_REGISTRY_PASSWORD" | docker login $CI_REGISTRY --username $CI_REGISTRY_USER --password-stdin
  script:
    - docker buildx create --use
    - docker buildx build --push --platform linux/amd64,linux/arm64/v8 -t "$CI_REGISTRY_IMAGE:latest" -t "$CI_REGISTRY_IMAGE:$CI_COMMIT_TAG" .

Не забудьте указать свои переменные GitLab CI.

• CI_REGISTRY_USER — имя пользователя для Docker Hub или другого регистра.
• CI_REGISTRY_PASSWORD — пароль или токен доступа.
• CI_REGISTRY_IMAGE — путь к образу в вашем реестре.

Настройка GitLab CI CD для Java приложения

На примере Java приложения рассматриваем сборку и деплой на сервер с помощью GitLab CI.

struchkov.devStruchkov Mark

Заключение

Итак, мы выяснили, что не все пользователи Docker-образов работают на архитектуре amd64. Благодаря инструментам buildx и QEMU можно легко поддерживать различные архитектуры без значительных усилий. Эти технологии позволяют создавать мульти-архитектурные образы, которые автоматически подбираются под нужную платформу, что особенно важно для пользователей на ARM и других архитектурах.

Мы также рассмотрели, как автоматизировать этот процесс для репозиториев в GitLab CI, создавая мульти-архитектурные образы при пуше тегов. Однако аналогичный процесс можно реализовать и в других CI-системах, таких как Jenkins, CircleCI или GitHub Actions. Основные принципы остаются одинаковыми: использование buildx для сборки и публикации образов и настройка аутентификации для Docker Registry.