В этом материале я собираюсь поговорить о том, как создан этот образ, о том, какую он может принести пользу, о его правильном использовании и о его ограничениях. В частности, я разберу тут его вариант python:3.8-slim-buster (в состоянии, представленном файлом Dockerfile от 19 августа 2020 года) и по ходу дела остановлюсь на самых важных деталях.
Читаем файл Dockerfile
▍Базовый образ
Начнём с базового образа:
FROM debian:buster-slim Оказывается, что базовым образом для python:3.8-slim-buster является Debian GNU/Linux 10 — текущий стабильный релиз Debian, известный ещё как Buster (релизы Debian называют именами персонажей из «Истории игрушек»). Бастер — это, если кому интересно, собака Энди.
Итак, в основе интересующего нас образ лежит дистрибутив Linux, который гарантирует его стабильную работу. Для этого дистрибутива периодически выходят исправления ошибок. В варианте slim установлено меньше пакетов, чем в обычном варианте. Там, например, нет компиляторов.
▍Переменные среды
Теперь взглянем на переменные среды. Первая обеспечивает как можно более раннее добавление /usr/local/bin в $PATH.
# обеспечивает выбор локальной версии python, а не версии, входящей в состав дистрибутива ENV PATH /usr/local/bin:$PATH Образ устроен так, что установка Python выполняется в /usr/local. В результате данная конструкция обеспечивает то, что по умолчанию будут использоваться установленные исполняемые файлы.
Далее — взглянем на настройки языка:
# http://bugs.python.org/issue19846 # > В настоящий момент настройка "LANG=C" в Linux *полностью выводит из строя Python 3*, а это плохо. ENV LANG C.UTF-8 Насколько я знаю, современный Python 3, по умолчанию, и без этой настройки, использует UTF-8. Поэтому я не уверен в том, что в наши дни в исследуемом Dockerfile нужна эта строка.
Здесь есть и переменная окружения, содержащая сведения о текущей версии Python:
ENV PYTHON_VERSION 3.8.5 В Dockerfile есть ещё переменная окружения с GPG-ключом, используемая для верификации загружаемого исходного кода Python.
▍Зависимости времени выполнения
Python, для работы, нужны некоторые дополнительные пакеты:
RUN apt-get update && apt-get install -y --no-install-recommends \ ca-certificates \ netbase \ && rm -rf /var/lib/apt/lists/* Первый пакет, ca-certificates, содержит список сертификатов стандартных центров сертификации. Нечто подобное используется браузером для проверки -адресов. Это позволяет Python, wget и другим инструментам проверять сертификаты, предоставляемые серверами.
Второй пакет, netbase, выполняет установку в /etc нескольких файлов, необходимых для настройки соответствия определённых имён с некоторыми портами и протоколами. Например, /etc/services отвечает за настройку соответствия имён сервисов, вроде https, с номерами портов. В данном случае это 443/tcp.
▍Установка Python
Теперь выполняется установка набора инструментальных средств компиляции. А именно, загружается и компилируется исходный код Python, после чего деинсталлируются ненужные пакеты Debian:
RUN set -ex \ \ && savedAptMark="$(apt-mark showmanual)" \ && apt-get update && apt-get install -y --no-install-recommends \ dpkg-dev \ gcc \ libbluetooth-dev \ libbz2-dev \ libc6-dev \ libexpat1-dev \ libffi-dev \ libgdbm-dev \ liblzma-dev \ libncursesw5-dev \ libreadline-dev \ libsqlite3-dev \ libssl-dev \ make \ tk-dev \ uuid-dev \ wget \ xz-utils \ zlib1g-dev \ # с релиза Stretch "gpg" больше по умолчанию в дистрибутив не входит $(command -v gpg > /dev/null || echo 'gnupg dirmngr') \ \ && wget -O python.tar.xz "https://www.python.org/ftp/python/${PYTHON_VERSION%%[a-z]*}/Python-$PYTHON_VERSION.tar.xz" \ && wget -O python.tar.xz.asc "https://www.python.org/ftp/python/${PYTHON_VERSION%%[a-z]*}/Python-$PYTHON_VERSION.tar.xz.asc" \ && export GNUPGHOME="$(mktemp -d)" \ && gpg --batch --keyserver ha.pool.sks-keyservers.net --recv-keys "$GPG_KEY" \ && gpg --batch --verify python.tar.xz.asc python.tar.xz \ && { command -v gpgconf > /dev/null && gpgconf --kill all || :; } \ && rm -rf "$GNUPGHOME" python.tar.xz.asc \ && mkdir -p /usr/src/python \ && tar -xJC /usr/src/python --strip-components=1 -f python.tar.xz \ && rm python.tar.xz \ \ && cd /usr/src/python \ && gnuArch="$(dpkg-architecture --query DEB_BUILD_GNU_TYPE)" \ && ./configure \ --build="$gnuArch" \ --enable-loadable-sqlite-extensions \ --enable-optimizations \ --enable-option-checking=fatal \ --enable-shared \ --with-system-expat \ --with-system-ffi \ --without-ensurepip \ && make -j "$(nproc)" \ LDFLAGS="-Wl,--strip-all" \ && make install \ && rm -rf /usr/src/python \ \ && find /usr/local -depth \ \( \ \( -type d -a \( -name test -o -name tests -o -name idle_test \) \) \ -o \( -type f -a \( -name '*.pyc' -o -name '*.pyo' -o -name '*.a' \) \) \ -o \( -type f -a -name 'wininst-*.exe' \) \ \) -exec rm -rf '{}' + \ \ && ldconfig \ \ && apt-mark auto '.*' > /dev/null \ && apt-mark manual $savedAptMark \ && find /usr/local -type f -executable -not \( -name '*tkinter*' \) -exec ldd '{}' ';' \ | awk '/=>/ { print $(NF-1) }' \ | sort -u \ | xargs -r dpkg-query --search \ | cut -d: -f1 \ | sort -u \ | xargs -r apt-mark manual \ && apt-get purge -y --auto-remove -o APT::AutoRemove::RecommendsImportant=false \ && rm -rf /var/lib/apt/lists/* \ \ && python3 --version Тут происходит много всего, но самое важное — это следующее:
- Python устанавливается в
/usr/local. - Удаляются все .pyc-файлы.
- Пакеты, в частности —
gccи прочие подобные, которые были нужны для компиляции Python, удаляются после того, как необходимость в них пропадает.
Из-за того, что всё это происходит в единственной команде RUN, в итоге компилятор не сохраняется ни в одном из слоёв, что помогает поддерживать компактный размер образа.
Тут можно обратить внимание на то, что Python для компиляции нужна библиотека libbluetooth-dev. Мне это показалось необычным, поэтому я решил в этом разобраться. Как оказалось, Python может создавать Bluetooth-сокеты, но только в том случае, если он скомпилирован с использованием этой библиотеки.
▍Настройка символьных ссылок
На следующем шаге работы /usr/local/bin/python3 назначается символьная ссылка /usr/local/bin/python, что позволяет вызывать Python разными способами:
# создание некоторых полезных символьных ссылок, присутствие которых ожидается в системе RUN cd /usr/local/bin \ && ln -s idle3 idle \ && ln -s pydoc3 pydoc \ && ln -s python3 python \ && ln -s python3-config python-config
▍Установка pip
У менеджера пакетов pip имеется собственный график выхода релизов, отличающийся от графика релизов Python. Например, в этом Dockerfile выполняется установка Python 3.8.5, выпущенного в июле 2020. А pip 20.2.2 вышел в августе, уже после выхода Python, но Dockerfile устроен так, чтобы была бы установлена свежая версия pip:
# если эту переменную назвать "PIP_VERSION", то pip выдаёт ошибку: "ValueError: invalid truth value '<VERSION>'" ENV PYTHON_PIP_VERSION 20.2.2 # https://github.com/pypa/get-pip ENV PYTHON_GET_PIP_URL https://github.com/pypa/get-pip/raw/5578af97f8b2b466f4cdbebe18a3ba2d48ad1434/get-pip.py ENV PYTHON_GET_PIP_SHA256 d4d62a0850fe0c2e6325b2cc20d818c580563de5a2038f917e3cb0e25280b4d1 RUN set -ex; \ \ savedAptMark="$(apt-mark showmanual)"; \ apt-get update; \ apt-get install -y --no-install-recommends wget; \ \ wget -O get-pip.py "$PYTHON_GET_PIP_URL"; \ echo "$PYTHON_GET_PIP_SHA256 *get-pip.py" | sha256sum --check --strict -; \ \ apt-mark auto '.*' > /dev/null; \ [ -z "$savedAptMark" ] || apt-mark manual $savedAptMark; \ apt-get purge -y --auto-remove -o APT::AutoRemove::RecommendsImportant=false; \ rm -rf /var/lib/apt/lists/*; \ \ python get-pip.py \ --disable-pip-version-check \ --no-cache-dir \ "pip==$PYTHON_PIP_VERSION" \ ; \ pip --version; \ \ find /usr/local -depth \ \( \ \( -type d -a \( -name test -o -name tests -o -name idle_test \) \) \ -o \ \( -type f -a \( -name '*.pyc' -o -name '*.pyo' \) \) \ \) -exec rm -rf '{}' +; \ rm -f get-pip.py После выполнения этих операций, как и прежде, удаляются все .pyc-файлы.
▍Точка входа в образ
В итоге в Dockerfile указывается точка входа в образ:
CMD ["python3"] Используя CMD вместо ENTRYPOINT мы, запуская образ, по умолчанию получаем доступ к python:
$ docker run -it python:3.8-slim-buster Python 3.8.5 (default, Aug 4 2020, 16:24:08) [GCC 8.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> Но, при необходимости, можно указывать при запуске образа и другие исполняемые файлы:
$ docker run -it python:3.8-slim-buster bash root@280c9b73e8f9:/#
Итоги
Вот что мы узнали, разобрав Dockerfile официального Python-образа slim-buster.
▍В состав образа входит Python
Хотя это и может показаться очевидным, стоит обратить внимание на то, как именно Python включён в состав образа. А именно, сделано это путём его самостоятельной установки в /usr/local.
Программисты, использующие этот образ, порой совершают одну и ту же ошибку, которая заключается в повторной установке Debian-версии Python:
FROM python:3.8-slim-buster # Делать этого не нужно: RUN apt-get update && apt-get install python3-dev При выполнении этой команды RUN Python будет установлен ещё раз, но в /usr, а не в /usr/local. И это, как правило, будет не та версия Python, которая установлена в /usr/local. А программисту, который воспользовался вышеприведённым Docker-файлом, вероятно, не нужны две разные версии Python в одном и том же образе. Это, в основном, является причиной путаницы.
А если же кому-то и правда нужна Debian-версия Python, то лучше будет использовать в качестве базового образа debian:buster-slim.
▍В образ входит самая свежая версия pip
Например, самый свежий релиз Python 3.5 состоялся в ноябре 2019, но Docker-образ python:3.5-slim-buster включает в себя pip, который вышел в августе 2020. Это (обычно) хорошо, так как означает, что в нашем распоряжении оказываются самые свежие исправления ошибок и улучшения производительности. Это, кроме того, значит, что мы можем пользоваться поддержкой более новых вариантов «колёс».
▍Из образа удаляются все .pyc-файлы
Если хочется немного ускорить загрузку системы, то можно самостоятельно скомпилировать исходный код стандартной библиотеки в формат .pyc. Делается это с помощью модуля compileall.
▍Образ не выполняет установку обновлений безопасности Debian
Хотя базовые образы debian:buster-slim и python часто обновляются, имеется определённый промежуток между моментами выхода обновлений безопасности Debian и включением их в образы. Поэтому нужно самостоятельно устанавливать обновления безопасности для базового дистрибутива Linux.
Какими Docker-образами вы пользуетесь для выполнения Python-кода?
ссылка на оригинал статьи https://habr.com/ru/company/ruvds/blog/516310/
Добавить комментарий