Динамический импорт модулей в Python

Давайте представим ситуацию, когда вам нужно установить на все виртуальные машины (агенты сервера сборки) определенный пакет Python. Но вы не можете изменить образ агента, а загрузка, к примеру из pypi.org или github.com непроверенных пакетов, ограничена. Как тут не вспомнить последние новости про вредоносные изменения в пакете nmp или более свежую информацию про PyPi.

Python использует подход под названием EAFP — Easier to ask for forgiveness, than permission (легче попросить прощения, чем разрешения). Это значит, что проще предположить, что что-то существует (к примеру, словарь в словаре, или в нашем случае модуль в системе) или получить ошибку в противном случае.

Этот подход, развитый в PEP-0302, позволяет делать хук импорта модулей, что в итоге приводит нас к возможности написания следующего кода:

      from <какое-то хранилище> import <модуль>

Поскольку я часто сталкиваюсь с автоматизацией развертывания CI/CD с помощью Bamboo, то для меня естественным решением было разместить код выверенного модуля в артефактах JFrog и написать (согласно PEP-0302) классы finder и loader для загрузки и установки модулей. В моем случае код импорта модулей выглядит следующим образом:

      from <artifactory_local.path_to_ artifactory> import <module_tar_gz>

Согласно PEP-0302 в протоколе участвуют два класса: finder и loader.

Продемонстрирую модуль amtImport.py, реализующий работу этих классов:

import sys import pip import os import requests import shutil  class IntermediateModule:     """     Module for paths like `artifactory_local.path`     """      def __init__(self, fullname):         self.__package__ = fullname         self.__path__ = fullname.split('.')         self.__name__ = fullname  class ArtifactoryFinder:     """     Handles `artifactory_local....` modules     """     def find_module(self, module_name, package_path):         if module_name.startswith('artifactory_local'):             return ArtifactoryLoader()  class ArtifactoryLoader:     """     Installs and imports modules from artifactory     """     artifactory_modules: list = []      def _is_installed(self, fullname):         try:             self._import_module(fullname)             ArtifactoryLoader.artifactory_modules.append(fullname)             return True         except ImportError:             return False          def _import_module(self, fullname):         actual_name = '.'.join(fullname.split('.')[2:])         actual_name = actual_name.replace('_', '.').split('.')[0]         return __import__(actual_name)      def _install_module(self, fullname):         if not self._is_installed(fullname):             actual_name = '.'.join(fullname.split('.')[2:])             url = fullname.replace('artifactory_local', '').replace(actual_name, '').replace('_', '/')             actual_name = actual_name.replace('_', '.')             url = 'https://artifactory.app.local' + url.replace('.', '/') + actual_name             auth = (os.getenv("bamboo_artifactory_user_name"), os.getenv("bamboo_artifactory_access_token_secret"))             file_name = f"{os.getenv('bamboo_build_working_directory')}/{actual_name}"             with requests.get(url=url, auth=auth, stream=True) as r:                 if r.status_code != 200:                     raise Exception(f"Status code {r.status_code}: {r.reason}")                               with open(file_name, 'wb') as f:                     shutil.copyfileobj(r.raw, f)             pip.main(['install', file_name])             ArtifactoryLoader.artifactory_modules.append(fullname)      def _is_repository_path(self, fullname):         return fullname.count('.') == 2      def _is_intermediate_path(self, fullname):         return fullname.count('.') < 2      def load_module(self, fullname):         if self._is_repository_path(fullname):             self._install_module(fullname)          if self._is_intermediate_path(fullname):             module = IntermediateModule(fullname)         else:             module = self._import_module(fullname)          sys.modules[fullname] = module  sys.meta_path.append(ArtifactoryFinder())

(Код тестировался для Python 3.6)

Итог: динамический импорт из артефактов можно лаконично оформить следующим кодом:

from amtImport import ArtifactoryLoader # pyright: reportMissingImports=false, reportUnusedImport=false from artifactory_local.artifactory_amt_Sealed import smbprotocol_1_9_0_tar_gz  if "artifactory_local.artifactory_amt_Sealed.smbprotocol_1_9_0_tar_gz" in ArtifactoryLoader.artifactory_modules:     print("Package successfully loaded")

Используя аналогичный подход, можно организовать импорт модулей из любого другого источника.

P.S. Основой для данной статьи послужил пакет import_from_github_com.