SavePearlHarbor

Докеризация веб-служб на R и Python

—

от автора

admin
Привет, Хабр! Контейнеризация — это подход к разработке программного обеспечения, при котором приложение или служба, их зависимости и конфигурация (абстрактные файлы манифеста развертывания) упаковываются вместе в образ контейнера. В этой статье рассмотрим создание docker-образа и его использование для запуска оболочки R, Python и много другого. Присоединяйтесь!

Контейнеризованное приложение может быть протестировано как модуль и развернуто в виде экземпляра контейнера в операционной системе (ОС) текущего узла. Docker — это проект с открытым исходным кодом для автоматизации развертывания приложений в виде переносимых, самодостаточных контейнеров, которые могут работать в облаке или локально. Дополнительную информацию см. здесь.

Microsoft Machine Learning Server — это гибкая корпоративная платформа для масштабируемого анализа данных, создания интеллектуальных приложений и поиска ценной для бизнеса информации с полной поддержкой языков Python и R. Термин «операционализация» означает развертывание моделей и кода на языках R и Python на Microsoft Machine Learning Server в виде веб-служб и последующее использование этих служб в клиентских приложениях для повышения эффективности работы компании.

В этой статье мы рассмотрим, как создать docker-образ, содержащий Machine Learning Server 9.3, с помощью файлов Docker, и как его использовать для выполнения следующих операций:

  1. Запуск оболочки R.
  2. Запуск оболочки Python.
  3. Запуск Jupyter Notebook.
  4. Запуск конфигурации OneBox.
  5. Запуск веб-службы R.
  6. Запуск веб-службы Python.

Необходимые компоненты

Любая виртуальная машина Linux c установленным ПО docker community edition (CE). При подготовке этой статьи я развернул Ubuntu 16.04 VM и установил docker CE.

Шаг 1

Сначала мы создадим образ с названием mlserver с установленным Machine Learning Server 9.3 с помощью следующего docker-файла:

	FROM ubuntu:16.04 	RUN apt-get -y update \ 	    && apt-get install -y apt-transport-https wget \ 	    && echo "deb [arch=amd64] https://packages.microsoft.com/repos/azure-cli/ xenial main" | tee /etc/apt/sources.list.d/azure-cli.list \ 	    && wget https://packages.microsoft.com/config/ubuntu/16.04/packages-microsoft-prod.deb -O /tmp/prod.deb \ 	    && dpkg -i /tmp/prod.deb \ 	    && rm -f /tmp/prod.deb \ 	    && apt-key adv --keyserver packages.microsoft.com --recv-keys 52E16F86FEE04B979B07E28DB02C46DF417A0893 \ 	    && apt-get -y update \ 	    && apt-get install -y microsoft-r-open-foreachiterators-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mkl-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mro-3.4.3 \ 	    && apt-get install -y microsoft-mlserver-packages-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-python-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-packages-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-py-9.3.0 \ 	    && apt-get install -y azure-cli=2.0.26-1~xenial \ 	    && apt-get install -y dotnet-runtime-2.0.0 \ 	    && apt-get install -y microsoft-mlserver-adminutil-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-config-rserve-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-computenode-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-webnode-9.3.0 \ 	    && apt-get clean \ 	    && /opt/microsoft/mlserver/9.3.0/bin/R/activate.sh

Используйте команду docker build, чтобы создать образ mlserver с помощью указанного выше docker-файла:

docker build -f mlserver-dockerfile -t mlserver.

Проверьте, успешно ли завершилось создание образа mlserver, выполнив следующую команду:

docker images

Запуск оболочки R

docker run -it mlserver R

Запуск оболочки Python

docker run -it mlserver mlserver-python

Запуск Jupyter Notebook

docker run -p 8888:8888 -it mlserver /opt/microsoft/mlserver/9.3.0/runtime/python/bin/jupyter notebook --no-browser --port=8888 --ip=0.0.0.0 --allow-root

Запуск приведенной выше команды дает ссылку, открыв которую в браузере, вы сможете использовать Jupyter Notebooks.

Запуск конфигурации OneBox

Microsoft Learning Server можно настроить после установки, чтобы использовать в качестве сервера развертывания и размещать на нем аналитические веб-службы для операционализации.

	FROM ubuntu:16.04 	RUN apt-get -y update \ 	    && apt-get install -y apt-transport-https wget \ 	    && echo "deb [arch=amd64] https://packages.microsoft.com/repos/azure-cli/ xenial main" | tee /etc/apt/sources.list.d/azure-cli.list \ 	    && wget https://packages.microsoft.com/config/ubuntu/16.04/packages-microsoft-prod.deb -O /tmp/prod.deb \ 	    && dpkg -i /tmp/prod.deb \ 	    && rm -f /tmp/prod.deb \ 	    && apt-key adv --keyserver packages.microsoft.com --recv-keys 52E16F86FEE04B979B07E28DB02C46DF417A0893 \ 	    && apt-get -y update \ 	    && apt-get install -y microsoft-r-open-foreachiterators-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mkl-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mro-3.4.3 \ 	    && apt-get install -y microsoft-mlserver-packages-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-python-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-packages-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-py-9.3.0 \ 	    && apt-get install -y azure-cli=2.0.26-1~xenial \ 	    && apt-get install -y dotnet-runtime-2.0.0 \ 	    && apt-get install -y microsoft-mlserver-adminutil-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-config-rserve-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-computenode-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-webnode-9.3.0 \ 	    && apt-get clean \ 	    && /opt/microsoft/mlserver/9.3.0/bin/R/activate.sh 	  	RUN echo $'#!/bin/bash \n\ 	set -e \n\ 	az ml admin bootstrap --admin-password "Microsoft@2018" --confirm-password "Microsoft@2018" \n\ 	exec "$@"' > bootstrap.sh 	RUN chmod +x bootstrap.sh 	EXPOSE 12800 	ENTRYPOINT ["/bootstrap.sh"] 	CMD ["bash"]

Создайте образ mlserver-onebox, используя указанный выше docker-файл:

docker build -f mlserver-onebox-dockerfile -t mlserver-onebox.

Проверьте, успешно ли завершилось создание образа mlserver-onebox, выполнив следующую команду:

docker images

Запустите контейнер onebox с помощью команды:

docker run --name mlserver-onebox-container -dit mlserver-onebox

Проверьте состояние контейнера с помощью:

docker logs mlserver-onebox-container

Убедившись с помощью указанной выше команды, что диагностические тесты прошли успешно, вы можете использовать этот контейнер как one-box (данные журнала Docker должны содержать следующую строку: «All Diagnostic Tests have passed».).

Получите IP-адрес контейнера, выполнив команду:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' mlserver-onebox-container '172.17.0.3'

И используйте его как one-box:

az login --mls --mls-endpoint "http://172.17.0.3:12800" --username "admin" --password "Microsoft@2018" az ml admin diagnostic run

Запуск веб-службы R

Мы можем также создать образ с предварительно настроенной веб-службой, чтобы он был готов к использованию, как только мы развернем контейнер. Вот пример создания образа с веб-службой R для моделирования Manual Transmission, предварительно настроенной внутри него.

	FROM ubuntu:16.04 	RUN apt-get -y update \ 	    && apt-get install -y apt-transport-https wget \ 	    && echo "deb [arch=amd64] https://packages.microsoft.com/repos/azure-cli/ xenial main" | tee /etc/apt/sources.list.d/azure-cli.list \ 	    && wget https://packages.microsoft.com/config/ubuntu/16.04/packages-microsoft-prod.deb -O /tmp/prod.deb \ 	    && dpkg -i /tmp/prod.deb \ 	    && rm -f /tmp/prod.deb \ 	    && apt-key adv --keyserver packages.microsoft.com --recv-keys 52E16F86FEE04B979B07E28DB02C46DF417A0893 \ 	    && apt-get -y update \ 	    && apt-get install -y microsoft-r-open-foreachiterators-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mkl-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mro-3.4.3 \ 	    && apt-get install -y microsoft-mlserver-packages-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-python-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-packages-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-py-9.3.0 \ 	    && apt-get install -y azure-cli=2.0.26-1~xenial \ 	    && apt-get install -y dotnet-runtime-2.0.0 \ 	    && apt-get install -y microsoft-mlserver-adminutil-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-config-rserve-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-computenode-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-webnode-9.3.0 \ 	    && apt-get clean \ 	    && /opt/microsoft/mlserver/9.3.0/bin/R/activate.sh 	  	RUN echo $'library(mrsdeploy) \n\ 	carsModel <- glm(formula = am ~ hp + wt, data = mtcars, family = binomial) \n\ 	manualTransmission <- function(hp, wt) { \n\ 	     newdata <- data.frame(hp = hp, wt = wt) \n\ 	     predict(carsModel, newdata, type = "response") \n\ 	} \n\ 	remoteLogin("http://localhost:12800", username = "admin", password = "Microsoft@2018", session = FALSE) \n\ 	api <- publishService("ManualTransmissionService", code = manualTransmission, model = carsModel, inputs = list(hp = "numeric", wt = "numeric"), outputs = list(answer = "numeric"), v = "1.0.0") \n\ 	result <- api$manualTransmission(120, 2.8) \n\ 	print(result$output("answer")) \n\ 	remoteLogout()' > /tmp/ManualTransmission.R 	  	RUN echo $'#!/bin/bash \n\ 	set -e \n\ 	az ml admin bootstrap --admin-password "Microsoft@2018" --confirm-password "Microsoft@2018" \n\ 	/usr/bin/Rscript --no-save --no-restore --verbose "/tmp/ManualTransmission.R" \n\ 	exec "$@"' > bootstrap.sh 	RUN chmod +x bootstrap.sh 	EXPOSE 12800 	ENTRYPOINT ["/bootstrap.sh"] 	CMD ["bash"]

Создайте образ rmanualtransmission, используя указанный выше docker-файл:

docker build -f r-manualtransmission-dockerfile -t rmanualtransmission.

Проверьте, успешно ли завершилось создание образа rmanualtransmission, выполнив команду:

docker images

Запустите контейнер с помощью команды:

docker run --name rmanualtransmission-container -dit rmanualtransmission

Проверьте состояние контейнера с помощью:

docker logs rmanualtransmission-container

Убедившись, что диагностические тесты прошли успешно и веб-служба опубликована, можете приступать к ее использованию.

Получите IP-адрес контейнера, выполнив команду:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' rmanualtransmission-container '172.17.0.3'

Вы можете использовать или получить файл swagger.json настройки веб-сервиса R для моделирования ручной передачи с помощью команд curl:

apt-get -y install jq  curl -s --header "Content-Type: application/json" --request POST --data '{"username":"admin","password":"Microsoft@2018"}' http://172.17.0.3:12800/login | jq -r '.access_token' <access token>  curl -s --header "Content-Type: application/json" --header "Authorization: Bearer <access token>" --request POST --data '{"hp":120,"wt":2.8}' http://172.17.0.3:12800/api/ManualTransmissionService/1.0.0 {"success":true,"errorMessage":"","outputParameters":{"answer":0.64181252840938208},"outputFiles":{},"consoleOutput":"","changedFiles":[]}  curl -s --header "Authorization: Bearer <access token>" --request GET http://172.17.0.3:12800/api/ManualTransmissionService/1.0.0/swagger.json -o swagger.json

Файл swagger.json подходит для создания клиентской библиотеки на любом языке.

Запуск веб-службы Python

Ниже приведен пример создания образа с веб-службой Python для моделирования Manual Transmission, предварительно настроенной внутри него.

	FROM ubuntu:16.04 	RUN apt-get -y update \ 	    && apt-get install -y apt-transport-https wget \ 	    && echo "deb [arch=amd64] https://packages.microsoft.com/repos/azure-cli/ xenial main" | tee /etc/apt/sources.list.d/azure-cli.list \ 	    && wget https://packages.microsoft.com/config/ubuntu/16.04/packages-microsoft-prod.deb -O /tmp/prod.deb \ 	    && dpkg -i /tmp/prod.deb \ 	    && rm -f /tmp/prod.deb \ 	    && apt-key adv --keyserver packages.microsoft.com --recv-keys 52E16F86FEE04B979B07E28DB02C46DF417A0893 \ 	    && apt-get -y update \ 	    && apt-get install -y microsoft-r-open-foreachiterators-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mkl-3.4.3 \ 	    && apt-get install -y microsoft-r-open-mro-3.4.3 \ 	    && apt-get install -y microsoft-mlserver-packages-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-python-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-packages-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mml-py-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-r-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-mlm-py-9.3.0 \ 	    && apt-get install -y azure-cli=2.0.26-1~xenial \ 	    && apt-get install -y dotnet-runtime-2.0.0 \ 	    && apt-get install -y microsoft-mlserver-adminutil-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-config-rserve-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-computenode-9.3.0 \ 	    && apt-get install -y microsoft-mlserver-webnode-9.3.0 \ 	    && apt-get clean \ 	    && /opt/microsoft/mlserver/9.3.0/bin/R/activate.sh 	  	RUN echo $'from microsoftml.datasets.datasets import DataSetMtCars \n\ 	import pandas as pd \n\ 	from revoscalepy import rx_lin_mod, rx_predict \n\ 	cars_model = rx_lin_mod(formula="am ~ hp + wt", data=DataSetMtCars().as_df()) \n\ 	mydata = pd.DataFrame({"hp":[120],"wt":[2.8]}) \n\ 	def manualTransmission(hp, wt): \n\ 	\timport pandas as pd \n\ 	\tfrom revoscalepy import rx_predict \n\ 	\tnewData = pd.DataFrame({"hp":[hp], "wt":[wt]}) \n\ 	\treturn rx_predict(cars_model, newData, type="response") \n\ 	\n\ 	from azureml.deploy import DeployClient \n\ 	from azureml.deploy.server import MLServer \n\ 	from azureml.common.configuration import Configuration \n\ 	\n\ 	HOST = "http://localhost:12800" \n\ 	context = ("admin", "Microsoft@2018") \n\ 	client = DeployClient(HOST, use=MLServer, auth=context) \n\ 	service_name = "ManualTransmissionService" \n\ 	service_version = "1.0.0" \n\ 	service = client.service(service_name).version(service_version).code_fn(manualTransmission).inputs(hp=float, wt=float).outputs(answer=pd.DataFrame).models(cars_model=cars_model).description("Man 	ual Transmission Service").deploy() \n\ 	res = service.manualTransmission(120, 2.8) \n\ 	print(res.output("answer"))' > /tmp/ManualTransmission.py 	  	RUN echo $'#!/bin/bash \n\ 	set -e \n\ 	az ml admin bootstrap --admin-password "Microsoft@2018" --confirm-password "Microsoft@2018" \n\ 	mlserver-python /tmp/ManualTransmission.py \n\ 	exec "$@"' > bootstrap.sh 	RUN chmod +x bootstrap.sh 	EXPOSE 12800 	ENTRYPOINT ["/bootstrap.sh"] 	CMD ["bash"]

Создайте образ pymanualtransmission, используя указанный выше docker-файл:

docker build -f py-manualtransmission-dockerfile -t pymanualtransmission.

Проверьте, успешно ли завершилось создание образа pymanualtransmission, выполнив команду:

docker images

Запустите контейнер с помощью команды:

docker run --name pymanualtransmission-container -dit pymanualtransmission

Проверьте состояние контейнера с помощью:

docker logs pymanualtransmission-container

Убедившись, что диагностические тесты прошли успешно и веб-служба опубликована, можете приступать к ее использованию.

Получите IP-адрес контейнера, выполнив команду:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' pymanualtransmission-container '172.17.0.3'

Вы можете получить файл swagger.json настройки веб-сервиса Python для моделирования ручной передачи, используя команды curl:

apt-get -y install jq  curl -s --header "Content-Type: application/json" --request POST --data '{"username":"admin","password":"Microsoft@2018"}' http://172.17.0.3:12800/login | jq -r '.access_token' <access token>  curl -s --header "Content-Type: application/json" --header "Authorization: Bearer <access token>" --request POST --data '{"hp":120,"wt":2.8}' http://172.17.0.3:12800/api/ManualTransmissionService/1.0.0  {"success":true,"errorMessage":"","outputParameters":{"answer":0.64181252840938208},"outputFiles":{},"consoleOutput":"","changedFiles":[]}  curl -s --header "Authorization: Bearer <access token>" --request GET http://172.17.0.3:12800/api/ManualTransmissionService/1.0.0/swagger.json -o swagger.json

Файл swagger.json подходит для создания клиентской библиотеки на любом языке.

ПРИМЕЧАНИЕ. Вы также можете изменить настройки веб-узла appsettings.json с помощью docker-файла magic и включить аутентификацию LDAP/AAD.

Расширения

Созданные локальные docker-образы можно отправить в реестр контейнеров Azure (Azure Container Registry, ACR).

Создайте в Azure Kubernetes Service (AKS) с помощью образов из ACR кластер, который может автоматически масштабироваться в обе стороны посредством капсул автомасштабирования (Autoscale pods).

ССЫЛКИ:


ссылка на оригинал статьи https://habr.com/post/420159/

Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *