Быстрый деплой vm ESXi с помощью Terraform

Всем привет, меня зовут Иван и я алкоголик системный администратор (OPS).

Я бы хотел рассказать как разворачиваю виртуальные машины на ESXi без vCenter с помощью Terraform.

Довольно часто приходится разворачивать/пересоздавать виртуалки, что бы протестировать то или иное приложение. В силу лени я подумал об автоматизации процесса. Мои поиски привели меня к замечательному продукту компании hashicorp, terraform.

Думаю многие знают что такое Terraform, а кто не знает, это приложение для управления любым облаком, инфраструктурой или службой используя концепцию IasC (Инфраструктура как код).

В качестве среды виртуализации я использую ESXi. Довольно простая, удобная и надёжная.
Предвижу вопрос.

Зачем terraform если можно использовать vCenter Server?

Можно конечно, но. Во-первых, это дополнительная лицензия, во-вторых, данный продукт очень ресурсоемкий и просто не поместится на моём домашнем сервере, и в-третьих возможность прокачать скиллы.

В качестве сервера выступает платформа Intel NUC:

CPU: 2 CPUs x Intel(R) Core(TM) i3-4010U CPU @ 1.70GHz RAM: 8Gb HDD: 500Gb ESXi version: ESXi-6.5.0-4564106-standard (VMware, Inc.)

И так, обо всём по порядку.

Пока давайте настроим esxi, а именно откроем VNC порт в настройках файрвола.

По умолчанию, файл защищён от записи. Проводим следующие манипуляции:

chmod 644 /etc/vmware/firewall/service.xml chmod +t /etc/vmware/firewall/service.xml vi /etc/vmware/firewall/service.xml

дописываем в конец файла следующий блок:

<service id="1000">   <id>packer-vnc</id>   <rule id="0000">     <direction>inbound</direction>     <protocol>tcp</protocol>     <porttype>dst</porttype>     <port>       <begin>5900</begin>       <end>6000</end>     </port>   </rule>   <enabled>true</enabled>   <required>true</required> </service>

Выходим, сохраняем. Меняем права обратно и перезагружаем сервис:

chmod 444 /etc/vmware/firewall/service.xml esxcli network firewall refresh

Актуально до перезагрузки хоста. После же, данную манипуляцию придётся повторить.

Дальше всю работу буду проводить в виртуальной машине на этом же сервере.

Характеристики:

OS: Centos 7 x86_64 minimal RAM: 1GB HDD: 20GB Selinux: disable firewalld: disable

Далее нам потребуется packer, так же продукт компании HashiCorp.

Нужен он, для автоматической сборки «золотого» образа. Который мы будем использовать в будущем.

yum install unzip git -y curl -O https://releases.hashicorp.com/packer/1.5.5/packer_1.5.5_linux_amd64.zip unzip packer_1.5.5_linux_amd64.zip -d /usr/bin && rm -rf packer_1.5.5_linux_amd64.zip packer version Packer v1.5.5

На шаге packer version может возникнуть ошибка, так как в RedHat-based может находиться пакет с таким же названием.

which -a packer /usr/sbin/packer

Для решения можно создать симлинк, либо использовать абсолютный путь /usr/bin/packer.

Теперь нам потребуется ovftool download link. Скачиваем, кладём на сервер и устанавливаем:

chmod +x VMware-ovftool-4.4.0-15722219-lin.x86_64.bundle ./VMware-ovftool-4.4.0-15722219-lin.x86_64.bundle Extracting VMware Installer...done. You must accept the VMware OVF Tool component for Linux End User License Agreement to continue.  Press Enter to proceed. VMWARE END USER LICENSE AGREEMENT Do you agree? [yes/no]:yes The product is ready to be installed.  Press Enter to begin installation or Ctrl-C to cancel.  Installing VMware OVF Tool component for Linux 4.4.0     Configuring... [######################################################################] 100% Installation was successful.

Движемся дальше.

На гите я подготовил всё необходимое.

git clone https://github.com/letnab/create-and-deploy-esxi.git && cd create-and-deploy-esxi

В папку iso нужно положить дистрибутив операционной системы. В моём случае это centos 7.

Так же необходимо отредактировать файл centos-7-base.json:

variables: указать свои данные для подключения iso_urls: указать актуальный iso_checksum: чексумма вашего образа 

После всех изменений запускаем сборку:

/usr/bin/packer build centos-7-base.json

Если всё настроено и указано верно, то вы увидите картину автоматической инсталляции операционной системы. Данный процесс у меня занимает 7-8 минут.

После успешного завершения в папке output-packer-centos7-x86_64 будет находится ova файл.

Устанавливаем Terraform:

curl -O https://releases.hashicorp.com/terraform/0.12.24/terraform_0.12.24_linux_amd64.zip unzip terraform_0.12.24_linux_amd64.zip -d /usr/bin/ && rm -rf terraform_0.12.24_linux_amd64.zip terraform version Terraform v0.12.24

Так как у Terraform нет провайдера под ESXi, нужно его собрать.

Ставим go:

cd /tmp curl -O https://dl.google.com/go/go1.14.2.linux-amd64.tar.gz tar -C /usr/local -xzf go1.14.2.linux-amd64.tar.gz && rm -rf go1.14.2.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin go version go version go1.14.2 linux/amd64

Далее собираем провайдер:

go get -u -v golang.org/x/crypto/ssh go get -u -v github.com/hashicorp/terraform go get -u -v github.com/josenk/terraform-provider-esxi export GOPATH="$HOME/go" cd $GOPATH/src/github.com/josenk/terraform-provider-esxi CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -ldflags '-w -extldflags "-static"' -o terraform-provider-esxi_`cat version` cp terraform-provider-esxi_`cat version` /usr/bin

Мы на финишной прямой. Поехали раскатывать наш образ.

Переходим в папку:

cd /root/create-and-deploy-esxi/centos7

Первым делом, редактируем файл variables.tf. Нужно указать подключение к серверу ESXi.

В файле network_config.cfg содержаться сетевые настройки будущей виртуальной машины. Меняем под свои нужды и запускаем однострочник:

sed -i -e '2d' -e '3i "network": "'$(gzip < network_config.cfg| base64 | tr -d '\n')'",' metadata.json

Ну и в файле main.tf меняем путь к ova файлу на свой, если отличается.

Момент истины.

terraform init Initializing the backend...  Initializing provider plugins...  The following providers do not have any version constraints in configuration, so the latest version was installed.  To prevent automatic upgrades to new major versions that may contain breaking changes, it is recommended to add version = "..." constraints to the corresponding provider blocks in configuration, with the constraint strings suggested below.  * provider.esxi: version = "~> 1.6" * provider.template: version = "~> 2.1"  Terraform has been successfully initialized!  You may now begin working with Terraform. Try running "terraform plan" to see any changes that are required for your infrastructure. All Terraform commands should now work.  If you ever set or change modules or backend configuration for Terraform, rerun this command to reinitialize your working directory. If you forget, other commands will detect it and remind you to do so if necessary.

terraform plan Refreshing Terraform state in-memory prior to plan... The refreshed state will be used to calculate this plan, but will not be persisted to local or remote state storage.  data.template_file.Default: Refreshing state... data.template_file.network_config: Refreshing state...  ------------------------------------------------------------------------  An execution plan has been generated and is shown below. Resource actions are indicated with the following symbols:   + create  Terraform will perform the following actions:    # esxi_guest.Default will be created   + resource "esxi_guest" "Default" {       + boot_disk_size         = (known after apply)       + disk_store             = "datastore1"       + guest_name             = "centos7-test"       + guest_shutdown_timeout = (known after apply)       + guest_startup_timeout  = (known after apply)       + guestinfo              = {           + "metadata"          = "base64text"           + "metadata.encoding" = "gzip+base64"           + "userdata"          = "base64text"           + "userdata.encoding" = "gzip+base64"         }       + guestos                = (known after apply)       + id                     = (known after apply)       + ip_address             = (known after apply)       + memsize                = "1024"       + notes                  = (known after apply)       + numvcpus               = (known after apply)       + ovf_properties_timer   = (known after apply)       + ovf_source             = "/root/create-and-deploy-esxi/output-packer-centos7-x86_64/packer-centos7-x86_64.ova"       + power                  = "on"       + resource_pool_name     = (known after apply)       + virthwver              = (known after apply)        + network_interfaces {           + mac_address     = (known after apply)           + nic_type        = (known after apply)           + virtual_network = "VM Network"         }     }  Plan: 1 to add, 0 to change, 0 to destroy.  ------------------------------------------------------------------------  Note: You didn't specify an "-out" parameter to save this plan, so Terraform can't guarantee that exactly these actions will be performed if "terraform apply" is subsequently run. 

Финиш:

terraform apply

Если всё сделано верно, то через 2-3 минуты будет развёрнута новая виртуальная машина из ранее сделанного образа.

Варианты использования всего этого, ограничиваются только фантазией.

Я всего лишь хотел поделиться наработками и показать основные моменты при работе с данными продуктами.

Благодарю за внимание!

P.S.: буду рад конструктивной критике.