Фильтры Ansible: превращаем сложное в простое

Используя Ansible в качестве инструмента автоматизации, часто приходится сталкиваться с задачей обработки и фильтрации структурированных данных. Как правило, это набор фактов, полученных с управляемых серверов, или ответ на запрос к внешним API, которые возвращают данные в виде стандартного json. Многие неопытные инженеры, используя Ansible в таких случаях, начинают прибегать к помощи привычных консольных команд и начинают городить то, что среди специалистов получило название bashsible. В общем, вспоминается известный мем:

В этой статье мы покажем, как легко и просто можно обрабатывать данные прямо в Ansible, используя его собственные мощные возможности. Речь идет о фильтрах Jinja2, которые представляют собой мощный, но в то же время интуитивно понятный инструмент для трансформации данных. Эти фильтры позволяют эффективно сортировать, выбирать и преобразовывать данные, устраняя необходимость в сложных внешних командах и скриптах.

В обычных языках программирования задача обработки данных обычно решается с помощью циклов (for, while, for_each и т. п.) и различных функций преобразования типов объектов (массивы, коллекции, замыкания и т. п.) Ansible использует упрощенную модель данных, используя по сути лишь два варианта объекта с данными, список (list) и словарь (dictionary). Если вы не очень хорошо понимаете, что это такое и чем они отличаются, рекомендую для начала прочесть вот эту короткую статью.

Начнем с базовых примеров использования фильтров для работы со списками и словарями. Это позволит вам видеть, насколько мощными и гибкими могут быть эти инструменты в правильных руках.

На практике часто приходится иметь дело с фактами или результатом выполнения определенных модулей, которые представляют собой структуру в виде json/yaml. Например, давайте возьмем такой факт, как ansible_mounts и попробуем с ним поработать.

Попробуйте запустить у себя следующий плейбук, выводящий значения ansible_mounts:

--- - name: Test ansible_mounts   hosts: localhost   gather_facts: true   connection: local   tasks:     - name: Show ansible_mounts       debug:         var: ansible_mounts

В выводе получится что-то вроде такого:

TASK [Show ansible_mounts] ********************************************* ok: [localhost] =>    ansible_mounts:   - block_available: 9906494     block_size: 4096     block_total: 16305043     block_used: 6398549     device: /dev/sda3     fstype: ext4     inode_available: 3666700     inode_total: 4161536     inode_used: 494836     mount: /     options: rw,relatime,errors=remount-ro     size_available: 40576999424     size_total: 66785456128     uuid: e24606ee-2b07-4de0-a3c3-63c605f627ff   - block_available: 0     block_size: 131072     block_total: 1     block_used: 1     device: /dev/loop0     fstype: squashfs     inode_available: 0     inode_total: 29     inode_used: 29     mount: /snap/bare/5     options: ro,nodev,relatime,errors=continue,threads=single     size_available: 0     size_total: 131072     uuid: N/A   - block_available: 0     block_size: 131072     block_total: 507     block_used: 507     device: /dev/loop1     fstype: squashfs     inode_available: 0     inode_total: 11906     inode_used: 11906     mount: /snap/core20/1822     options: ro,nodev,relatime,errors=continue,threads=single     size_available: 0     size_total: 66453504     uuid: N/A ...

Давайте попробуем отфильтровать из этого длинного списка только те значения, для которых значение ключа device содержит /dev/sda. Это можно сделать с помощью фильтра selectattr и теста match:

--- - name: Show ansible_mounts filtered   hosts: localhost   gather_facts: true   connection: local   tasks:     - name: Show ansible_mounts       debug:         var: ansible_mounts | selectattr('device', 'match', '/dev/sda')

Получим примерно такое:

TASK [Show ansible_mounts] ********************************* ok: [localhost] =>    ansible_mounts | selectattr('device', 'match', '/dev/sda'):   - block_available: 9906486     block_size: 4096     block_total: 16305043     block_used: 6398557     device: /dev/sda3     fstype: ext4     inode_available: 3666696     inode_total: 4161536     inode_used: 494840     mount: /     options: rw,relatime,errors=remount-ro     size_available: 40576966656     size_total: 66785456128     uuid: e24606ee-2b07-4de0-a3c3-63c605f627ff   - block_available: 9906486     block_size: 4096     block_total: 16305043     block_used: 6398557     device: /dev/sda3     fstype: ext4     inode_available: 3666696     inode_total: 4161536     inode_used: 494840     mount: /var/snap/firefox/common/host-hunspell     options: ro,noexec,noatime,errors=remount-ro,bind     size_available: 40576966656     size_total: 66785456128     uuid: e24606ee-2b07-4de0-a3c3-63c605f627ff   - block_available: 129508     block_size: 4096     block_total: 131063     block_used: 1555     device: /dev/sda2     fstype: vfat     inode_available: 0     inode_total: 0     inode_used: 0     mount: /boot/efi     options: rw,relatime,fmask=0077,dmask=0077,codepage=437,iocharset=iso8859-1,shortname=mixed,errors=remount-ro     size_available: 530464768     size_total: 536834048     uuid: 7041-A883

Теперь давайте предположим, что нам из всего набора ключей каждого словаря нужно только значение ключа mount. Как выбрать из полученного списка лишь значения определенного ключа? Тут нам на помощь придет фильтр map. Это довольно мощный фильтр, суть которого сводится к тому, что он применяет фильтр с аргументами, которые сами переданы ему в качестве аргументов, к каждому элементу списка словарей, которые приходят на вход. В простейшем случае, если нам нужно просто получить значение конкретного ключа из каждого элемента списка словарей, использование данного фильтра будет очень простым. Нужно просто указать значение нужного имени ключа в виде атрибута фильтра с соответствующей командой. В нашем случае это будет map(attribute='mount'). В результате получим следующий код:

--- - name: Show ansible_mounts filtered   hosts: localhost   gather_facts: true   connection: local   tasks:     - name: Show mounts       debug:         var: >-           ansible_mounts             | selectattr('device', 'match', '/dev/sda')             | map(attribute='mount')

В выводе получим следующее:

TASK [Show ansible_mounts] *************************************** ok: [localhost] =>    ? |-     ansible_mounts       | selectattr('device', 'match', '/dev/sda')       | map(attribute='mount')   : - /     - /var/snap/firefox/common/host-hunspell     - /boot/efi 

Как видим, получить нужный нам набор данных оказывается весьма просто даже без использования программирования и циклов. Давайте усложним задачу. Скажем, нам нужно получить в выводе значения не только ключа mount, но также значения ключей size_available и size_total. Идущие в комплекте фильтры так не умеют. Фильтры Ansible умеют фильтровать списки и списки словарей, но не сами ключи словаря. Выход прост: нужно превратить словарь в список и уже его отфильтровать имеющимися инструментами. К счастью, в Ansible есть подходящие фильтры для такой задачи. С их помощью можно превращать словари в списки, а списки — обратно в словари. Называются эти фильтры, соответственно, dict2items и items2dict.

Например, у нас есть следующий словарь:

server_config:   apache:     version: "2.4"     modules: ["mod_ssl", "mod_rewrite"]   php:     version: "7.4"     extensions: ["curl", "json", "pdo"]   mysql:     version: "5.7"     databases: ["db1", "db2", "db3"]   system:     os: "Ubuntu"     os_version: "20.04"

И мы хотим отфильтровать только те элементы словаря, где есть ключ version. Сделать это мы сможем так. Сначала превращаем словать в список с помощью фильтра dict2items:

server_config | dict2items

Получим:

ok: [localhost] =>   server_config | dict2items:   - key: apache     value:       modules:       - mod_ssl       - mod_rewrite       version: '2.4'   - key: php     value:       extensions:       - curl       - json       - pdo       version: '7.4'   - key: mysql     value:       databases:       - db1       - db2       - db3       version: '5.7'   - key: system     value:       os: Ubuntu       os_version: '20.04'

Теперь отфильтруем только те элементы списка, которые содержат дочерний ключ version:

server_config | dict2items | selectattr('value.version', 'defined')

Получим:

ok: [localhost] =>   server_config | dict2items | selectattr('value.version', 'defined'):   - key: apache     value:       modules:       - mod_ssl       - mod_rewrite       version: '2.4'   - key: php     value:       extensions:       - curl       - json       - pdo       version: '7.4'   - key: mysql     value:       databases:       - db1       - db2       - db3       version: '5.7'

Теперь превратим обратно список в словарь исходного вида. Для этого добавим в конец конвейера фильтр items2dict. Получаем:

ok: [localhost] =>   server_config | dict2items | selectattr('value.version', 'defined') | items2dict:     apache:       modules:       - mod_ssl       - mod_rewrite       version: '2.4'     mysql:       databases:       - db1       - db2       - db3       version: '5.7'     php:       extensions:       - curl       - json       - pdo       version: '7.4'

Теперь давайте вспомним про нашу исходную задачу со списком словарей ansible_mounts из которого мы хотим извлечь только некоторые ключи. Сам список мы уже отфильтровали по нужному нам условию, теперь нам нужно выбрать только определенные ключи из списка. Получается, что к каждому элементу списка словарей нужно применить фильтр dict2items, потом отфильтровать этот список по списку ключей, а потом обратно превратить каждый дочерний список обратно в словарь. Сложно? На самом деле не очень. Как работать со словарем, мы уже видели на примере выше. Теперь нам нужно проделать то же самое со списком словарей. Тут нам как раз поможет упоминавшийся выше фильтр map, только уже в более продвинутом варианте применения. Покажем сразу итоговый результат. Код:

- name: Show mounts data   debug:     var: >-       ansible_mounts         | selectattr('device', 'match', '/dev/sda')         | map('dict2items')         | map('selectattr', 'key', 'in', ['mount', 'size_available', 'size_total'])         | map('items2dict')

И результат:

ok: [localhost] =>    ? |-     ansible_mounts       | selectattr('device', 'match', '/dev/sda')       | map('dict2items')       | map('selectattr', 'key', 'in', ['mount', 'size_available', 'size_total'])       | map('items2dict')   : - mount: /       size_available: 40576851968       size_total: 66785456128     - mount: /var/snap/firefox/common/host-hunspell       size_available: 40576851968       size_total: 66785456128     - mount: /boot/efi       size_available: 530464768       size_total: 536834048

Из чего состоит код в данном примере:

1. Выборка разделов диска:

   • ansible_mounts | selectattr('device', 'match', '/dev/sda')

   • Здесь используется фильтр selectattr для выбора тех элементов из списка ansible_mounts, у которых атрибут device соответствует регулярному выражению /dev/sda. Это позволяет выбрать информацию о монтировании только для определенного устройства.

2. Преобразование словарей в списки элементов:

   • | map('dict2items')

   • Фильтр dict2items применяется к каждому элементу списка (каждому словарю), преобразуя его в список пар ключ-значение.

3. Выборка определенных ключей:

   • | map('selectattr', 'key', 'in', ['mount', 'size_available', 'size_total'])

   • Далее, для каждого списка пар ключ-значение используется map совместно с selectattr, чтобы выбрать только те пары, ключи которых включают ‘mount’, ‘size_available’ или ‘size_total’.

4. Преобразование обратно в словари:

   • | map('items2dict')

   • Наконец, после фильтрации нужных ключей, каждый список пар ключ-значение преобразуется обратно в словарь с помощью map и фильтра items2dict.

Заключение

Мы познакомились с наглядными примерами использования фильтров Ansible, и, надеюсь, теперь они кажутся вам не такими уж сложными. Ведь часто всё кажется сложным, пока не попробуешь. С фильтрами Ansible точно так же: попробуйте, поэкспериментируйте, и вы увидите, как они могут упростить вашу жизнь. А еще напишите в комментариях, хотели бы вы увидеть продолжение статьи с другими интересными примерами фильтров? Если тема будет интересна, то в следующих статьях попробую в том числе раскрыть тему написания своих собственных кастомных фильтров.