Нейросети на RISC-V с Movidius Neural Compute Stick

RISC-V — перспективная открытая архитектура, не требующая royalty от производителей железа на её основе. Нужно отметить, что интерес к архитектуре RISC-V растёт намного быстрее, чем закрепляется её спецификация и идёт процесс принятия новых фич комитетом, а также дальнейшая реализация в железе и софте. Например, сейчас сложно найти предложение по CPU и совместимое с ним Linux ядро с поддержкой векторизации, хотя RVV 0.7.1 уже существует, и RVV 1.0 вот-вот его заменит. В нашем эксперименте трудоемкие вычисления перекладываются на внешнее устройство, поэтому сгодится и самый простой центральный процессор.

В этой статье вы найдете подробные инструкции по использованию библиотек OpenVINO и OpenCV на RISC-V для запуска нейронных сетей с использованием акселератора. Цель материала — продемонстрировать гибкость решений на примере использования RISC-V CPU в качестве хоста для работы с нейросетевым ускорителем Intel Movidius Neural Compute Stick 2 (NCS2). Большая часть статьи состоит из инструкций по сборке под RISC-V. Конечно, это не самый творческий процесс, но мы верим, что со временем все они спрячутся под процессами CI/CD, как когда-то было с ARM-экосистемой.

Тестовые конфигурации

В данной статье поделимся двумя вариантами запуска готового приложения — через эмулятор QEMU и на плате MangoPi MQ-Pro. На QEMU запустим официальный образ Ubuntu 20.04 для RISC-V, а на плате MangoPi — совместимую Ubuntu 22.04 для AllWinner Nezha (ссылка).

Нужно отметить, что MangoPi не богата на способы взаимодействия: WiFi-антенна, пришедшая в комплекте, не хочет помещаться в соответствующий разъем, официально рекомендуемая Tina Linux не бутится, а ядро Ubuntu для AllWinner Nezha не поддерживает WiFi/Bluetooth. Дополнительно потребуется USB хаб или адаптер с Type-C на USB, чтобы подключить Movidius стик.

Сам NCS2 это со-процессор Myriad-X в форм-факторе USB флешки. Архитектура предлагает набор аппаратных реализаций наиболее вычислительно трудоемких операций для исполнения слоев нейронных сетей (например, сверточных).

Подготовка RISC-V тулчейна

Несмотря на то, что в Ubuntu предоставляется готовый компилятор через apt-get install crossbuild-essential-riscv64, в данной статье хочется показать полный путь сборки проекта из исходного кода, чтобы адаптировать под более широкий выбор окружения.

Сам RISC-V компилятор, а также набор полезных инструментов, хранятся и разрабатываются на GitHub. Самую актуальную инструкцию всегда можно найти на странице проекта, ну а здесь просто зафиксируем.

• Установка зависимостей:

  sudo apt-get update sudo apt-get install -y --no-install-recommends git autoconf automake autotools-dev curl python3 libmpc-dev libmpfr-dev libgmp-dev gawk build-essential bison flex texinfo gperf libtool patchutils bc zlib1g-dev libexpat-dev

• Клонирование репозитория:

  git clone https://github.com/riscv-collab/riscv-gnu-toolchain --depth 1

• Важно: для тестирования через QEMU с Ubuntu 20.04 нужно будет откатить GCC и GLIBC на более ранние версии для совместимости:

  cd riscv-gnu-toolchain git submodule init git submodule update glibc && git submodule update gcc cd glibc && git checkout glibc-2.31 cd gcc && git checkout releases/gcc-9.4.0

• Сборка:

  ./configure --prefix=/opt/riscv sudo make linux -j$(nproc --all)

Кросс-компиляция OpenVINO

OpenVINO — проект от Intel, объединяющий оптимизированные примитивы для запуска нейронных сетей. Кроме Intel Architecture (CPU, GPU, VPU) проект с недавнего времени развивает плагины для ARM и NVIDIA.

Потребуется дополнительный CMake файл, который пока не находится в главном репозитории. Сохраните его с названием riscv64.toolchain.cmake. Внутри ничего особенного, кроме поиска компилятора и настроек, необходимых для кросс-компиляции.

set(CMAKE_SYSTEM_NAME Linux) set(CMAKE_SYSTEM_PROCESSOR riscv64)  if(NOT DEFINED CMAKE_C_COMPILER)   find_program(CMAKE_C_COMPILER NAMES riscv64-unknown-linux-gnu-gcc                                 PATHS /opt/riscv/bin ENV PATH) endif()  if(NOT DEFINED CMAKE_CXX_COMPILER)   find_program(CMAKE_CXX_COMPILER NAMES riscv64-unknown-linux-gnu-g++                                   PATHS /opt/riscv/bin ENV PATH) endif()  set(CMAKE_SYSROOT /opt/riscv/sysroot CACHE PATH "RISC-V sysroot")  set(CMAKE_FIND_ROOT_PATH ${CMAKE_SYSROOT}) set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER) set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY) set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY) set(CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY)

• Клонирование проекта OpenVINO:

  git clone --recurse-submodules -j$(nproc --all) https://github.com/openvinotoolkit/openvino --depth 1

• При использовании этих инструкций на Ubuntu 22.04 потребуется поставить несколько дополнительных пакетов: libusb под RISC-V, которая используется OpenVINO для обмена данными с Movidius стиком, а также зависимостей, необходимых для Python оберток. Их можно скачать с помощью apt-get, но перед этим добавить новую архитектуру:

  sudo dpkg --add-architecture riscv64

  Затем почему-то возникает ошибка при вызове update, которая решается корректировкой определенного файла. Такая команда дублирует каждую строку для amd64 и riscv64 архитектур:

  sudo sed -i -E 's|^deb ([^ ]+) (.*)$|deb [arch=amd64] \1 \2\ndeb [arch=riscv64] http://ports.ubuntu.com/ubuntu-ports/ \2|' /etc/apt/sources.list sudo apt-get update

• Установка пакетов:

  sudo apt-get install -y --no-install-recommends \   libusb-1.0-0-dev:riscv64 \   libpython3-dev:riscv64 \   cython3

• Ну и что-то пойдёт не так с поиском header файлов по относительному пути для кросс-компиляции Python оберток, поэтому можно решить эту проблему грубо:

  sudo sed -i -E 's|riscv64-linux-gnu/python3.10/pyconfig.h|/usr/include/riscv64-linux-gnu/python3.10/pyconfig.h|' /usr/include/python3.10/pyconfig.h

• Сборка с помощью CMake с указанием расположения библиотеки libusb:

  cmake \   -DCMAKE_TOOLCHAIN_FILE=/path/to/riscv64.toolchain.cmake \   -DLIBUSB_LIBRARY=/usr/lib/riscv64-linux-gnu/libusb-1.0.so \   -DLIBUSB_INCLUDE_DIR=/usr/include/libusb-1.0 \   -DTHREADING=SEQ \   -DENABLE_OPENCV=OFF \   -DENABLE_PYTHON=ON \   -DENABLE_SAMPLES=OFF \   -DPYTHON_INCLUDE_DIR=/usr/include/python3.10 \   -DPYTHON_MODULE_EXTENSION=".so" \   -DPYTHON_LIBRARY=/usr/lib/riscv64-linux-gnu/libpython3.10.so \   -S openvino -B openvino_build       cmake --build openvino_build -j$(nproc --all) cmake --install openvino_build --prefix openvino_install

Кросс-компиляция OpenCV

OpenCV не является обязательной зависимостью OpenVINO, а потребуется нам в приложении для работы над данными. Так же собираем вместе с Python обертками.

git clone --depth 1 https://github.com/opencv/opencv/  python3 -m pip install numpy==1.21.5  cmake \   -DCMAKE_TOOLCHAIN_FILE=$(realpath opencv/platforms/linux/riscv64-gcc.toolchain.cmake) \   -DCMAKE_INSTALL_PREFIX=$(realpath opencv_install) \   -DCMAKE_BUILD_TYPE=Release \   -DBUILD_LIST=core,imgcodecs,python3 \   -DPYTHON3_NUMPY_INCLUDE_DIRS=$HOME/.local/lib/python3.10/site-packages/numpy/core/include/ \   -DPYTHON3_INCLUDE_PATH=/usr/include/python3.10 \   -DPYTHON3_LIBRARIES=/usr/lib/riscv64-linux-gnu/libpython3.10.so \   -DPYTHON3_EXECUTABLE=/usr/bin/python3.10  \   -DPYTHON3_CVPY_SUFFIX=".cpython-310-riscv64-linux-gnu.so" \   -S opencv -B opencv_build  cmake --build opencv_build -j$(nproc --all) cmake --install opencv_build --prefix opencv_install

Запуск через QEMU

Если вы пока ждёте свою RISC-V борду, но уже заинтересованы в экспериментах, попробуйте вариант с эмулятором QEMU. Сам RISC-V тулчейн тоже умеет собирать бинарник qemu-riscv64, но в него не получилось пробросить USB-устройство, в отличие от следующего способа:

• Установите QEMU и необходимые зависимости:

  sudo apt-get install qemu-system-misc opensbi u-boot-qemu qemu-utils

• Скачайте официальный образ Ubuntu:

  wget https://cdimage.ubuntu.com/releases/20.04.2/release/ubuntu-20.04.2-preinstalled-server-riscv64.img.xz  xz -dk ubuntu-20.04.2-preinstalled-server-riscv64.img.xz

• Установите udev правила на хостовой машине, чтобы можно было работать с NCS. Данный шаг придется повторить и внутри QEMU:

  sudo usermod -a -G users "$(whoami)"  (выполните logout)  sudo cp openvino_install/install_dependencies/97-myriad-usbboot.rules /etc/udev/rules.d/ sudo udevadm control --reload-rules sudo udevadm trigger sudo ldconfig

• Запуск системы. Важным является добавление двух productId, чтобы пробросить USB-устройство внутрь эмулятора: 2485, соответствующий Movidius стику в режиме ожидания и f63b, который присваивается занятому вычислениями стику в процессе работы приложения.

  qemu-system-riscv64 \     -machine virt -nographic -m 2048 -smp 2 \     -bios /usr/lib/riscv64-linux-gnu/opensbi/generic/fw_jump.elf \     -kernel /usr/lib/u-boot/qemu-riscv64_smode/uboot.elf \     -device virtio-net-device,netdev=eth0 -netdev user,id=eth0 \     -usb -device usb-ehci,id=ehci \     -device usb-host,vendorid=0x03e7,productid=0x2485 \     -device usb-host,vendorid=0x03e7,productid=0xf63b \     -drive file=ubuntu-20.04.2-preinstalled-server-riscv64.img,format=raw,if=virtio

• Повторите установку udev правил на USB стик, но уже внутри QEMU. Возможно, потребуется перезапуск.

• Эмулятор готов, и на нём можно использовать приложение, описанное ниже.

Запуск на плате

Необходимо переместить собранные OpenVINO и OpenCV на плату MangoPi MQ-Pro с помощью SSH (или скопировать на SD карту). Затем, уже на девайсе, доустановить зависимости. В качестве end2end примера можно сделать Telegram бота для стилизации фотографий.

python3 -m pip install --upgrade pip python3 -m pip install pytelegrambotapi

Готовые файлы модели можно скачать по ссылкам: the_scream_style_transfer.xml и the_scream_style_transfer.bin. Остается выставить переменные окружения и запустить Python скрипт с использованием токена созданного бота (инструкцию можно легко найти).

source opencv_install/bin/setup_vars_opencv4.sh source openvino_install/setupvars.sh export PYTHONPATH=/home/ubuntu/openvino_install/python/python3.10/:$PYTHONPATH  python3 bot.py --token XXX

import os import numpy as np import cv2 as cv import telebot import argparse import io from openvino.runtime import Core  WORK_WIDTH = 640 WORK_HEIGHT = 640  class StyleTransfer:     def __init__(self, xml_path):         core = Core()         model = core.read_model(xml_path)         model = core.compile_model(model, "MYRIAD")         self.ireq = model.create_infer_request()          def process(self, img):         h, w = img.shape[0], img.shape[1]          img = cv.resize(img, (WORK_WIDTH, WORK_HEIGHT))  # resize to fixed input resolution         img = img.reshape(1, WORK_HEIGHT, WORK_WIDTH, 3).transpose(0, 3, 1, 2).astype(np.float32)         img -= np.array([103.939, 116.779, 123.68]).reshape(1, 3, 1, 1)         img /= 255          out = self.ireq.infer([img])         out = next(iter(out.values()))          out += np.array([103.939, 116.779, 123.68]).reshape(1, 3, 1, 1)         out = np.clip(out, 0, 255).astype(np.uint8)          out = out.transpose(0, 2, 3, 1).reshape(WORK_HEIGHT, WORK_WIDTH, 3)         out = cv.resize(out, (w, h))          return out   parser = argparse.ArgumentParser() parser.add_argument('--token', help='Telegram bot token', required=True) args = parser.parse_args()  model = StyleTransfer("the_scream_style_transfer.xml")  bot = telebot.TeleBot(args.token)  def get_image(message):     fileID = message.photo[-1].file_id     file = bot.get_file(fileID)     data = bot.download_file(file.file_path)     buf = np.frombuffer(data, dtype=np.uint8)     return cv.imdecode(buf, cv.IMREAD_COLOR)  def send_image(message, img):     _, buf = cv.imencode(".jpg", img, [cv.IMWRITE_JPEG_QUALITY, 90])     outputbuf = io.BytesIO(buf)     bot.send_photo(message.chat.id, outputbuf)  @bot.message_handler(content_types=['photo']) def process_image(message):      img = get_image(message)     stylized = model.process(img)     send_image(message, stylized)  bot.polling()

Послесловие

Мы посчитали важным опубликовать эту достаточно подробную инструкцию, чтобы продемонстрировать одну из возможностей платформы на данный момент. Ну а если тема окажется востребованной, продолжим делиться другими материалами по работе с RISC-V.