Российский программист написал замену зарубежному плагину для обработки видео нейросетями

Антон Подлегаев, инженер-программист из российской компании «Криптонит», создал плагин nminfer для популярного фреймворка GStreamer. Этот плагин позволяет обрабатывать видеоданные с помощью нейросетей на отечественном вычислительном ускорителе NM Card, разработанном НТЦ «Модуль».

С помощью нового плагина российские компании и государственные структуры смогут автоматически распознавать лица, номера и различные объекты в видеопотоке, а также выполнять прочие задачи по обработке видео, используя отечественные программные и аппаратные решения на базе ИИ.

Новый плагин позиционируется как российская альтернатива плагинам из пакета Nvidia Deepstream, который также основан на GStreamer и реализует нейросетевую обработку данных. Плагин выполняет подготовку и конвертацию как нейросетевых моделей, так и самих потоковых данных в формат, поддерживаемый NM Сard.

Ускоритель NM Card изготавливается на основе российских микросхем К1879ВМ8Я. Они представляют собой процессор цифровой обработки сигналов, который содержит 16 ядер NeuroMatrixCore с тактовой частотой до 1024 МГц. Он оснащён 5 ГБ VRAM и поддерживает программный комплекс (C++ API) Neuromatrix Deep Learning (NMDL), предназначенный для запуска заранее обученных глубоких свёрточных нейросетей (Deep CNN). 

По производительности ближайший аналог NM Card — ускоритель Nvidia Jetson Nano, отмечают в «Криптонит». При запуске модели Yolo_v3_tiny_coco, предварительно обученной на наборе данных Common Objects для распознавания 80 типов объектов в реальном времени, ускоритель NM Card демонстрирует скорость обработки 24 кадров/с, в то время как у Nvidia Jetson Nano она составляет 25 кадров/с. Размерность ввода у обоих ускорителей в тесте была одинаковой: 416x416x3.

У НТЦ «Модуль» уже есть более мощное решение — модуль NM Quad на тех же микросхемах К1879ВМ8Я, обладающий производительностью примерно в четыре раза больше, чем NM Card. Плагин nminfer может работать и с ним.