Российские учёные создали отечественнуюю программу для управления роботами жестами

Специалисты Донского государственного технического университета совместно с коллегами из МГТУ «Станкин» создали отечественное программное обеспечение для управления роботом с помощью жестов. Проект поддержан программой «Приоритет 2030» Минобрнауки РФ и выполнен в рамках гранта Российского научного фонда. Об этом сообщили изданию ТАСС в пресс-службе Минобрнауки РФ.

Благодаря новой разработке отечественные промышленные манипуляторы смогут распознавать команды оператора без использования импортных решений. Решение объединяет данные обычной камеры и датчика глубины. Первая фиксирует картинку, второй измеряет расстояние до объектов. Вместе они компенсируют недостатки друг друга при плохом освещении или потере глубины. Это обеспечивает более точное и надёжное распознавание действий. На основе полученных данных был создан дескриптор. Это вектор признаков, который описывает движение оператора.

Ученые разрабатывали систему на основе алгоритмов компьютерного зрения и нейросетевых технологий. Решение распознаёт жесты человека и управляет роботизированной техникой путём бесконтактного интерфейса. Программа получает данные с камеры и сенсора глубины, затем распознаёт жестовые команды оператора. Программа обучена на 10 жестовых командах. После этого данные поступают на контроллер робота, где заранее прописано соответствие между жестовой командой и действием робота-манипулятора. Система позволяет автоматизировать погрузку, сборочные операции, окраску, лазерную обработку, маркировку и другие совместные операции человека и робота.