В МТУСИ разработали алгоритм для определения объекта захвата роботом-манипулятором

Внедрение промышленных роботов в процессы сортировки и манипулирования объектов открывает новые горизонты для повышения эффективности и автоматизации производственных линий. Однако, несмотря на очевидные преимущества роботизированных систем, существуют задачи, требующие решения специфических проблем.

Наблюдения показали, что в современной робототехнике существует проблема сортировки объектов, хаотично расположенных в рабочей зоне манипулятора. Один объект может полностью или частично закрывать другой, и тогда роботу будет сложно захватить нужный объект, не затронув другие или не повредив захватное устройство.

 Для решения этой проблемы применяются интеллектуальные алгоритмы, основанные на компьютерном зрении, которые могли бы определять положение и ориентацию объектов. Первый этапом при решении этой проблемы является поиск нужных объектов в видеопотоке.

Никита Белов, старший преподаватель кафедры ИСУиА МТУСИ, предложил алгоритм, основанный на нейронной сети и RGB-D сенсоре, позволяющий определить объект захвата в технологическом процессе сортировки объектов с применением промышленного манипулятора.

«В ходе эксперимента использовался робот-манипулятор KUKA KR4 R600. Для достижения высокой точности определения объектов применялись нейросетевой алгоритм YOLOv8 и камера Intel RealSense D415i, которая использовалась для определения расстояния до объекта по вертикальной оси. Далее производится выделения контуров распознанных объектов на чёрно-белых изображениях с помощью метода FindContours. Одним из важнейших этапов работы алгоритма стал расчёт индекса Жаккара, который позволил выявить перекрывающиеся ограничивающие рамки распознанных объектов. В результате получается массив данных, который включал все пересекающиеся объекты и отклонения их отношений периметра к площади от эталонных значений», — пояснил Никита Белов.

В ходе исследования обнаружено, что при определении объекта только по расстоянию по оси Z, которое вычисляется с помощью RGB-D сенсора Intel RealSense D415i, есть вероятность неправильного выбора из-за перекрытия объектов. Для решения этой проблемы учитывалось взаимное перекрытие объектов. В случае нахождения пересечения выбирается объект, соотношение периметра к площади которого имеет наименьшее отклонение от эталонного значения.

Созданный алгоритм показал отличные результаты в точности и выборе наилучшего объекта захвата при сортировке в условиях хаотичного расположения объектов в накопителе и частичного или полного их перекрытия для захвата роботом-манипулятором без повреждения фланца манипулятора или захватного устройства.

Полученные результаты демонстрируют, что интеграция нейронных технологий в робототехнику открывает новые перспективы для автоматизации процессов, обеспечивая более высокую эффективность и качество работы производственных систем.

Дальнейшие исследования в этом направлении позволят открыть новые возможности для робототехники и автоматизации, делая эти технологии ещё более совершенными и надёжными.