Фреймворк имитационного обучения улучшает навыки локоманипуляции у четвероногих роботов в реальных условиях

Исследователи из Калифорнийского университета в Сан-Диего разработали новый фреймворк имитационного обучения под названием WildLMa, который улучшает навыки локоманипуляции у четвероногих роботов в реальных условиях. Американская команда представила систему, позволяющую роботам эффективно выполнять задачи манипуляции с объектами, одновременно перемещаясь в динамичной среде.

WildLMa предоставляет простой способ сбора данных экспертных демонстраций с помощью виртуальной реальности. Человеческие операторы могут управлять роботом, используя только одну руку, что упрощает обучение сложным многошаговым задачам. Фреймворк использует визуально-языковые модели и большие языковые модели для разбиения задач на управляемые этапы, что повышает обобщаемость и адаптивность навыков робота.

«Интеграция механизмов внимания играет решающую роль в том, чтобы сделать навыки робота более адаптивными и обобщаемыми», — отметил Ючен Сон, один из авторов разработки. «WildLMa имеет потенциал для практического применения в бытовых задачах, таких как уборка или поиск предметов».

Команда успешно протестировала систему в различных условиях, включая уборку мусора в коридорах и на открытых пространствах университета, получение заказов с едой и перестановку предметов на полках.

Здесь вы можете ознакомиться с видео и другими опытами команды.