Компания 1X рассказала о создании алгоритмов для домашних роботов-гуманоидов

Компания 1X, которая предлагает домашних роботов-помощников, поделилась подробностями создания алгоритма для их обучения. Он опирается на достижения в области генерации видео и моделей для автономных транспортных средств.

Исходя из начальной последовательности изображений, симуляция для обучения может представить несколько вариантов развития событий при том или ином действии робота, а также способна предсказывать нетривиальные взаимодействия, в том числе эффекты падения объектов, их частичную видимость, деформацию и многое другое.

Как отмечают разработчики, производительность модели с заданными весами может быстро ухудшиться из-за незначительных изменений в окружающей среде или освещении. В итоге старые эксперименты, проведённые в этой среде, больше не воспроизводятся.

Физическое моделирование — разумный способ быстро протестировать поведение робота, так как позволяет сравнивать различные алгоритмы управления. Однако такие симуляторы в основном предназначены для динамики твёрдого тела и требуют большого количества ручной работы для создания ресурсов. Мелкомасштабная оценка на ограниченном количестве задач в реальном или виртуальном режиме не не позволяет предсказать реальное поведение робота. 

В 1X применили новый подход к оценке роботов общего назначения: симулятор обучают непосредственно на основе необработанных данных датчиков, чтобы оценить его в миллионах сценариев. Это не требует ручного создания ресурсов.

Так, за последний год удалось собрать тысячи часов данных о гуманоидах Eve, выполняющих разнообразные задачи по мобильной манипуляции в домах и офисах и взаимодействующих с людьми. Видео и данные действий объединили, чтобы обучить модель, которая может предвидеть сценарии и генерировать разнообразные результаты на основе различных команд действий. 

Так, одно и то же видео позволяет обучить робота работать в четырёх различных траекториях и на трёх различных наборах действий.

В данном сценарии захваченные коробки поднимаются и перемещаются, а другие остаются нетронутыми. 

На видео со складыванием футболок модель обучается понимать физические свойства сминающихся объектов.

Ради эксперимента Eve даже помещали перед зеркалом, чтобы понять, сможет ли робот распознать самого себя. Однако этот тест пока завершился неудачей. 

В 1X решили выпустить для всех желающих более 100 часов векторно-квантованного видео (Apache 2.0), предварительно обученные базовые модели и программу заданий с вознаграждением 1X World Model Challenge.

‍Первое задание на сжатие касается того, насколько хорошо можно минимизировать потери при обучении на чрезвычайно разнообразном наборе данных робота. Чем ниже потери, тем лучше модель понимает данные обучения. Приз в размере $10 тысяч. получат те, кто добьётся потерь на уровне 8,0 в закрытом тестовом наборе. В репозитории Github предоставлены код и предварительно обученные веса для моделей на основе Llama и GENIE.

‍Второе задание касается того, насколько хорошо и как быстро модель может генерировать видео будущего. Подробности о Sampling Challenge расскажут в ближайшее время.

Третье задание, связанное с оценкой, нацелено на точность предсказаний успешности работы робота перед его испытаниями в реальном мире. Его подробности также озвучат позднее.

В начале года 1X показал процесс тестирования трёх десятков роботов-гуманоидов Eve, которые были разработаны при поддержке компании OpenAI. Они перемещаются на специальной трёхколесной платформе. Вместо рук у роботов специальные клешни для захвата и удержания различных предметов, включая небольшие электронные устройства типа собственного зарядного блока.

В сентябре компания показала работу проекта реалистичного робота NEO для помощи в домашних задачах. Производитель сообщил, что человекоподобный андроид может работать от двух до четырёх часов автономно. Он умеет открывать двери, переносить различные предметы, мыть посуду, готовить еду и даже играть в настольные игры. На случай нештатной ситуации робота можно отключить удалённо в оперативном режиме.