Свой контроллер для Oculus Quest 2 на ESP32

Дисклаймер
Это Proof-of-Concept идеи о подключении микроконтроллера ESP32 к шлему, как Bluetooth-клавиатуры, и передачи срабатываний датчиков, как нажатий клавиш, в приложение, запущенное на нем (а не через SteamVR или Meta Horizon). Теоретически можно передавать данные от шлема на контроллер посредством оповещений для светодиодов для реализации обратной связи, но найти рабочий пример не вышло, как и исправить готовое. В итоге, с технической точки зрения, статья довольно слабая.

Одна из проблем в VR — перемещение по миру на расстояния, большие чем помещение, в котором находится игрок. Наиболее распространенные способы — это телепортация из одной точки в другую или движение с использованием стика. Альтернативой могла бы быть ходьба на месте, которая также немного компенсирует укачивание в VR, но из-за отсутствия хоть какого то отслеживания ног, её реализация не слишком удобна (надо либо размахивать руками, либо сильно покачиваться) и потому практически не используется, хотя казалось бы для самого простого случая, когда достаточно передвигать игрока по направлению камеры, требуется передача в шлем всего лишь двух значений, определяющих стоит ли каждая нога на земле или нет. Датчиками в этом случае могут быть обычные кнопки. Для возможности разделения бега/ходьбы и определения движения назад можно для каждой ноги использовать не одну, а две кнопки — на носке и на пятке, и определять ходьбу, когда носки не отрываются от земли, а движение назад — по поднятым носкам. Бонусом был бы доступен еще прыжок.

Передавать данные в шлем можно тремя способами: по Bluetooth, Wi-Fi и проводом через USB-порт. Теоретически самые большие задержки имеет Wi-Fi, минимальные USB-порт, а Bluetooth нечто среднее. Если рассматривать использование с точки зрения пользователя/игрока, то Bluetooth-устройство, требующее однократного сопряжения, кажется наиболее удобным.

У Bluetooth есть понятие профиля, которое по сути определяет тип устройства — наушники, клавиатура или что-то еще. Одно устройство может реализовать сразу несколько профилей, т.е. быть и клавиатурой и наушниками. Для передачи данных, есть специальный профиль RFCOMM, аналогичный UART, но, к сожалению в этом случае приложению на шлеме потребуется запрашивать разрешение на использование Bluetooth, что закрывает дорогу в магазин Meta Quest. Поэтому остаются варианты эмулировать геймпад или клавиатуру. Первый имеет больше возможностей по передаче данных, но может пересекаться с вводом от стандартных контроллеров. Ввод с клавиатуры же отдельный, обрабатывать её значительно проще, да и для ходьбы или дэнспада регистрация обычных нажатий достаточна, так что выбор пал на нее.

Знаете ли вы, что… каждая кнопка на стандартном контроллере имеет датчик, определяющий находится ли ваш палец над ней. Благодаря этим датчикам, в главном меню визуализируются положение пальцев, когда вы держите в руках контроллеры, скрывающих пальцы от камер своими кольцами.

Аппаратная часть

Какой взять микроконтроллер — легкий вопрос, если исходить из стоимости, поскольку ESP32, имеющий на борту как Bluetooth, так и Wi-Fi, значительно дешевле любой пары микроконтроллер + Bluetooth-модуль. Кроме того, ESP32 можно программировать в Arduino IDE, т.е. ко многим датчикам уже есть готовые библиотеки. Стоит иметь в виду, что ESP32 имеет несколько вариаций чипа, описанных в англоязычной Википедии. В данном случае подойдут самые дешевые варианты за примерно 200руб как на уже подустаревшем базовом ESP32, так и более современной версии ESP32-C3.

Мои no-name платы ESP32 с али

Однако с ESP32 не все так гладко. Во первых сборка и загрузка скетча в Arduino IDE будет занимать более 30сек, т.к. по сути собирается целая операционка FreeRTOS, а кеширования скомпилированных ранее модулей в IDE нет. Решением может быть использование платного плагина к Visual Studio. А во вторых многие датчики рассчитаны на питание 5В, в то время как ESP32 питается от 3.3В, и потому по линиям данных рекомендуется ставить преобразователи TTL-уровней, чтобы не сжечь порты у ESP32. В некоторых мануалах это может опускаться, т.к. для попробовать и так работает. В продаже есть датчики рассчитанные на 3.3В, но они обычно значительно дороже.

Для прототипа контроллера я выбрал ESP32 C3 Super Mini. Еще потребовалось пара кнопок, провода и два резистора на 10КОм. Кнопки подключил к 0 и 1 портам по стандартной схеме с подтяжкой к земле. Чтобы кнопки было удобнее нажимать ногами, я приклеил к ним кусочки пластика. При нажатии отправляются буквы A и C, а при отпускании B и D.

Итоговый прототип, в котором обе ноги обрабатывает один контроллер.

Приложение для шлема

Тестовое приложение я сделал на Godot. Это не самый популярный движок, но он прост, прекрасно подходит для прототипов, в том числе и VR, да и в отличии от Unreal и Unity, не требует для установки десятков гигабайт на диске и может запускаться под Windows 7.

extends Node3D  func _ready(): OS.request_permissions() var xr_interface = XRServer.find_interface("OpenXR") if xr_interface and xr_interface.is_initialized(): get_viewport().use_xr = true 

В тестовом проекте я реализовал следующую логику: при поднятии ноги полсекунды или пока нога не будет опущена игрок, а точнее базовая точка, перемещается вперед. Обычно, когда надо, чтобы игрок мог упираться в препятствия, его перемещают не путем изменения позиции, а толкают его капсулу-коллайдер. Однако, если привязать коллайдер к базовой точке, то непонятно что делать, когда игрок перемещается в реальном мире, отходит от базовой точки и выходит из коллайдера. Поэтому я просто закрепил на камере коллайдер-сферу, которая при регистрации столкновения переносит базовую точку и, следовательно саму камеру, назад. Хотя это в VR воспринимается не очень, но свою задачу «запрещения игроку проходить сквозь стены» решает. Наверняка есть способы лучше.

Демо-приложение

С моей точки зрения, получилось неплохо. Перемещение ходьбой на месте достаточно естественно, хотя эффект укачивания всё равно присутствует. Возможно, если приблизить динамику перемещения камеры к реальной походке, будет лучше.

Код для ESP32 и прототип приложения доступны здесь. Приложение можно попробовать и без сборки ESP32-контроллера, т.к. нажатие любой кнопки стандартного контроллера имитирует шаг.

Вместо послесловия

Meta, как и другие производители VR-гарнитур, ограничилась комплектом «шлем и два контроллера», что по сути представляет собой минимальный набор для игр в VR Однако, с моей точки зрения, бритва Оккама в этот раз отрезала лишнее — трекинг ног. Безногие аватары в Meta-вселенной выглядят нелепо, а уже о потерянных возможностях в играх и думать грустно. Казалось бы добавить сандали на лентах-липучках, как у шлема, с акселерометрами и тензометрическими датчиками для отслеживания распределения веса (и более точного восстановления позы), хотя бы как дополнительный аксессуар, не так уж и сложно, но — нет. С другой стороны рост производительности процессоров и развитие машинного обучения, видимо приведет к full-body трекингу всего одной камерой мобильного телефона, т. к. зачаточные версии на основе ML-Kit есть уже сейчас, и потому делать что-то специальное для ног многим кажется бесперспективным.