Разработка приложений для дополненной реальности: грязь, баги и свет в конце камеры

Дополненная реальность давно вышла за пределы хайповых заголовков. Она превратилась в рабочий инструмент, который всё чаще мелькает в мобильных приложениях, играх, логистике и даже образовании. В этой статье — разбор инструментов, подводных камней и немного личных слёз, пролитых над SDK.

Если вы когда-нибудь пытались разработать что-то в дополненной реальности, то, скорее всего, сначала всё казалось простым и волшебным — а потом начался тот самый ад из размытых плоскостей, прыгающих объектов и SDK, которые внезапно перестают видеть камеру.

Писать про AR легко — достаточно накидать пару ссылок на ARKit и Unity, и готово. А вот сделать что-то действительно рабочее — тут нужен танец с бубном, багрепорты в 3 часа ночи и здравый скепсис к любой документации. Попробуем пройти этот путь чуть-чуть осмысленнее.

Инструменты, с которыми можно жить

1. Unity + AR Foundation

Это как мультиинструмент для AR-разработчика. Он позволяет писать кроссплатформенный код для iOS и Android, используя ARKit и ARCore под капотом.

// C# — Unity, AR Foundation using UnityEngine; using UnityEngine.XR.ARFoundation;  public class PlaceObjectOnPlane : MonoBehaviour {     public GameObject objectToPlace;     private ARRaycastManager raycastManager;     private GameObject spawnedObject;      void Start()     {         raycastManager = GetComponent<ARRaycastManager>();     }      void Update()     {         if (Input.touchCount == 0) return;         var touch = Input.GetTouch(0);          if (touch.phase == TouchPhase.Began)         {             var hits = new List<ARRaycastHit>();             if (raycastManager.Raycast(touch.position, hits, UnityEngine.XR.ARSubsystems.TrackableType.PlaneWithinPolygon))             {                 var hitPose = hits[0].pose;                  if (spawnedObject == null)                     spawnedObject = Instantiate(objectToPlace, hitPose.position, hitPose.rotation);                 else                     spawnedObject.transform.position = hitPose.position;             }         }     } } 

На бумаге всё просто. На практике — устройство не определяет плоскости, если света в комнате меньше, чем в офисе Google, а сам Unity может внезапно «забыть» про ARKit, если сборка шла под Android.

2. ARKit (iOS only)

Нативный SDK от Apple, работает отлично, если ваш пользователь — владелец iPhone 12+. Поддерживает SLAM, Face Tracking, Occlusion и даже совместную работу с LiDAR.

// Swift, ARKit import ARKit  class ARViewController: UIViewController, ARSCNViewDelegate {     @IBOutlet var sceneView: ARSCNView!      override func viewDidLoad() {         super.viewDidLoad()         sceneView.delegate = self         sceneView.session.run(ARWorldTrackingConfiguration())     } } 

Но стоит помнить: ARKit — штука привередливая. Как только вы вылезаете за пределы «вставить кубик в сцену», нужно знать про world alignment, anchors, light estimation и ещё кучу мелких деталей, которые неочевидны из документации.

3. ARCore (Android only)

Аналог ARKit от Google. Работает нормально, но любит «отваливаться» на устройствах с кастомной прошивкой. Поддерживает примерно то же, но с задержкой на релиз новых фич.

// Kotlin, ARCore + Sceneform override fun onCreate(savedInstanceState: Bundle?) {     super.onCreate(savedInstanceState)     setContentView(R.layout.activity_main)      val fragment = supportFragmentManager.findFragmentById(R.id.ux_fragment) as ArFragment     fragment.setOnTapArPlaneListener { hitResult, _, _ ->         val anchor = hitResult.createAnchor()         val model = ModelRenderable.builder()             .setSource(this, R.raw.model)             .build()             .get()         val anchorNode = AnchorNode(anchor)         anchorNode.renderable = model         fragment.arSceneView.scene.addChild(anchorNode)     } } 

Часто неочевидные подводные камни

• SLAM и стабильность сцены. Даже в самых крутых SDK объекты со временем могут «плыть». Это физика, оптика и невозможность 100% трекинга в реальном времени.

• Освещение. AR плохо дружит с темнотой. Если света мало, плоскости не распознаются, трекинг сбивается, и вообще всё ломается.

• Калибровка камеры. Особенно на Android — где один и тот же телефон может иметь 3 разные камеры с разными API.

Vuforia, WebAR и прочие звери

Если хочется поддержки маркеров, интеграции с OpenCV, или AR через браузер — стоит посмотреть на:

• Vuforia — отличный вариант для marker-based AR. Правда, бесплатная версия сильно ограничена.

• WebAR — решение через WebXR API. Работает нестабильно и сильно зависит от браузера. Но зато — никакого App Store.

Где пригодится AR в реальности?

• Навигация в помещениях. Google уже использует это в Google Maps внутри аэропортов.

• Обучение и медицина. Виртуальные анатомические модели, обучающие стенды.

• Ритейл. Примерка мебели, очков, одежды.

• Игры. Ну конечно. Кто не слышал про Pokémon GO?

Заключение

AR — это не магия. Это череда компромиссов между UX, железом, SDK и нервами разработчика. Но если однажды вы увидите, как ваша 3D-модель идеально вписалась в комнату пользователя — поверьте, оно того стоило.