Разработка софта для воздушных экранов Displair

Компания Displair на днях выходит на международный рынок. О воздушных дисплеях, похожих на экраны из «Железного человека», пишут статьи, снимают телепрограммы и фильмы, но кропотливая работа отдела Soft R&D почти всегда остается за кадром. Пришло время рассказать на Хабре, с какими проблемами столкнулись разработчики, создавая первые в мире проницаемые интерфейсы и к каким решениям они в итоге пришли.

Этой статьей мы открываем серию материалов о том, как российские разработчики создавали воздушные дисплеи. Сегодня рассказ о работе над multi-touch Displair, о принципах юзабилити интерфейсов для воздушных дисплеев, и о том, какая ОС лучше подходит для жестового управления в пространстве.

А для тех, кто давно не слышал о компании, – это видео:

Воздушный multi-touch

Первый прототип, который в 2010 году представил бывшему президенту Медведеву Максим Каманин (генеральный директор Displair LLC), вообще был лишен интерактивности и просто воспроизводил изображения и видео в воздух. Как оказалось потом, этого было явно недостаточно, чтобы продукт мог состязаться с западными аналогами, которые из-за ламинарной природы своих экранов не могли разработать полноценную систему жестового управления. В Displair появилась команда разработчиков, целью которой было сделать воздушные дисплеи максимально интерактивными. Далее события развивались так:

• февраль 2011 года – Displair обзаводится single-touch’ем. Команда разрабатывает собственный драйвер на основе дигитайзера, который позволяет рисовать в воздухе и управлять контентом в режиме одного единовременного касания. Руководство компании узнает о западных «туманных экранах», которые уже добились one-touch-управления на базе Kinect в своих девайсах. Принято решение доводить интерактивность до полноценного multi-touch.

• июль 2011 года – закончена работа над системой multi-touch для Displair. На языке “C” создан драйвер, работающий на нулевом кольце. Разработаны три собственных алгоритма: поиска, трэкинга объектов и калибровки (последний – на основе алгоритма триангуляции).

• август 2011 года – попытка представить систему интерактивности на форуме Селигер терпит крах: ураган уносит палатку, в которой команда оставляет прототип. Устройство – в куски, презентация сорвана.

• сентябрь 2011 года – Displair презентует прототип системы multi-touch у себя на родине, в Астраханской области.

• октябрь 2011 – декабрь 2012 года – разработчики понимают, что точность и скорость срабатывания multi-touch недостаточно высокие, и приступают к оптимизации расходования ресурсов и рефакторингу кода.

Итогом разработки стала система, позволяющая определять до 1500 касаний одновременно. Скорость задержки при этом удалось довести до 0,2 секунды.

Какую ОС выбрать?

С самого начала стоял вопрос: на какой операционной системе должен работать Displair? За приоритетные качества ОС разработчики приняли легкость реализации multi-touch и большой набор существующих приложений, которые можно быстро протестировать и адаптировать под использование на воздушном дисплее. В итоге, выбор сузился до трех кандидатов: Windows 8, iOS и Android.

Легально использовать iOS не на продукции от Apple невозможно, поэтому она тут же выбыла из тройки. Выбирая из «восьмерки» и Android, команда проанализировала возможности обеих систем. В итоге, большая требовательность Windows к ресурсам и тот факт, что Android является свободным ПО, перевесило чашу весов в пользу последней.

Принципы юзабилити

Третий вопрос, с которым до этого еще никогда не сталкивался ум программиста – проектирование интерфейсов для проницаемых экранов. Разрабатывать юзабилити для них команде пришлось методом проб и ошибок: никто в мире раньше не занимался подобным, поэтому еще не накопился опыт, на который можно было бы опереться.
В конце концов, в Displair пришли к следующим трем принципам в дизайне и юзабилити интерфейсов:

• Никакого скевоморфизма. Давно идут споры о том, нужно ли придавать элементам интерфейса схожесть с объектами реального мира или это просто блажь дизайнеров, обожающих фотореализм. Скевоморфизм на уровне графики мало вписывался в концепцию Displair, в которой есть стремление уйти от механистичности в пользу естественности и природы. Поэтому от красивых, но ненужных элементов дизайнеры и программисты отказались в пользу минимализма и простых форм. К тому же элементы, похожие на реальные объекты, в переносе на прозрачный воздушный экран теряют эту схожесть, и пользователю подсознательно тяжелее использовать свой опыт взаимодействия с ними.

• Крупные элементы интерфейса. Displair используется прежде всего в рекламной индустрии как инструмент продвижения продуктов и брендов на крупных массовых мероприятиях. Поэтому очень важно, чтобы в условиях толпы все элементы интерфейса были хорошо видны.

• Дуговые жесты вместо жестов по прямой. Особенность Displair в том, что управлять контентом можно с использованием всей кисти руки; в таких жестах, как разблокировка экрана, прокрутка, выбор элементов и других, где используется вся кисть, управление становится более естественным, если траектория жеста идет не по горизонтальной прямой, а по дуге.

Это только несколько вопросов, из тех, что пришлось решать специалистам Displair. Если какие-то темы интересуют вас особенно и вы хотите, чтобы мы рассказали о них отдельно, пишите в комментариях.