Учить, лечить, воевать и сохранять: необычные применения технологии захвата движения

Чаще всего сегодня технологии захвата движения (ЗД) используются в кино и видеоиграх. Но есть и иные варианты их применения: сегодня захват движения помогает соревноваться за звание лучшего станочника, позволяет ставить диагнозы по походке, сохранить для будущих поколений танцы малых народов, а в будущем — позволит вести реальную войну из уютненького бункера.

Лошади, образцовые пролетарии и ядерные взрывы: что пытались фотографировать создатели захвата движения?

В 1878 губернатор Калифорнии, основатель Стэнфордского университета и любитель верховой езды Леланд Стэнфорд заключил со своими приятелями пари. Он утверждал, что бегущая галопом лошадь в определенный момент отрывает от земли все четыре ноги. Приятели не соглашались, а визуально доказать или подтвердить предположение было невозможно. Тогда Стэнфорд пригласил известного фотографа и исследователя движений животных Эдварда Мейбриджа разрешить спор. На ферме Леланда в Пало Альто был построен специальный «фотодром» — загон, состоящий из белой стены и направленных на нее с противоположной стены фотокамер. Поперек дорожки загона были протянуты веревки, привязанные к затворам камер. Когда лошадь переходила на галоп, наездник направлял её в фотодром, ноги животного задевали веревки, срабатывали затворы и появлялась серия снимков.

Так появилась хронофотография — первая технология захвата движения, которая помогла разрешить спор на 25 тыс. долларов.

Стэнфорд доказал свою правоту: в галопе лошадь действительно отрывает все четыре ноги от земли, но в этот момент они поджаты под туловище, а не распростерты вперед и назад, как это часто изображали художники разных эпох. Это маленькое открытие вызвало фурор среди искусствоведов и художников рубежа XIX-XX столетия. Кстати, для съемки использовали только черных лошадей — их движения отчетливее фиксируются на белом фоне фотодрома. Источник: Eadweard Muybridge / Wikimedia Commons

Но технология захвата движения была интересна не только возможностью выиграть пари, и впоследствии появился не один аппарат, основанный на принципе хронофотографии. К примеру, фотограф Арнольд Лонд изобрел хронофотограф с 12 объективами в 1891 году, чтобы запечатлевать мимику пациентов невролога Жана Шарко. С тех пор и до наших дней основной и наиболее сложной задачей было воспроизведение захваченных действий.

Первыми этой возможностью заинтересовались мультипликаторы. В первом десятилетии XX века началась эпоха мультфильмов, которые были либо кукольными, либо рисованными. Художники стремились добиться максимального правдоподобия движений рисованных персонажей. Это получилось у американского изобретателя Макса Фляйшера, который вместе с братом Дэйвом изобрел в 1914 году ротоскопирование («фотоперекладку»). Сначала на пленку снимали реальных актёров. Затем эта запись покадрово увеличивалась, проецировалась и воспроизводилась на стеклянный просвет. Художник прорисовывал каждый кадр на кальке. В результате получался новый фильм с реалистично двигающимся персонажем.

Первым мультперсонажем, созданным технологией фотоперекладки, стал клоун, которого сыграл брат Макса Флейшера Дэйв. Впоследствии вышел короткометражка Tantalizing Fly («Утомленный мухой») про борьбу художника и мешающей ему работать мухи. Художника сыграл сам Фляйшер. Методом фотоперекладки создали «Золушку», «Белоснежку и 7 гномов», «Все псы попадают в рай», советские «Цветик-семицветик», «Каштанку», «Ночь перед рождеством» и др. Источник: Mohamed El Amine CHRAIBI / YouTube

Реалистичное воспроизведение движений посредством их видеозахвата заинтересовало в те годы ученых Советской России, увлеченной научной организацией труда. Если изучить досконально движения лучших представителей пролетариата, то можно научить и других рабочих — такова была логика советского руководства и ученых. Этой темой занимался созданный в Москве Центральный институт труда (ЦИТ), а курировал её Николай Бернштейн — основатель научного направления биомеханики, изучающей движение человека. В своей лаборатории Бернштейн проводил циклограмметрические исследования: испытуемого одевали в специальный костюм, состоящий из десятков небольшим ламп, которые играли роль маркеров. Затем с помощью рапидной киносъемки (100-200 кадров в секунду) получали циклограмму. Погрешность измерений положений движущегося или бегущего человека составляла всего 0,5 мм.

За годы работы Бернштейн изучил движения спортсменов, рабочих и музыкантов, что помогло улучшить результаты в соревнованиях и разработать методики обучения в разных областях. Несмотря на опалу в период борьбы с «космополитами», Бернштейн еще успел дать рекомендации по адаптации космонавтов к состоянию невесомости. Источник: Thomas Oger / YouTube

Примечательно, что Бернштейн предвосхитил появление оптического и акустического метода захвата движения, для которого и по сей день используются датчики, прикрепленные к телу человека.

Это задумку развивал американец Ли Харрисон III, который экспериментировал с аналоговыми микросхемами и электронно-лучевыми трубками. В 1959 году он создал костюм со встроенными потенциометрами (регулируемыми резисторами) и смог записывать и анимировать движения актера в режиме реального времени на электронно-лучевой трубке. Хотя это была примитивная установка — анимированный актер выглядел на экране как светящийся столб, — это был первый случай захвата движения в реальном времени.

Параллельно пробивал себе дорогу фотооптический метод, когда захват движения достигался путем фотографирования объекта на высокой скорости или с разных углов обзора. Большой вклад в это внес Гарольд Эджертон, изобретатель рапатронической камеры, созданной в 1940-х. Она способна записывать неподвижное изображение со временем экспозиции всего 10 наносекунд. Благодаря этому устройству ученый смог запечатлеть очень быстрые события — от всплеска воды из-за упавшей капли до ядерного взрыва.

Момент взрыва ядерного заряда спустя доли секунды после детонации, запечатлённый рапатронической камерой. Источник: Federal Government of the United States / Wikimedia Commons

К концу XX века сформировались две основные технологии захвата движения, которые условно называют маркерной и безмаркерной. В первом случае захват движения происходит с помощью размещенных на теле человека маркеров или датчиков. Они могут быть разными: инфракрасными, магнитными, гироскопическими. Инфракрасные могут либо отражать (пассивные), либо излучать (активные) свет, магнитные искажают магнитный поток, и ресивер волн определяет их положение в пространстве, гироскопический датчик также передает информацию об изменении положения тела в пространстве.

Безмаркерные системы основаны на оптическом захвате. В помещении монтируется множество камер, которые под разными углами ведут сьемку. Затем полученные изображения сводятся в 3D-модель. Еще одна разновидность — экзоскелет, который крепится к телу и создает анимационную модель, фиксируя движения.

Если модель захваченного персонажа впоследствии необходимо поместить в виртуальную среду, то его снимают в зеленой комнате (хромакей). Зелёный цвет очень контрастирует с цветами человеческого тела, поэтому компьютер лучше справляется с задачей «вырезания» зеленых пикселей из кадров. Источник: Toshiba

Захвата движения в основном используются в кино и видеоиграх. Однако с каждым годом эта технология всё чаще применяется вне развлекательной индустрии — на производстве, в медицине, сохранении культурного наследия, спорте и военном деле.

Повторяй за мной: как Toshiba учит работать напильником с помощью захвата движения?

Можно бесконечно смотреть на огонь, воду и на то, как кто-то работает. А иногда от этого можно получать пользу. Мы в Toshiba догадались об этом давно, поэтому в нашем Корпоративном центре производственного проектирования (Corporate Manufacturing Engineering Center) есть специалист по захвату движения Хироаки Накамура. С недавних пор он с увлечением следит за тем, как работают участники Национального чемпионата профессионалов — специального конкурса для умельцев в разных областях — от выпечки до сварки.

В 2018 году молодой рабочий одного из предприятий Toshiba Харуки Окабе решил поучаствовать в этом соревновании, конкретно — в сборке небольшого устройства. При его сборке конкурсанты используют старый добрый напильник для финальной обработки некоторых деталей. Считается, что первоклассные специалисты в этом деле могут достигать точности обработки в 0,001 мм или меньше, иначе устройство работать не будет. В этом наш конкурсант как раз и оказался слаб и упустил победу в конкурсе.

В наставники молодому специалисту Toshiba командировала 66-летнего инструктора Тацуо Мацуи, который более 50 лет работал напильником на предприятиях компании. Однако не каждый носитель уникальных навыков рождается хорошим педагогом, способным их передать. Он пояснил, что проблема в позе конкурсанта за станком, но дальше дело не продвинулось. Тогда мы облачили обоих в костюмы для захвата движения. Они «сшиты» по маркерному принципу, то есть для фиксации движений используются датчики. В этом случае — акселерометры, примерно такие же, как в смартфонах. Это гораздо дешевле многочисленных камер.

Когда мы сравнивали их данные, мы заметили одно существенное различие в том, как они балансируют на ногах.

Вертикальная ось — это сила противодействия опоры [N], а горизонтальная — время [S]. Поскольку по сравнению с опытным специалистом центр тяжести молодого рабочего больше сконцентрирован на выставленной вперед ноге, между его синей и зеленой кривыми большой разрыв. (Окабе, молодой рабочий, левша, а Мацуи, учитель, правша, поэтому на диаграммах линии обращены). Источник: Toshiba

Выяснилось, что центр тяжести молодого рабочего сильно смещен вперед, не так, как у опытного специалиста. Из-за этого конкурсант быстро устает при работе с напильником, и из-за этого выходит брак. Поняв свою ошибку, Окабе сумел улучшить качество работы напильником. И взял бронзу на Национальном чемпионате профессионалов Японии. Возможно, по записям работы напильником Мацуи будут учится наши потомки. А ещё мы можем сохранить для них другой вид исчезающего искусства — танцы.

Поймать Терпсихору: как захват движения используется в сохранении искусства танца?

Все наверняка слышали о списке Всемирного наследия ЮНЕСКО, куда входят более 1 000 природных и рукотворных объектов, которые человечество стремится сохранить и передать будущим поколениям. В начале 2000-х многие задумались о том, как сохранить то, что не построено руками и не создано природой, — пение, обряды, театральные представления, ремёсла. Так появилась концепция нематериального культурного наследия (НКН), которое с 2003 также накапливается и сохраняется. А технология захвата движения помогает сохранить один из главных объектов НКН — танцы.

Несколько проектов по всему миру занимаются оцифровкой танцев народов мира (Wholedance, i-Treasures, AniAge и другие). Чаще всего при записи танцев используются активные и пассивные датчики, которые размещаются на теле танцора.

Система захвата движения с активными датчиками используют светодиоды, которые излучают собственный свет. К примеру, система захвата движения Phasespace Impulse X2 состоит из восьми камер, способных фиксировать движение с помощью модулированных светодиодов. Танцор надевает костюм с 38 датчиками и активными светодиодами и начинает исполнять танец.

В проекте WholoDance экспериментировали с интеграцией Microsoft HoloLens в качестве инструмента визуализации. Потоковая передача данных из Autodesk MotionBuilder по беспроводной связи на гарнитуру позволяет танцорам и хореографам видеть голограммы в реальном времени. Источник: Jasper Brekelmans / YouTube

В пассивных системах захвата датчики не излучают сигнал, а только отражают его с помощью специальных материалов, из которых изготовлен костюм. Эта технология обеспечивает бóльшую свободу действия танцора, позволяет ему совершать резкие движения, выполнять акробатические элементы и при этом не снижает точность и скорость фиксации. Сейчас ученые рассчитывают интегрировать маркерные технологии захвата движения и 3D-съемку, так как в танце участвует мимика и костюм танцора.

Схожие технологии захвата движения используются и для куда более простого вида физической активности, чем танец — для анализа походки.

Узнáю по походке: как изучение походки помогает врачам?

Походка может многое сказать о здоровье человека. Об этом знает Тимоти Нийлер из Университета штата Пенсильвания — он собирает самую большую в мире коллекцию человеческих походок при помощи технологии захвата движения. В свою лабораторию он приглашает походить под 12 высокоскоростными камерами людей в возрасте от 18 до 65 лет. Нийлер прикрепляет на тело участников исследования около 40 светоотражающих датчиков. Таким образом формируется база данных о походке, которую впоследствии используют врачи. Прежде всего, знания о нормальной походке дают основу для выявления практически любой ортопедической проблемы, которая встречается у взрослых людей. Например, если необходимо измерить эффективность замены тазобедренного или коленного сустава, врачи «записывают» походку пациента и сравнивают с усреднёнными параметрами походки из базы данных.

Как размещают на теле пациента датчики для анализа походки? Датчик правого бедра должен находится на 1/3 расстояния между правым датчиком передней верхней подвздошной кости и датчиком правого колена. Датчик правой голени должен находится на 1/3 расстояния между датчиком правого колена и датчиком правой лодыжки. На левой части тела расстановка другая: датчики левого бедра находится на 2/3 расстояния между левым датчиком передней верхней подвздошной кости и датчиком левого колена. Датчик левой голени ставится на 2/3 расстояния между датчиками левого колена и левой лодыжки. Источник: Motion Analysis

Непосредственно в медцентрах также уже используются системы анализа движения, к примеру, GaitTrack. С помощью этой технологии врачи вычисляют и обобщают основные биомеханические параметры при ходьбе или беге, на раннем этапе диагностируют болезни суставов, обнаруживают риск возможных травм. Схожим образом используют захват движения тренеры и спортсмены.

Быстрее, выше, виднее: как захват движения помог баскетболистам?

Захват движения широко используется в спорте. Анализ действий игроков позволяет выявить их ошибки или испытать самое разное снаряжение. Кит Пэммент — главный тренер баскетбольной команды, которая состоит из людей, передвигающихся на креслах-колясках. По совместительству он инженер и давно интересовался, как захват движения может улучшить результативность баскетбольных команд. В частности, система захвата движения Perception Neuron помогла подобрать наиболее эффективные кресла-коляски для баскетболистов с ограниченными возможностями. Облачённые в костюмы спортсмены выполняли спринт, маневрирование, дриблинг и игру один на один и при этом поочередно испытывали шесть разных типов кресел, пока тренер изучал в реальном времени движение их анимационных моделей с помощью 16 камер.

Анимационные «аватары» спортсменов были интегрированы с 3D-моделями кресел-каталок. Источник: Rockets Science CIC / YouTube

За один день изучения тренировки игроков Кит выработал технические критерии к спортивным креслам для своей команды в зависимости от навыков спортсмена, его сильных и слабых сторон, техники движения и игры. Сейчас тренер готовит целый курс для своих коллег, работающих с такими же спортсменами.

Таким образом, пока технологии захвата движения находят применение в «нишевых» сферах деятельности человека в силу своей относительной «молодости» и, как следствие, технической ограниченности. Но с развитием робототехники, машинного обучения, а также дополненной и виртуальной реальности их область применения расширится.

Что дальше: роботы-аватары, телепортация и виртуальная реальность

Роботы становятся всё более ловкими, быстрыми и умными, а значит, человек всё чаще будет отправлять их туда, куда сам идти не хочет. Однако сейчас среди интерфейсов для телеуправления машинами в основном используются джойстики или экзоскелеты. Такие средства не всегда эффективны — их основной минус в том, что так или иначе они мешают или осложняют движение самого человека, дистанционно управляющего роботом. Эту проблему могут решить технологии оптического захвата движения.

В 2018 году группа ученых из Великобритании и Италии сумели подчинить робота под названием Centauro действиям хрупкой девушки посредством захвата движения. Для этого они использовали недорогую систему распознавания движений ASUS Xtion PRO, содержащую инфракрасные датчики и функцию распознавания цветных изображений (RGB). Она отвечала за захват движения. Обрабатывал полученную информацию OpenPose — основанный на машинном обучении алгоритм, способный обнаруживать в режиме реального времени (8-10 Гц) движения тела человека с использованием 2D-изображений RGB-камеры. Трехмерные координаты суставов и конечностей человека, полученные из системы, после фильтрации передаются для управления роботом Centauro.

Отказ от экзоскелетов для захвата движения в будущем позволит с помощью 3D-моделирования проводить весьма сложные работы, требующие хорошие навыки тонкой моторики рук. Источник: Dimitrios Kanoulas / YouTube

Конечно, пока Centauro нельзя вооружить автоматом и передать в управление опытному морпеху, но в будущем создание таких систем возможно. Еще в 2012 году Управление перспективных исследовательских проектов Министерства обороны США (Defense Advanced Research Projects Agency, DARPA) анонсировало проект под неожиданным названием «Аватар», в рамках которого предполагалась «разработка интерфейсов и алгоритмов, позволяющих солдату эффективно сотрудничать с полуавтономной машиной на двух ногах (bi-pedal) в качестве “суррогата” солдата». Очевидно, что такая система позволит фактически наделить робота навыками опытного и хорошо подготовленного солдата, и при этом сохранить ему жизнь в самой сложной оперативной обстановке благодаря удаленному управлению. О ходе исследований затем не сообщалось.

В 2018 году фонд XPrize объявил конкурс на создание робота-аватара ANA Avatar XPrize, а затем были отобраны 77 команд, которые в конце 2020 года представят свои разработки роботов-аватаров. По условиям конкурса разработчики должны соединить решения в области захвата движения, сенситивным технологиям, AR и VR. Конечная цель, за достижение которой дадут 5 млн долл. США, — создание системы, в которой оператор будет видеть, слышать, двигаться и выполнять различные задачи в удаленной среде.

У аватара при этом должно быть три режима работы:

1. полностью управляемый режим: робот выполняет только команды человека;
2. усовершенствованный: самостоятельное решение некоторых задач, к примеру, анализ окружающей среды или составление карты;
3. полуавтономный: самостоятельное принятие решений.

Фактически речь идет о «телепортации» человека с созданием эффекта присутствия в точке управления роботом. В будущем эти технологии позволят удаленно управлять антропоморфными роботами в среде, неблагоприятной для человека: в кратере вулкана, в открытом космосе, в зонах стихийных бедствий или на войне. В 2020 году мы увидим первые разработки, а в 2021-м узнаем, кто станет лучшим и получит 5 млн долларов на дальнейшие исследования.