Вампирское зрение: как работает бесконтактное измерение пульса по видео

В фильмах и играх про вампиров часто показывают как вампир видит жертву: обычно это визуальный акцент на пульсирующей артерии, или вовсе пульсирующий клубок сосудов. Интересно, что подобное можно делать с помощью современных технологий. Как говорил Артур Кларк: «Любая достаточно развитая технология неотличима от магии». Об одной из таких технологий мы и расскажем в этой статье.

В нашей компании разработали новый метод измерения пульса по видеозаписи, устойчивый к искажениям. Он не требует дорогого оборудования и может использоваться в реальных условиях, не ограничивая свободу действий человека.

Дистанционная фотоплетизмография (ДФПГ, rPPG) — это метод измерения пульса по видеозаписи. Он потенциально применим в телемедицине, а также для оценки эмоционального состояния людей, например водителей и пилотов, но пока не получил широкого распространения из-за чувствительности к различным искажениям. 

Метод базируется на регистрации едва заметных изменений цвета кожи при увеличении объёма кровеносных сосудов после каждого сокращения (систолы) левого желудочка сердца. 

Существующие системы ДФПГ достаточно надёжны только в идеальных условиях. Если же человек использует макияж, частично закрывает лицо, движется, или в кадре меняется освещённость, то частота его сердечных сокращений определяется неверно. 

В отделе перспективных исследований компании «Криптонит» предложили использовать для ДФПГ новый метод, который устраняет эти недостатки за счёт более эффективного подхода к регистрации и анализу видеосигнала. Вместо привычного цветового пространства RGB используется CIELAB, поскольку в нём светимость выделена в отдельный канал. Это позволило отсечь артефакты, связанные с изменениями освещения в кадре. 

Для записи видео в эксперименте использовалась недорогая веб-камера Logitech 720p, из которой был удалён инфракрасный (ИК) фильтр. Это было сделано для того, чтобы исключить влияние макияжа на измерения, так как длинноволновое излучение лучше проникает через него. 

Вся суть — в обработке

Алгоритм отслеживания лица был реализован с помощью нейронной сети MediaPipe. Он не только фиксирует положение лица субъекта, но и размечает на нём свыше 400 локальных зон. Из них выбираются наименее искажаемые участки лица, которые с наибольшей вероятностью обращены к камере и ничем не закрыты. С них и считывается сигнал. Поэтому наличие очков или бороды практически не влияло на точность измерений пульса. При этом определение пикселей, принадлежащих выбранным зонам, является самым трудоёмким шагом всего алгоритма, занимающим примерно половину времени его работы. 

Сигналы от выбранных зон усредняются и обрабатываются быстрым преобразованием Фурье для получения спектрограммы, которая затем нормируется на диапазон от 0 до 1. 

Поскольку гармоники, соответствующие биению сердца, имеют достаточно высокую амплитуду по сравнению с остальными, алгоритм удаляет большую часть шумов на спектрограмме путём отбрасывания всех низких значений (меньше 0,1). 

Из полученной спектрограммы выделяются гармоники, соответствующие частоте сердечных сокращений (ЧСС). Просто выбрать максимум в заданном временном интервале — нерабочий вариант, поскольку в некоторых случаях движение объекта может вызвать кратковременные пики в спектре, которые могут быть неверно интерпретированы. 

Поэтому разработчики написали итерационный алгоритм на основе функции обратного распространения градиентов, который выделяет на спектрограмме те гармоники, которые соответствуют частоте пульса. Он накладывает на спектрограмму ломаную линию, которая и рассматривается как кривая частоты сердечных сокращений. 

Эксперимент

Контрольные измерения частоты сердечных сокращений проводились с помощью кардиомонитора на базе Arduino с использованием отражательной фотоплетизмографии. Данный прибор был собран специалистами Криптонита и проверен с помощью фабричного пульсоксиметра с функцией записи графика пульса.

Точность измерений была проверена в эксперименте, в котором приняли участие 19 добровольцев: 8 мужчин и 11 женщин в возрасте от 20 до 50 лет. Измерение пульса выполнялась по видеозаписям длиной около пяти минут. 

Алгоритм определял пульс в диапазоне от 50 до 150 ударов в минуту — это типовые показатели для здорового человека. Кроме того, такой диапазон позволяет отсечь многие артефакты движения, которые были пропущены приемами фильтрования, описанными выше. 

Эксперимент показал, что, за исключением краевых артефактов (начало и конец записи) итоговая кривая хорошо повторяет контрольную кривую сердечных сокращений, параллельно регистрируемую кардиомонитором. 

В эксперименте система достигла показателя среднего абсолютного отклонения от эталона (САО) менее 2 ударов в минуту (1,95 уд./мин.). Другие системы ДФПГ в аналогичных условиях демонстрируют САО на уровне 5,45 уд./мин. и выше. Проще говоря, новый метод значительно точнее ближайших аналогов. При этом он не требует дорогостоящего оборудования.

Перспективы

В настоящий момент, предложенный метод ДФПГ работает только с уже завершёнными видеозаписями, но в перспективе оптимизация расчётов и использование более мощных процессоров позволит применять его и в режиме реального времени. 

Более надёжная и дешёвая ДФПГ может использоваться в системах дистанционного контроля физического и эмоционального состояния космонавтов, капитанов дальнего плавания, машинистов, водителей, участников арктических экспедиций, работников буровых платформ и других людей, работающих в условиях изоляции. Кроме того, метод можно будет применять для скрининга в аэропортах, вокзалах, школах и других общественных местах.