Два студента собрали деанонилку на основе умных очков

Студенты Гарвардского университета Анфу Нгуен и Кейн Ардайфио задействовали видеопоток с умных очков Meta¹ Ray-Ban 2 для автоматического поиска информации о незнакомцах. Приложение I-XRAY по фотографии лица собирает информацию с сайтов брокеров данных, обрабатывает их большой языковой моделью и пересылает полученное на смартфон.

Техническая продвинутость устройств дополненной и смешанной реальности разбивается о нежелание обычных людей носить на голове громоздкий аксессуар. Такую критику в средствах массовой информации неоднократно высказывали по поводу любых очков и шлемов для ношения на публике. Говорили так и про Google Glass, и про Magic Leap, и про Apple Vision Pro.

Ничего нового в данном явлении нет. Нелегко убедить людей носить на голове необычную аппаратуру на виду у остального общества. Отчасти именно на нормализацию и создание так называемого эффекта Walkman были направлены ранние рекламные кампании портативных музыкальных плееров Sony.

На пути создания собственной гарнитуры компания Meta¹ обратилась к модному бренду. Осенью 2021 года Meta¹ объявила о создании очков Ray-Ban Stories. Устройство умеет фотографировать, вести запись видео и заменять аудиогарнитуру для звонков, прослушивания музыки и общения с умным ассистентом Meta¹ AI, при этом выглядит как обычные очки. Функций дополненной реальности (выведения чего-либо в обзор пользователя) в первых поколениях очков не было.

Обзорщики отмечали, что относительно других умных очков это устройство удобно и не стыдно носить, хотя и критиковали низкое разрешение съёмки. Очки обновляли. Осенью прошлого года Meta¹ объявила о новом поколении, в котором улучшили технические характеристики.

Первые настоящие очки дополненной реальности Meta¹ представила лишь в этом году. 25 сентября компания показала, как с помощью, со слов Meta¹, голографических дисплеев пользователь может манипулировать двух- и трёхмерным контентом в реальном мире. До продажи Orion пока далеко, хотя прототип активно тестируют. Среди тех, кому выдали очки, были не только некоторые сотрудники Meta¹, но и люди вне компании.

Палмер Лаки, основатель и бывший сотрудник Oculus, основатель компании автономного оружия Anduril Industries, разместил в микроблоге эту фотографию, чтобы похвастаться возможностью примерить Orion. @PalmerLuckey

Впрочем, даже без продвинутых функций дополненной реальности носимые очки со скрытыми камерами могут быть настоящим кошмаром для личной жизни. Продемонстрировали это два студента Гарвардского университета Анфу Нгуен и Кейн Ардайфио.

Необходимо отметить, что поиск людей алгоритмами обнаружения лиц — не новое явление. В России был популярен сервис FindFace, который принёс известность компании NTechLab; среди зарубежных сервисов можно выделить PimEyes и FaceCheck.id. Однако в изобретении I-XRAY автоматизация на основе больших языковых моделей сделала поиск личных данных особенно удобной.

В процессе ношения алгоритм обнаруживает лица. Затем на смартфоне пользователя в приложении будут выведены личные данные. Найдено может быть что угодно из следующих деталей: имя, работа, место учёбы, детали биографии, статьи и публикации, родственники, адрес проживания и телефонный номер.

В видеоролике в качестве демонстрации Нгуен идентифицирует двух случайных людей на станции бостонского метро, а затем методами социальной инженерии представляется как их знакомый. Заметно, что ему особенно интересна реакция людей.

Авторы I-XRAY вырезали в аудиопотоке видеоролика имя женщины. Однако журналисты издания 404 Media поискали её по лицу и без проблем нашли её, что подтверждает простоту и воспроизводимость задействованных алгоритмов.

Для I-XRAY взяли очки Meta¹ Ray-Ban 2, но очевидно, что подойдёт абсолютно любой фотоаппарат или «глазок» современного смартфона. Нгуен говорит, что выбор на это устройство пал из-за пугающего эффекта демонстрации: умные очки со скрытыми в корпусе камерами не отличить от обычных.

Объединённая в приложение связка программных компонентов работает далеко не в реальном времени. В демонстрации для 404 Media на сбор информации про одного человека ушло две минуты.

• Очки, видимо, не джейлбрейкнуты и никак не модифицированы. Идёт стриминг видео в Instagram³. На удалённом от пользователя компьютере запущен мониторинг видеопотока с обнаружением лиц. Собственно сопоставление лиц и имён идёт через сервис PimEyes и FaceCheck.id. Новых алгоритмов обнаружения лиц студенты не написали.

  Кстати, в демонстрации для 404 Media на репортёре I-XRAY не сработал, поскольку он до этого запросил блокировку его лица в сервисе PimEyes. Из-за этого Нгуен показывал на Ардайфио.

• На основе имени приложение подтягивает фотографии и данные. Делается это не вручную — данные обрабатывает большая языковая модель. Именно в БЯМ заключается автоматизация сервиса.

  Для работы проекту нужен доступ к базам брокеров данных. В качестве примеров таких брокеров данных авторы I-XRAY перечислили FastPeopleSearch, CheckThem, Instant Checkmate и другие из списка New York Times.

  Если FastPeopleSearch возвращает точный телефонный номер, то из сервиса Cloaked.com получится подтянуть номер социального страхования — идентифицирующую девятизначную последовательность цифр, играющую огромную роль в финансовой жизни каждого американца.

• Эти данные уходят на смартфон пользователя I-XRAY. На экране он может видеть, где незнакомец работает, где учился, где живёт и как с ним связаться.

  Как рассказывает Ардайфио, в некоторых случаях доходило до демонстрации фотографий из глубокого детства. При этом люди не подозревали не только о присутствии в Интернете этих снимков, но даже о самом их существовании.

Сайт PimEyes в ответ на запрос 404 Media заявил, что поиском людей сервис не занимается — только перечислением сайтов, где публикуются схожие изображения. Как отмечает издание 404 Media, в этом заявлении игнорируется очевидный факт, что этим перечислением легко идентифицировать человека по фото.

Нгуен утверждает, что I-XRAY был написан из интереса и желания проинформировать людей о возможностях технологий. Исходный код опубликован не будет. Авторы проекта представили лишь двухстраничный документ с описанием приложения и рекомендациями, как затребовать у сервисов брокеров данных удалить или заблокировать записи о себе.

Компания Meta (1) — запрещённая экстремистская организация. Запрещена также деятельность по реализации продуктов компании — сайтов социальных сетей Facebook (2) и Instagram (3).