Исследование: ИИ-ассистенты прослушивают разговоры и способны раскрыть секреты компании

Инженер и исследователь Алекс Билзерян поделился на X, что платформа для расшифровки видеоконференций Otter AI случайно раскрыла конфиденциальный разговор.

Когда Билзерян получил электронное письмо с расшифровкой созвона с венчурной фирмой, он понял, что умный помощник продолжал записывать разговор даже после того, как он вышел из системы. Итоговая расшифровка включала личные разговоры инвесторов из венчурной компании, где они обсуждали конфиденциальные детали бизнеса, в том числе неудачи. В итоге им пришлось извиняться, а Билзерян отменил сделку.

Компания Otter AI в ответ заявила, что стремится сохранить конфиденциальность и безопасность информации. «Пользователи имеют полный контроль над разрешениями на обмен сообщениями и могут изменять, обновлять или отменять разрешения на обмен сообщениями в любое время. В этом конкретном случае пользователи имеют возможность не делиться автоматически расшифровками ни с кем или автоматически делиться разговорами только с пользователями, которые используют тот же домен Workspace», — отметили в компании.

Как отмечается, ИИ-помощник OtterPilot захватывает только звук во время звонка, поэтому он ничего не будет вести запись, если микрофон участника выключен. Кроме того, участники звонка получают уведомление о том, что совещание записывается, а виртуальный помощник отображается как его участник.

Бизнесмен Роб Бездижан из Солт-Лейк-Сити рассказал, что однажды он упустил выгодную сделку, поскольку отказал потенциальным инвесторам в записи встречи на Otter. Он опасался записывать свои бизнес-идеи и в результате упустил некоторые детали.

«Я думаю, это большая проблема, поскольку технология распространяется быстро, а люди еще не осознали, насколько она инвазивна», — заявила изданию исследователь и защитник конфиденциальности Наоми Броквелл. По её словам, ИИ увеличивает риск утечки корпоративных секретов и может привести к судебным искам.

Консультант по кибербезопасности Уилл Андре также предостерёг от повсеместного использования инструментов ИИ в компаниях. Он рассказал, что на своей прежней должности в отделе маркетинга наткнулся на запись на общедоступных серверах компании, содержащую кадры обсуждения увольнений его начальниками.

Между тем компании повсеместно внедряют функции искусственного интеллекта в рабочие продукты. Salesforce анонсировала ИИ-сервис Agentforce, который позволяет клиентам создавать виртуальных агентов для помощи в продажах и обслуживании. А Slack добавила функции искусственного интеллекта, которые могут подводить итоги разговоров, искать темы и создавать ежедневные обзоры. Исследователи уже выявили уязвимость, с помощью которой можно получить доступ к данным пользователя в закрытом канале Slack, манипулируя языковой моделью для генерации контента. Администраторам посоветовали ограничить новую функциональность Slack AI.