Компания Anthropic оперативно удалила трекер, тайно отслеживавший пользователей Claude Code в Китае, после того, как исследователь безопасности раскрыл его и осудил «шпионское отслеживание» со стороны компании.
На прошлой неделе веб-разработчик, известный как «Thereallo», исследовал проблемы конфиденциальности в Claude Code и с удивлением обнаружил, что компания, занимающаяся искусственным интеллектом, использовала «подсказочную стеганографию» для сокрытия кода, отслеживающего китайских пользователей. Этот код не был вредоносным, но он отправлял в Anthropic информацию, которую большинство пользователей не смогли бы обнаружить, используя сокращённые маркеры для незаметного отслеживания часового пояса, прокси-сервера и потенциальной связи с китайскими лабораториями ИИ.
На X инженер Anthropic Тарик Шихипар подтвердил, что трекер был добавлен в Claude Code в качестве «эксперимента» в марте. По словам Шихипара, код «предназначался для предотвращения злоупотребления учётными записями со стороны неавторизованных реселлеров и защиты от дистилляции». Что касается первого пункта, The Washington Post обнаружила, что неавторизованные продавцы продавали доступ к бесплатным моделям за $1 в месяц, а профессиональные подписки, которые могут стоить $100, были доступны «всего за $12».
По словам Шихипара, Anthropic «на самом деле собиралась удалить трекер уже давно», поскольку инженеры «с тех пор разработали более эффективные меры защиты».
Однако защитники конфиденциальности были недовольны этим объяснением, предупреждая, что код свидетельствует о готовности Anthropic переступать черту, чтобы следить за пользователями. Это особенно удивительно, учитывая, что компания отказалась разрешить правительству США использовать Claude для слежки за американскими пользователями.
В WP предположили, что инцидент является признаком того, что американские фирмы, такие как Anthropic, принимают «всё более агрессивные меры», чтобы помешать китайским компаниям, занимающимся ИИ, копировать их модели. За последний год местные лаборатории «постоянно мерялись» с возможностями моделей американских конкурентов. Совсем недавно новая бесплатная модель ИИ от китайской компании Zhipu AI оказалась лучше в обнаружении компьютерных уязвимостей, чем модель Claude Opus 4.8 от Anthropic, выпущенная в мае, уточняет издание.
Чтобы закрепить за США 12- или, возможно, даже 24-месячное преимущество в развитии ИИ, Anthropic заявила, что страна должна усилить меры вмешательства, используя ряд возможных санкций для борьбы с атаками дистилляции, включая блокировку доступа к передовым моделям, чипам и центрам обработки данных.
Хотя дистилляция не является незаконной, многократное использование моделей, подобных Claude нарушает пользовательские условия Anthropic.
В итоге компания присоединилась к OpenAI, призывая США рассматривать атаки с использованием дистилляции как форму кражи интеллектуальной собственности. На недавних слушаниях в Сенате сенатор Тим Скотт (республиканец от Южной Каролины) согласился с необходимостью юридического вмешательства.
В феврале китайские исследователи из Пекинского университета и финансируемой государством Китайской академии наук «разработали методы обнаружения признаков дистилляции в ведущих больших языковых моделях» и обнаружили, что большинство местных моделей «продемонстрировали существенные признаки дистилляции». Одна из моделей Qwen AI от Alibaba, которую Anthropic впоследствии назвала усовершенствованной после крупнейшей в истории атаки на Claude в июне, «неоднократно имитировала» конкурента. Иногда она даже ошибалась и идентифицировала себя как Claude. Тогда же Anthropic обвинила три китайские компании в создании более 24 тысяч фейковых аккаунтов с использованием Claude для улучшения собственных моделей.
На прошлой неделе Alibaba запретила своим сотрудникам использовать Claude Code на работе. Компания сообщила сотрудникам, что запрет стал прямой реакцией на тревожные новости о трекере, который Anthropic использует для слежки за китайскими пользователями.
Для Anthropic продолжение атак может нанести ущерб бизнесу компании. Некоторые китайские модели с открытым исходным кодом более популярны, чем их американские аналоги. В США же блокировка китайских моделей лишит юзеров возможности воспользоваться более дешёвыми альтернативами.
Как отметил разработчик, сообщивший о скрытом трекере, «странно», что Anthropic предпочла действовать скрытно, хотя компания могла бы прозрачно уведомить пользователей о нарушении правил отслеживания.
«Это не вредоносная функция, но это странный выбор для инструмента разработчика, который требует доверия», — говорится в блоге Thereallo. Там же отмечается, что «если клиент хочет обнаруживать пользовательские API-шлюзы, он может прямо указать на это, он может отправить явное поле телеметрии с документацией, сделать политику видимой, указать поведение в примечаниях к выпуску».
Исследователь подчеркнул, что «агенты кодирования уже находятся по ту сторону опасной границы, так как могут проверять код, случайно суммировать секреты, запускать команды, устанавливать пакеты, редактировать файлы и отправлять коммиты на локальный компьютер».
Хотя большинство пользователей, вероятно, не пострадали от отслеживания, автор предупредил, что «правильной реакцией» станет более тщательная проверка потенциальной возможности слежки.
«Скрытие сигнала в системном окне ввода делает все остальные заявления о нарушении конфиденциальности менее убедительными», — сказал он.
Представитель компании в ответ сообщил, что атаки китайских лабораторий, использующих метод дистилляции, «представляют серьёзную угрозу национальной безопасности и подрывают стандарты безопасности ИИ в отрасли».
ссылка на оригинал статьи https://habr.com/ru/articles/1056788/