Полиция в США начала использовать ИИ-изображения детей для поиска преступников

Американские полицейские используют ИИ для создания изображений несуществующих детей, которые помогают им ловить в сети растлителей несовершеннолетних. Об этом свидетельствует иск, поданный штатом Нью-Мексико против Snapchat на этой неделе.

Согласно жалобе, министерство юстиции Нью-Мексико в последние месяцы начало тайное расследование, чтобы доказать, что Snapchat «является основной платформой социальных сетей для распространения материалов о сексуальном насилии над детьми (CSAM)» и секс-шантажа несовершеннолетних, поскольку его «алгоритм предоставляет детям взрослых растлителей».

В рамках расследования полицейский «создал поддельный аккаунт для 14-летней девочки, Sexy14Heather». Несмотря на то, что он не добавлял подписчиков, «Heather» вскоре широко рекомендовали «опасным аккаунтам, включая те, которые назывались «child.rape» и «pedo_lover10».

А после того, как «Heather» приняла запрос на подписку всего от одного аккаунта, рекомендации стали ещё хуже. «Snapchat предложил более 91 пользователя, включая многочисленных взрослых, чьи аккаунты включали или пытались обмениваться откровенным сексуальным контентом», — утверждается в жалобе штата.

Выдавая себя за «Sexy14Heather», следователь обменивался сообщениями со взрослыми аккаунтами, включая пользователей, которые «отправляли неподобающие и откровенные фотографии». В одном из разговоров с пользователем под именем «50+ SNGL DAD 4 YNGR» фейковый подросток «отметила свой возраст, отправила фотографию и пожаловалась на то, что родители заставляют её ходить в школу». Это побудило пользователя отправить «свою собственную фотографию», а также чаты сексуального характера. Другие аккаунты просили «девочку» «торговать предположительно откровенным контентом», а несколько «пытались принудить несовершеннолетнюю личность поделиться CSAM». Полицейский также протестировал поисковый инструмент Snapchat, обнаружив, что «хотя аккаунт не использовал сексуально откровенных выражений, алгоритм, должно быть, определил, что он искал CSAM», когда выполнялся поиск других пользователей-подростков. Алгоритм «начал рекомендовать пользователей, связанных с торговлей» CSAM, включая аккаунты с такими именами, как «naughtypics», «addfortrading», «teentr3de», «gayhorny13yox» и «teentradevirgin».

Ранее полиция Альбукерке предъявила обвинение мужчине по обвинению в изнасиловании 11-летней девочки, с которой он познакомился через функцию быстрого добавления Snapchat в 2022 году. Кроме того, другой мужчина из Альбукерке был арестован и осуждён этим летом за «изнасилование 12-летней девочки, с которой он познакомился и с которой общался через Snapchat».

В прошлом полиция выдавала себя за детей в Интернете, чтобы поймать насильников, используя фотографии молодых взрослых женщин или даже фотографии молодых полицейских. Использование изображений, созданных ИИ, можно считать более этичным способом проведения таких операций, отмечает адвокат Кэрри Голдберг.

Но даже использование ИИ может усложнить расследования и повлечь за собой этические проблемы, предупредила она, поскольку эксперты по безопасности детей и правоохранительные органы находят в Интернете всё больше CSAM-материалов, созданных с помощью ИИ.

«Что касается использования ИИ для провокации, обвиняемые могут защищать себя, заверяя, что правительство склонило их к совершению преступления, к которому они изначально не были предрасположены», — считает Голдберг. 

Эксперты предупреждают, что генераторы изображений на основе ИИ никогда не следует обучать на наборах данных, которые объединяют изображения реальных детей с откровенным контентом, чтобы избежать распространения CSAM-материалов.

В жалобе Нью-Мексико содержится только одно изображение, созданное с помощью ИИ, поэтому неясно, насколько широко полиция использует технологию.

Голдберг говорит, что «в правоохранительных органах должны быть стандарты того, как ответственно использовать ИИ». 

Генеральный прокурор Нью-Мексико Рауль Торрес отметил, что иск штата по Snapchat был подан «для защиты детей от секс-шантажа, сексуальной эксплуатации и вреда».

Утверждая, что Snapchat намеренно игнорирует проблемы, рекламируя свою платформу как безопасную, штат утверждает, что Snap нарушила Закон о недобросовестной практике, а соцсеть должна быть запрещена. 

Голдберг отмечает, что случай штата выделяется, потому что только такой субъект может предъявлять широкие иски от имени общественности.

Расследование министерства юстиции Нью-Мексико показало, что Snapchat был «несомненно» крупнейшим источником незаконных фотографий и видео для рынков даркнета. Следователи штата «выявили обширную сеть сайтов даркнета, предназначенных для обмена украденными сексуальными изображениями из Snap, — обнаружив более 10 000 записей, связанных со Snap и CSAM, только за последний год, включая информацию о несовершеннолетних младше 13 лет, подвергшихся сексуальному насилию», — говорится в пресс-релизе.

Голдберг сказала, что иск стал «последним в небольшой серии дел против Snap, которые касаются функции быстрого добавления для подбора незнакомцев и обмена с ними личными сообщениями». Сосредоточившись на особенностях дизайна Snapchat, включая функцию быстрого добавления и исчезающие сообщения, а также Snap Maps и других функциях, министерство юстиции Нью-Мексико заявило, что «дизайн и алгоритмические рекомендации Snapchat открыто поощряют и продвигают незаконные сексуальные материалы с участием детей и способствуют секс-шантажу и торговле детьми, наркотиками и оружием».

Торрес предвосхитил исход разбирательства со Snapchat, предупредив, что «все платформы социальных сетей, которые наносят вред своим пользователям, должны быть настороже».

Если Snap проиграет дело, ей могут грозить крупные штрафы. Нью-Мексико также добивается блокировки Snap всех практик, предположительно, наносящих вред детям, в том числе прекращения рекламы Snapchat как «более приватного» и исчезающих сообщений. 

В Snap ответили, что рассматривают жалобу Нью-Мексико «и ответят на эти претензии в суде»: «Мы разделяем обеспокоенность генерального прокурора Торреса и общественности по поводу безопасности молодёжи в Интернете и глубоко привержены тому, чтобы Snapchat был безопасным и позитивным местом для всего нашего сообщества, особенно для наших молодых пользователей».

Компания заверила, что «усердно работает над тем, чтобы находить, удалять и сообщать о недобросовестных пользователях, предоставлять подросткам, а также родителям и опекунам инструменты, которые помогут им быть в безопасности в Интернете». Кроме того, она продолжит «сотрудничать с правоохранительными органами, экспертами по безопасности в Интернете, коллегами из отрасли, родителями, подростками, педагогами и политиками».

Голдберг считает, что «нужно судить об этих компаниях не только по их продуктам и рискам, но и по тому, как они справляются с трагедиями, которые происходят на их платформах. А Snap — один из худших в плане перекладывания всей вины на маленьких детей и их родителей, даже когда вред — это специфические проблемы, уникальные для его технологий и функций. Они воображают себя передовыми, с быстрыми соединениями и технологиями, но в суде они всегда пытаются наказать адвокатов и скорбящие семьи, призвав их к ответу».