OpenAI выпустила Privacy Filter — открытую модель на 1,5 млрд параметров, которая находит и маскирует персональные данные в тексте до того, как он уйдет в большую языковую модель. Модель опубликована под лицензией Apache 2.0 на Hugging Face и GitHub — ее можно встроить в коммерческий продукт без роялти.
Ирония момента в том, что OpenAI одновременно отбивается в судах от претензий за использование чужих данных в обучении: от иска The New York Times до временного запрета ChatGPT в Италии в 2023 году после жалоб регулятора. Теперь компания выдает разработчикам инструмент, который позволяет сократить утечку личной информации в LLM. OpenAI утверждает, что использует дообученную версию Privacy Filter в собственной работе с персональными данными.
Работает Privacy Filter не как ChatGPT. Обычная языковая модель пишет ответ по одному слову за раз, Privacy Filter не пишет вообще — он за один проход размечает весь текст, для каждого слова решая, относится ли оно к одной из восьми категорий: имена, адреса, email, телефоны, URL, даты, номера счетов и секреты вроде API-ключей. Отдельный алгоритм склеивает подряд идущие метки, чтобы «Иван Сергеевич Петров» распознался как единое имя, а не три отдельных слова. На выходе — список размеченных фрагментов; разработчик сам решает, стереть их, заменить на заглушку или записать в обратимый токен, чтобы после ответа LLM восстановить исходные данные.
Сам подход — разметка, а не генерация — существовал и до эры LLM, но новизна в том, что классификатор построен на современной архитектуре и понимает контекст: может отличить «123 Main Street» как домашний адрес от того же адреса публичного магазина. Архитектурно модель построена на базе gpt-oss в уменьшенном виде, с контекстным окном 128 тысяч токенов — хватает на длинный документ или многостраничную переписку. Размер (1,5 млрд параметров) позволяет запускать ее на обычном ноутбуке и даже в браузере через transformers.js и WebGPU, так что текст не покидает устройство.
На бенчмарке PII-Masking-300k Privacy Filter показывает F1-метрику 96% (precision 94,04%, recall 98,04%). На исправленной версии того же бенчмарка, где OpenAI устранила ошибки разметки, результат — 97,43%. Отдельно компания сообщает, что дообучение на небольшом специализированном датасете поднимает точность с 54% до 96% — это важно для задач в узких доменах, где стандартные категории не подходят.
Сама OpenAI подчеркивает, что Privacy Filter — не сертификат о соответствии требованиям и не полноценная анонимизация, а один из слоев в подходе privacy-by-design. Модель может пропускать редкие идентификаторы и иногда чрезмерно или недостаточно маскировать короткий текст с малым контекстом. Качество неравномерно между разными языками. В чувствительных доменах — медицине, юриспруденции, финансах — компания рекомендует сочетать Privacy Filter с человеческим контролем и доменной адаптацией.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть«, где я рассказываю про ИИ с творческой стороны.
ссылка на оригинал статьи https://habr.com/ru/articles/1027074/