Приветики-пистолетики! Это Кирилл из Neuromed и сегодня я хотел бы затронуть вопрос деперсонализации. Да, этот тренд возможно уже уходящий, т к все кто хотел реализовать — уже имеют свой успех, но я понимаю- что использование локальных ИИ в качестве инструмента гибкой деперсонализации — это искусство не имеющее граней, поэтому как творческий человек, я решил объяснить на пальчиках для новичков все аспекты работы деперсонализатора, как удовлетворять законам и как получить качественный деперсонализатор в проде у каждого. Садимся, берем чай-кофе и поехали!
Начнем с азов
Что такое деперсонализация? — условно, это процесс анонимизации всего, что вы должны кому-то послать. Этот термин совсем не новый и такая технология использовалась повсеместно уже давно.
Как только вышли первые наработки законов о СМИ, персональных данных (а это 12ые годы) о процессах деперсонализации начали говорить и применять все. Это классно!
Но сейчас — это особенно актуально, ведь одно дело использовать информацию грамотно в сети интернет, когда публикуете посты и фоточки — там вроде все научились что такое хорошо, что такое плохо. А совсем другое — когда вы что-то подгружаете в модель, которая, например, живет не в совсем дружественной вам стране.
Конечно, важность полного контекста для выгрузки правильного результата моделью важна, но вот стоит ли вообще деперсонализировать информацию? Конечно же да! Одно дело, когда вы даете спецификацию для ИИ о своем случае, о своем окружении и тд не называя прямых путей и имен, и совсем другое, когда вы кормите ИИ фактами, которые для генерации ответа излишни — но раскрываете себя и всех.
Мы уже давно научились не грузить в ИИ исходники кода, прямые адреса и пароли — слава богу, даже ИИ теперь кричит на вас, когда видит какую-то критическую информацию, которую вы передаете. И гарантий никаких защищенности ИИ не дает. Никто не признается, копится ли информация из диалога с вами где-то и сколько она будет хранится — а это огромный риск. Но одно дело ваше использование — а теперь перейдем к использованию вашего решения для кого-то.
Допустим, у вас есть сервис с AI
Вы какой-нибудь мини-вендор, вы делаете свой софт и там есть AI. И как только вы начинаете читать последние изменения законов о персональных данных и работе ИИ — вы впадаете в ступор. Что? То что мы делали год уже незаконно и нельзя использовать?
Например, у вас есть Deep Seek анализ профилей ваших пользователей. Законы не говорят вам в прямую — Нельзя — они говорят — необходимо проходить поэтапную процедуру деперсонализации до момента отправки запроса и анализа зарубежными моделями! И это верно!
Вы не знаете, грамотные ли ваши пользователи и знают ли они все законы наизусть. Часть ваших пользователей может вообще впервые столкнуться с ИИ. А вина, если вдруг что-то утечет и станет оглазкой ляжет на вас. И тут месяц за месяцем снова вернулся в актуальность вопрос деперсонализации данных.
Причем этот вопрос усложнился. Если у вас до этого был свое приложение, которое могло деперсонализировать информацию с помощью обычных масок, функций и regex’ов. Ну например, в форме стоит «ИНН:123» значит после двоеточия убираем это.
То теперь — невозможно предугадать а как пользователь напишет, он же может ради прикола написать «Мой ИНН один два три». Итог — вы не поймали утечку данных в модель, а пользователь не виноват, вы с него подпись не взяли, что он обязуется не вбивать персональные данные, и не кинули ему обязательное обучение, где это подсветили. Итог то один — плохо вам. И вопрос «а как сделать гибкий деперсонализатор» — решился сам собой. А давайте сделаем через ИИ для ИИ.
Какие есть важные моменты
Самое главное, что важно учитывать — это вся эта история должна быть развернута локально.
То есть, вы должны взять локальную модель и обязательно ее положить на сертифицированный российский сервачок. Зашить ей все каналы связи и отдать лишь парочку необходимых для ее работы.
То есть, если мы примерно обрисуем как это должно работать — то получится что-то такое.
И вы мне сразу скажете, Кирилл … а это для всего что посылается необходимо? Нет, такая схема общения критична только для той информации, которая будет отправлена в модель. Причем деперсонализатор в этой схеме — это самое огромное поле для фантазий. Реализация его может происходить у каждого бизнеса по разному.
Чтобы не быть голословным, я далее представлю как и через что сделал ее я.
Деперсонализация на примере под капотом
Давайте разберем типичный случай. У нас есть система общения пользователя с ИИ, мы выстроили такую схему связей, но как же построить сам деперсонализатор.
Как и говорил — сервер в РФ сегменте у нас есть, поехали настраивать.
Для начала поймем какой инструмент будет выступать самим мозгом деперсонализации. Например, в моем случае достаточно использовать QWEN 2.5 7B — она локальная, спокойная и живет под нагрузкой хорошо. При правильной настройке (работа только на GPU) при пиковой нагрузке ест не более 14 ГБ видеопамяти. По процессору не знаю — но настоятельно не советую запускать такие штуки на CPU!
Далее поймем, ИИ это хороший инструмент, но ломается даже перфоратор от Макитты, так что предусмотрим несколько ступеней заранее.
Такая схема получилась в итоге, видим несколько ступеней, причем количество ступеней можно расширить, скажем, добавить другую локальную модель и развернуть ее.
Начнем с начала, у нас есть исходный текст, который надо обработать. Для начала пихнем его в регулярки. Зачем? А пользователь может задать простой вопрос, который вообще не содержит перс данных. Но если у вас решение такое, что там обязательно будет критическая информация — тогда идем без первого слоя.
В моем случае, такие простые запросы возможны — поэтому реализуем самописный модуль понимания результата и качетсва (Ха-ха и его тоже можно сделать на модели). Если результат устраивает — на выход, иначе идем в квен с первым промптом деперсонализации.
Да, данный промпт будет все как мы любим
Ты обезличиваешь русскоязычные тексты перед отправкой во внешнюю языковую модель.
УДАЛЯЙ полностью (вырезай, без замены на метки):
ФИО , родственников, людей, подписанта документа
телефоны, email
паспорт, СНИЛС, ИНН, номер полиса ОМС, идентификаторы, однозначно идентифицирующие человека
название конкретного места, где был или находился этот человек; домашний адрес пациента
реквизиты ЭЦП (сертификат, владелец подписи), если они идентифицируют человека
Ну тут думаю каждый сам способен реализовать что ему нужно. Получили результат от квена — проверяем хорошо ли получилось. Если да — поздравляю, но если нет — предусмотрите более легкий или более сложный (выберите сами) промпт, который даст модели понять что ей надо конкретнее. И прогоняем заново. Алгоритмы выхода и реализации, думаю самим можно придумать какие угодно.
Какие подводные камни реализации такой штуки?
Ой, их на столько много — что предусмотреть и подсказать вам я не смогу.
НО! я постараюсь. Для начала определитесь с моделью и внимательно читайте ее бенчмарки под нагрузкой. У каждой модели локальной — есть результаты тестов. Если их нет — вам придется самим придумать и посмотреть под нагрузкой.
Если вы выбрали модель как у меня — простую и гибкую — то продумайте машинку с 16ГБ видеопамяти. Я примерно так расчитал пиковую нагрузку в единицу времени.
Ну или же реализуйте свою систему очереди на обработку документов и текстов))) Тут уж вы художники.
Далее — правильно развертывайте модели! Предусмотрите заранее, модели весят в районе 4-7 ГБ (такого плана как квен на 7b параметров) поэтому если вы в пайплайне зашьете что каждый ребилд и деплой вы скачиваете заново — будет не весело.
Если вольюм модельки скачан — переиспользуйте его.
И еще момент — жестко настраивайте ИИ на использование только GPU
В .yaml вам поможет такая вставка
deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu]environment: - NVIDIA_VISIBLE_DEVICES=all - NVIDIA_DRIVER_CAPABILITIES=compute,utility
Ой точно, установите все драйвера на видеокарту! Обязательно предусмотрите установку ToolKit (у меня был nvidia toolkit). Они автоматом никогда не ставятся — все вручную.
Затем — развернули — проверьте сети! Правильная инфраструктура — залог успеха, у машинки с GPU обязательно должны быть свои выходы и входы передачи информации — остальные заблокированы и убиты. Туда попасть может только текст на обработку и выйти только текст! Никаких других связей! Заранее продумайте это в топологии вашей сети.
Вот мы запустили, развернули — тестим! Заранее — все эти инструменты слежки нагрузки на видеопамять обладают подводным камнем. Я об него споткнулся и думал что у меня ничего не работает — а результат как-то есть! У всех систем слежения есть свой шаг замера показателей. Я запустил деперсонализатор, кинул ему задачу — результат есть — а показатели загрузки GPU на нуле вообще. Сначала проверял долго куда он там смотрел? Может через CPU? А не, оказалось что я мониторил с шагом 10 секунд. Уменьшил шаг до минимального — 5 секунд и все равно не увидел. Поэтому — либо тестировать под постоянной загрузкой деперсонализатора и больших объемах данных. Либо заранее понять, что на 10 тестах в пик вы можете не заметить скачок.
Но благо у некоторых провайдеров существуют свои системы мониторинга и там с шагом обновления по лучше — может там получится поймать скачок.
Не ждите моментального результата. При запуске первом — «на холодную» ожидать ответа будете секунд 14, далее чем больше вопросов — тем быстрее ответ будет. Квен не понимает, что его весь функционал и возможности вы сделали и выбрали только одну. Поэтому он ждет все — а в результате адаптируется и будет спокойно работать. Мне понадобилось от 50 до 60 запросов, чтобы ожидание упало до 5 секунд.
Все! Ура! Получилось, далее уже редактируем все под себя. Можно подфайнтюнить модель, можно изменять промпты — да что угодно. Мы реализовали простейший деперсонализатор и все в рамках правил и хороших практик.
Выводы
Что ж, подытожим.
1) Читаем тех документацию и бенчмарки.
2) Заранее триггерим DevOps’ов на помощь и правильную инфраструктуру с машинкой
3) Реализуем правильные соединения и передачу информации
4) Запускаем и тестируем различные случае — и только потом уже может использовать в проде.
! Но, не думайте, что квен умеет все, сможет все и будет делать идеально всегда. Все модели галлюцинируют и ошибки встречаться будут — предусмотрите элементы контроля и проникновения. Заранее продумайте с командами ИБ все вопросы безопасности и правил обработки. Почитайте актуальные законы и поймите, какие риски ложаться на вас и как их предотвратить.
Ну а на этом все, всем удачных разверток! Любви, улыбок, счастья! Подписывайтесь, ставьте лайки, оставляйте комментарии. Нашли ошибку — отпишите мне или в комментарии, всем помогу и все исправлю! Удачи!
ссылка на оригинал статьи https://habr.com/ru/articles/1050594/