Локальная нейросеть по требованию и обезличивание
Своя нейросеть на GPU-сервере по требованию прячет персональные данные за метками. Тот же подход ставим клиентам.
Как это работает
-
Письмо с данными
Анна Соколова из ООО «Ромашка»
тел. +7 900 000-00-00
-
Метки вместо данных
Правила и модель
- Правила спрятали телефон
- Модель спрятала имя и компанию
- Проверка на выходе пройдена
-
Внешняя модель видит метки
Запрос наружу
⟦PERSON_1⟧ из ⟦ORG_1⟧
тел. ⟦PHONE_1⟧
-
Имена вернулись на место Падежи согласовала модель
было: данные во внешней модели стало: только метки
Кейс в цифрах
- 99,5 %значений спрятано ещё до модели
- 0 утечекна 30 тестах обезличивания
- 10 из 10сквозных проверок
Как проверяли
Стенд из 13 выдуманных документов: письмо, реквизиты, договор в docx, счёт в pdf, таблицы xlsx на 40 и 5 000 строк, выгрузка csv на 2 000 строк, отчёт около 256 тыс. знаков и письмо с тремя вложениями. Правила до модели спрятали 47 175 значений из 47 431, это 99,5 %. Плюс 30 тестов обезличивания и 10 сквозных прогонов: подставляли известные данные и искали их в исходящих запросах и логах. Итог: 0 утечек и 10 из 10. Тесты на утечки живут в общем наборе автотестов.
Технически
Ситуация
Клиники, юрфирмы и аутсорс держат данные людей у себя. Наши сервисы упёрлись в тот же вопрос: сильные модели работают снаружи. Свой сервер круглые сутки стоил бы дороже задачи.
Где стоит модель
Три варианта размещения
- данные остаются в вашей сетиНа вашем сервере
- платите за часы работыВ облаке по требованию
- наружу только меткиГибрид с обезличиванием
Сами мы работаем на облаке по требованию в гибридном режиме.
Как устроен сервер
- ≈2 минзапуск с сохранённого диска, с нуля 3 мин 43 с
- 32–34токена в секунду выдаёт прогретая модель
- 5 минутпростоя, и сервер выключается
С 8 сентября 2026 года у нас в проде работает открытая модель на 27 млрд параметров: арендованный GPU-сервер в облаке, одна видеокарта 24 ГБ. С 14 сентября через неё идёт закрытый режим двух наших ИИ-сервисов: бота техподдержки в Telegram и почтового помощника.
Пришёл запрос, и сервер поднимается; 5 минут без работы, и он гаснет. Запуск с нуля занимает 3 мин 43 с. Платим за часы работы, простой не оплачиваем.
Предохранители: лимит часов в сутки, автовыключение по простою, алерты в Telegram. Резервная цепочка из нескольких типов видеокарт: занята одна, берём следующую. Машину с узким каналом или без видимой карты система меняет сама.
Вариант размещения и требования к серверу называем после бесплатного аудита кейса: облако по требованию подходит небольшому потоку, свой сервер выгоднее при постоянной нагрузке. Для вашего юриста готовим описание потока данных, тест на утечку входит в приёмку. NDA подписываем до передачи данных.
Как работает обезличивание
Пришло в письме
Анна Соколова из ООО «Ромашка» просит счёт на 148 500 ₽ за коммутатор SW-410, телефон +7 900 000-00-00
Ушло во внешнюю модель
⟦PERSON_1⟧ из ⟦ORG_1⟧ просит счёт на ⟦SUM_1⟧ за коммутатор SW-410, телефон ⟦PHONE_1⟧
Модель прибора осталась в тексте, по ней внешняя модель и отвечает. Данные вымышлены.
Как устроено обезличивание
Правила и локальная модель меняют имена, контакты и реквизиты на метки. Внешняя модель видит только метки, ответ разворачивается обратно у нас.
Правила до модели находят телефоны, почты, ИНН, счета и суммы. Локальная модель дочищает имена, компании и адреса в свободном тексте и ставит на их место метки вида ⟦PERSON_1⟧. Модели приборов и технические термины остаются: без них внешняя модель не поймёт вопрос. Вложения docx, xlsx, pdf и csv проходят тот же путь.
Дальше внешняя модель и веб-поиск работают с метками. Ответ возвращается к нам, метки разворачиваются обратно, локальная модель согласует падежи.
Если что-то сломалось
Не удалось обезличить или модель не поднялась: запрос не уходит, пользователь получает отказ. Необезличенный текст наружу мы не отправляем. Каждый внешний вызов проходит проверку на выходе. Если локальная модель не справилась с падежами, метки подставляются по таблице соответствия, без модели.
Переносим в ваш проект
- Правила до модели
- Проверка на каждом вызове
- Тест на утечку в приёмке