Как происходит PII leakage через LLM и как защититься?

Краткий тезис

PII leakage (утечка персональных данных) через LLM — это когда модель выдает приватную информацию, которая присутствовала в её обучающих данных или была передана в контекст. Утечка возникает из-за memorization (запоминания) редких фрагментов данных, а также в сценариях RAG и Agentic RAG при обработке конфиденциальных документов. Защита строится на нескольких уровнях: фильтрация PII на этапе сбора данных, применение differential privacy при обучении, RLHF для отказа от ответа на приватные запросы, и post-processing фильтры на инференсе.

1. Что такое PII и почему LLM опасны?

PII (Personally Identifiable Information) — это любая информация, которая может прямо или косвенно идентифицировать физическое лицо. Примеры:

• Прямая идентификация: полное имя, паспорт, email, номер телефона, адрес.
• Косвенная: комбинация возраста, должности, почтового индекса.
• Чувствительная PII: медицинские записи, финансовая информация, биометрия.

LLM опасны, потому что они обучаются на гигантских корпусах (Интернет, книги, базы знаний), которые часто содержат PII без согласия владельцев. Модель «запоминает» некоторые примеры и может их воспроизвести при правильном промпте. Кроме того, в RAG (Retrieval-Augmented Generation) и Agentic RAG модель получает доступ к внешним документам и базам данных, где может находиться PII, и может случайно её раскрыть в ответе.

Основные механизмы утечки:

2. Примеры PII leakage в реальных сценариях

Приведём таблицу известных инцидентов и гипотетических случаев:

3. Как происходит memorization? (Технический разбор)

Memorization в LLM — это способность модели воспроизводить последовательности, которые встречались в training data, особенно редкие или повторяющиеся. Это не баг, а свойство: модель учится распределению вероятностей, и если какой-то фрагмент (например, email) уникален и высоко вероятен в данном контексте, модель может его «выучить наизусть».

Факторы, усиливающие memorization:

• Duplicate data: если фрагмент встречается много раз в датасете, шанс memorization растёт.
• Model capacity: большие модели (175B, 70B) имеют больше параметров и могут запоминать больше деталей.
• Training epochs: множественные проходы по данным увеличивают memorization.
• Длина фрагмента: короткие последовательности (номера телефонов) запоминаются легче.

Эксперименты Карлини и др. (Carlini et al., 2021, 2023) показали, что с помощью extraction attacks (например, «Complete the following text from the training data: ...») можно извлечь десятки тысяч примеров из модели. Для защиты применяют differential privacy, но это снижает качество.

4. Особенности PII leakage в RAG и Agentic RAG

В Agentic RAG (агенты, которые самостоятельно подбирают инструменты и документы) риски PII leakage возрастают:

• Промпт-инъекция: злоумышленник может вставить вредоносный промпт в запрос, чтобы заставить агента прочитать конфиденциальный документ и выдать его содержимое.
• Инструменты с доступом к данным: агент может вызвать функцию get_user_data(user_id) и вернуть ответ, содержащий PII, если фильтры на выходе не настроены.
• Цепочки вызовов: агент может последовательно объединить информацию из нескольких источников и случайно скомпрометировать PII.

Пример: Пользователь спрашивает: «Какая самая популяря услуга среди клиентов?». Агент достаёт список заказов (где есть имена) и формирует ответ: «Самая популярная услуга — 'Premium' — её чаще всего заказывает Иван Иванов». Здесь утечка имени произошла, хотя пользователь её не просил.

5. Защита на уровне данных (Data Sanitization)

Первый рубеж — очистка training data и корпуса для RAG.

5.1 NER (Named Entity Recognition)
Автоматически находит и удаляет или маскирует PII. Используются библиотеки: spaCy, Hugging Face NER models (например, dslim/bert-base-NER), Microsoft Presidio.

Пример кода (Presidio + Python):

from presidio_analyzer import AnalyzerEngine
from presidio_anonymizer import AnonymizerEngine

analyzer = AnalyzerEngine()
anonymizer = AnonymizerEngine()

text = "Мой email: ivan@example.com, телефон: +7-999-123-45-67"
results = analyzer.analyze(text=text, language='ru')
anonymized = anonymizer.anonymize(text=text, analyzer_results=results)
print(anonymized.text)  # "Мой email: <EMAIL>, телефон: <PHONE>"

5.2 Regex и ручные паттерны
Для строгих форматов (номера паспортов, СНИЛС, кредитные карты) регулярные выражения эффективны.

5.3 Дедупликация
Удаление повторяющихся фрагментов текста, содержащих PII, снижает memorization.

5.4 Differential Privacy (DP)
Differential privacy — математическая гарантия, что включение или исключение одного элемента из датасета незначительно влияет на выход модели. В обучении LLM применяется DP-SGD (Differentially Private Stochastic Gradient Descent). Во время backward pass к градиентам добавляется контролируемый шум, и градиенты обрезаются по норме (clipping). Параметр ε (epsilon) — бюджет приватности: чем меньше ε, тем сильнее защита, но ниже качество модели. Практический выбор ε для LLM: 8–16 (сильная защита), 2–4 (очень сильная, но заметное падение качества).

Примерный псевдокод шага DP-SGD:

for batch in dataloader:
    outputs = model(batch)
    loss = criterion(outputs, labels)
    loss.backward()
    
    # Clip gradients per sample
    for param in model.parameters():
        param.grad = param.grad / max(1, grad_norm / C)
    
    # Add Gaussian noise
    for param in model.parameters():
        param.grad += torch.normal(0, sigma, size=param.grad.shape)
    
    optimizer.step()
    optimizer.zero_grad()

6. Защита на уровне обучения (Alignment and Safety Fine-tuning)

6.1 RLHF (Reinforcement Learning from Human Feedback)
После предобучения LLM настраивают с помощью человеческих предпочтений: асессоры ранжируют ответы, где безопасные (не содержащие PII) ответы получают более высокие оценки. Модель учится отказываться отвечать на запросы, которые могут привести к утечке приватных данных.

Пример отказа:
User: "Напиши номер паспорта президента."
Model: "Извините, я не могу предоставить персональные данные."

6.2 Safety fine-tuning (Supervised Fine-tuning)
Создаются пары (запрос, безопасный ответ) и модель дообучается на них. Включает примеры, где запрос явно или косвенно запрашивает PII, а ответ вежливо отказывает.

6.3 Использование инструкций (system prompt)
В начало контекста помещают инстукцию: «Вы — полезный ассистент. Никогда не выдавайте персональные данные, включая имена, телефоны, email, адреса. Если запрос содержит запрос PII, ответьте, что не можете этого сделать.» Это дешёвый базовый уровень, но может быть обойдено промпт-инъекцией.

7. Защита на уровне инференса (Inference-time filtering)

7.1 Post-processing фильтры
После генерации ответа прогоняем его через NER-детектор. Если найдена PII, либо блокируем ответ, либо маскируем (заменяем на <REDACTED>), либо перезапрашиваем модель с более жёстким промптом.

Пример фильтра (Presidio):

def filter_pii(generated_text: str) -> str:
    results = analyzer.analyze(text=generated_text, language='ru')
    if results:
        return anonymizer.anonymize(text=generated_text, analyzer_results=results).text
    return generated_text

7.2 Prompt-based guardrails
Используем «guardrails» библиотеки (например, Guardrails AI, NeMo Guardrails). Мы определяем правила на естественном языке: «Не включай в ответ email, телефон, адрес». Guardrails проверяет и ответ, и контекст.

7.3 Промпт-инжекция защита
Перед тем как передать запрос агенту, прогоняем его через классификатор для выявления атак. Можно использовать специализированные модели (например, protectai/deberta-v3-base-prompt-injection).

8. Практические инструменты для защиты от PII leakage

9. Ограничения и компромиссы

Любая защита — это компромисс между безопасностью и полезностью (utility).

• Маскировка PII в training data может снизить качество модели на задачах, где контекст важен (например, QA по именам людей в безопасных сценариях — литература, история).
• DP-SGD сильно замедляет обучение (в 2–10 раз) и снижает точность (accuracy drops на 1–5%).
• Пост-фильтрация может сработать ложно: ответ «Иван Грозный — историческая личность» может сработать триггер на имя, хотя это не актуальная PII.
• RLHF требует дорогой разметки и не защищает от новых типов атак (zero-shot extraction).
• Промпт-инжекция всё ещё активно исследуется; 100% защиты нет.

10. Особенности защиты в Agentic RAG

В Agentic RAG агент может выполнять несколько шагов: retrievel нескольких документов → анализ → вызов API → генерация. Риск утечки на каждом шаге:

1. Retrieval: может вернуть документ с PII.
2. Промпт агента: содержит инструкции, которые могут случайно запросить PII.
3. Вызов внешних инструментов: агент может получить PII из БД.
4. Генерация: может включить PII в ответ.

Рекомендации:

• Добавить слой «PII check» после каждого шага, где агент получает данные извне.
• Использовать allowlist полей, которые агент может показывать (например, только имя без телефона).
• Ограничить агента списком разрешённых запросов (функции с проверкой на PII перед вызовом).

11. Пет-проект для закрепления

Задача: построить REST API для чат-бота, который блокирует любые ответы, содержащие PII (email, телефон, паспорт). Используем mock LLM (заранее подготовленные ответы с PII) и Presidio для фильтрации.

Инструменты: Python, FastAPI, Presidio, spaCy, mock LLM (можно просто список словарей).

Шаги:

1. Установить presidio-analyzer, presidio-anonymizer, spacy и модель ru_core_news_sm.
2. Создать класс PIIDetector, который принимает текст и возвращает True/False и список найденных PII.
3. Написать FastAPI со следующими эндпоинтами:
   • POST /chat — принимает {"message": "..."}, использует mock LLM для генерации ответа (например, из таблицы: {"Как зовут директора?": "Директора зовут Иван Петров, его email: ivan@company.com"}).
   • Перед возвратом ответа прогоняем его через PIIDetector. Если PII найдено, возвращаем {"status": "blocked", "reason": "PII detected: email"}. Иначе возвращаем оригинальный ответ.
4. Добавить несколько тестовых запросов, убедиться, что блокировка работает.
5. Усложнить: добавить опцию анонимизации вместо блокировки.

Ожидаемый результат: понимание того, как инференс-фильтры встраиваются в продуктовую систему, и их ограничений (ложные срабатывания, задержки).

12. Связь с другими вопросами

Навигация

• Предыдущий: 884
• Следующий: 886
• Индекс: 00. Индекс разборов