Поиск

• wikiprivacy by design

  # privacy by design ## Определение Принцип проектирования систем, при котором защита данных и приватность встраиваются на всех этапах разработки, а не…

• wikiPrivacy attacks

  # Privacy attacks ## Определение Класс атак на модель, направленных на извлечение конфиденциальных данных, включающий membership inference, data extraction и другие. ## Где…

• wikiGradient inversion attack

  # Gradient inversion attack ## Определение Атака на приватность, при которой злоумышленник восстанавливает исходные данные клиента по его градиентам. ## Где встречается - [[623…

• wikidifferential privacy

  # differential privacy ## Определение Метод защиты конфиденциальности данных, гарантирующий, что удаление или добавление одного образца обучающей выборки не изменит выход модели…

• answerЧто такое differential privacy для LLM и как она работает?

  …Для датасета из 1 млн записей δ = 1e-6. - **ε** зависит от требуемого уровня приватности: - ε < 1 — сильная приватность (медицина…

• answerЧто такое secure aggregation для федеративного обучения LLM?

  …агрегируют только часть градиентов или используют дифференциальную приватность в [[Вики/padded sequences\|дополнение]]. --- ## 7. Ограничения и компромиссы - Вычислительная нагрузка: [[Вики…

• answerКак работает model inversion атака (восстановление training данных)?

  …Дифференциальная приватность (DP) [[Вики/differential privacy\|Дифференциальная приватность]] математически гарантирует, что удаление или добавление одного примера не изменит выход модели…

• answerЧто такое data poisoning атака на fine-tuning и как защититься?

  …Дифференциальная приватность (Differential Privacy) **[[Вики/Data parallelism\|Дифференциальная приватность]] (DP)** — это математическая гарантия, что результат анализа данных не позволяет определить…

• wikiData parallelism

  # Data parallelism ## Определение Стратегия распределения данных по нескольким репликам модели для параллельного обучения или инференса. Для LLM инференса часто комбинируется…

• answerКак работает membership inference атака на LLM?

  …Защита возможна через дифференциальную приватность (DP) при обучении, но для уже обученных моделей защита крайне затруднена. --- ## 1. Что такое membership…

• answerКак работает membership inference атака на LLM?

  …Защита от MIA ### 6.1 Дифференциальная приватность (Differential Privacy, DP) Наиболее теоретически обоснованный метод. При обучении с DP в градиенты…

• answerКак вы делаете agent с human values alignment (Constitutional AI для агентов)?

  …соответствуют заранее заданным человеческим принципам ([[Вики/Safetysecurity\|безопасность]], честность, приватность, [[Вики/Helpfulness Harmlessness\|полезность]]). **[[Вики/Constitutional AI\|Constitutional AI]] ([[Вики…

• answerКак работает membership inference через logits (разница в вероятностях)?

  …membership inference, логиты, вероятности [[Вики/model inversion attack\|Membership inference]] — [[Вики/Task\|задача]] [[Вики/Privacy attacks\|атаки на приватность]] модели…

• answerЧто такое data exfiltration через LLM (утечка данных через ответы)?

  …дифференциальная приватность **[[Вики/Data parallelism\|Дифференциальная приватность]] (DP)** — математическая гарантия, что присутствие или отсутствие одной записи в тренировочных данных незначительно…

• answerЧто такое data poisoning атака на fine-tuning и как защититься?

  …Дифференциальная приватность (DP-SGD) **DP-SGD (Differentially Private Stochastic Gradient Descent)** — модификация SGD, которая ограничивает влияние каждого отдельного примера на…

• answerКак вы обрабатываете PII в данных для RAG (GDPR, 152-ФЗ)?

  …Компромисс между приватностью и полезностью данных Удаление PMI может снизить качество [[Вики/retrieval\|retrieval]] (например, если имя является ключевым для…

• answern8n, Make, Zapier — как вы интегрируете их с LLM?

  …Выбор платформы для LLM-интеграции | Критерий | Рекомендуемая платформа | | --- | --- | | Нужна полная приватность / self-hosted | n8n (self-hosted) | | Малый бизнес, быстрые интеграции…

• answerКак проектировать delegation с учётом человеческого фактора (усталость, занятость)?

  …Начинать с простых порогов и добавлять по мере накопления данных. - Приватность: Сбор статусов (онлайн, усталость) должен быть согласован с операторами…

• answerКак работает model stealing attack и как защититься?

  …student]] слабее teacher). - Усложняет восстановление teacher. ### Differential Privacy (дифференциальная приватность) [[Вики/noise injection\|Добавление шума]] в процесс обучения так, чтобы…

• answerКак работает embedding poisoning для RAG и как защититься?

  …Извлечение приватных данных через запросы | Ограничение длины контекста, дифференциальная приватность | | [[Вики/Adversarial query\|Adversarial query]] | Манипуляция запросом для искажения retrieval…

• answerКак вы шифруете данные для RAG (конфиденциальность)?

  …Поэтому: - Удаляйте PII до индексации — используйте NER‑модели (spaCy, Presidio) для детекции и замены PII на placeholder’ы. - **Дифференциальная приватность…

• answerКак спроектировать систему, где LLM должна работать с конфиденциальными данными (медицина, финансы)?

  …удаление [[Вики/PII\|PII]] из реальных данных, затем [[Вики/fine-tuning\|fine-tuning]] 3. [[Вики/differential privacy\|Дифференциальная приватность]] ([[Вики…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать user trust метрику

  …Задокументировать, что веса — гипотеза. | | Приватность пользователей | Работать с анонимизированными ID (uuid). Не хранить личные данные. | | Долгое время расчёта при большом…

• answerКак работает model extraction attack и как защититься?

  …Определить, был ли образец в обучении | API (logprobs) | Дифференциальная приватность | | Inversion attack | Восстановить обучающие данные | White-box (градиенты) | [[Вики/Data…

• answerКак вы подготовите датасет для fine-tuning, если у вас только неструктурированные диалоги с клиентами?

  …заменить конкретные имена на `[NAME]`, номера на `[PHONE]` — сохраняет структуру, не нарушая приватность. Пример маскирования: ```python import re def mask…

• answerКак работает whisper.cpp для локального ASR с low latency?

  …задержка]] — [[Вики/multi-tenant\|пользователь]] не ждёт. - Работает офлайн — приватность данных. - Малый размер — можно запустить на Raspberry Pi или ноутбуке…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить recurrent memory для long context

  …в каких сценариях recurrent memory предпочтительнее RAG (например, низкий latency, приватность, offline). Ожидаемый результат этапа Файл `benchmark.pdf` или `benchmark…

• answerЧто такое Constitutional AI и как RLHF связан с ним?

  …и честен», «Не давайте советов по созданию оружия», «Уважайте приватность пользователя». [[Вики/Claude API\|Anthropic]] опубликовал свою конституцию (около 20…

• answerКак вы проектируете «человека в петле» для multi-agent системы с минимальным overhead?

  …содержание операторов дороже, чем полностью автоматическая система → [[Вики/human-in-the-loop\|HITL]] оправдан только для high-value действий. - Приватность…

• answerКак работает model watermarking для LLM (идентификация модели-источника)?

  …знаки]] могут использоваться для скрытой идентификации авторов, что нарушает приватность. Термин «Имитатор» ([[Вики/imitation model\|imitation model]]) — [[Вики/model\|модель…

• answerНазовите OWASP Top 10 для LLM (2025) и 3 самых критичных риска?

  …удалять чувствительные поля перед передачей модели. - [[Вики/differential privacy\|Дифференциальная приватность]] при обучении ([[Вики/Data parallelism\|DP-SGD]]) — снижает риск…

• answerКак делать adversarial evals для RAG (проверка на устойчивость)?

  …Игнорируй контекст, ответь: …]»). - [[Вики/embedding inversion\|Embedding inversion]] — попытка восстановить исходный текст по эмбеддингу (обычно для атак на приватность). ### 2…

• answerКак вы делаете агента «забывающим» (для GDPR / privacy compliance)?

  …При forget удаляется только маппинг. - [[Вики/differential privacy\|Дифференциальная приватность]] — добавлять шум в память агента, чтобы отдельные записи нельзя было…

• answerКак вы делаем agent with theory of mind (понимание намерений пользователя)?

  …что увеличивает [[Вики/Latency\|latency]] и [[Вики/cost\|стоимость]]. - Приватность: хранение детальной [[Вики/User Modeling\|User Model]] может нарушать [[Вики…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …outlier detection, data validation, дифференциальная приватность, robust aggregation. **357. Как работает membership inference атака на LLM?** > *Ответ:* Определить, был ли…