утечка данных
утечка данных
Определение
Попадание конфиденциальных или тестовых данных в обучающий набор или ответы модели, приводящее к неверной оценке производительности (контаминация бенчмарков) или нарушению безопасности.
Где встречается
- 25. Как вы оцениваете качество после fine-tuning
- 32. Как вы подготовите датасет для fine-tuning, если у вас только неструктурированные диалоги с клиентами
- 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
- 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
- 123. Как вы защищаете RAG-систему от утечки данных между клиентами (multi-tenant isolation)
- 125. Объясните разницу между NeMo Guardrails и Garak. Когда что используется
- 126. Что такое MITRE ATLAS и как он связан с MITRE ATT&CK
- 127. Как вы проводите red teaming LLM-приложения Назовите 3 техники.
- 337. Как вы проверяете, что RLHF не сломал базовые способности модели
- 350. Как вы детектируете data contamination в evaluation датасетах
- 488. Что такое benchmark contamination и как ее детектировать
- 494. Что такое synthetic eval collapse и как его предотвратить
- 498. Что такое meta-evaluation бенчмарков (оценка оценки)
- 503. Как вы измеряете drift retrieval-качества в RAG (когда документы меняются)
- 534. Как вы делаете data quality для синтетических датасетов
- 598. Как работает embedding poisoning для RAG и как защититься
- 612. Что такое data exfiltration через LLM (утечка данных через ответы)
- 688. Что такое synthetic data collapse (когда синтетические данные деградируют со временем)
- 689. Как вы проектируете dynamic benchmark (меняющийся со временем)
- 693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)
- 869. Как избежать benchmark contamination (когда модель видела тестовые данные)
- 876. Как избежать evaluation overfitting (когда модель учится на тесте)
- 880. Как проектировать golden dataset для agent evaluation
- Практика
- 800+ вопросов
- 285. Реализовать synthetic benchmark генератор