adversarial training

Определение

Метод повышения устойчивости модели к атакам путём включения состязательных примеров (adversarial examples) в обучающую выборку. Используется для защиты от jailbreak и других атак.

Где встречается

• 67. Что такое Prompt Injection и как вы защищаетесь
• 126. Что такое MITRE ATLAS и как он связан с MITRE ATT&CK
• 127. Как вы проводите red teaming LLM-приложения Назовите 3 техники.
• 129. Как вы обнаруживаете многошаговые jailbreak-атаки (через 10-20 сообщений)
• 298. Как вы тестируете robustness LLM к adversarial input (не только injection)
• 329. Как обучается reward model для RLHF и как избегать reward hacking
• 344. Что такое reward hacking в RLHF и как его детектировать
• 352. Что такое jailbreak taxonomy (OOD, refusal suppression, role-play, перевод)
• 355. Как вы защищаете LLM от градиентных атак (white-box jailbreak)
• 359. Как вы защищаете multi-agent систему от вредоносного агента
• 360. Что такое adversarial fine-tuning для защиты от jailbreak
• 489. Что такое reward hacking в RLHF и как его детектировать
• 597. Что такое jailbreak taxonomy (OOD, refusal suppression, role-play, перевод)
• 599. Что такое adversarial retrieval (атака на retrieval компонент RAG)
• 600. Как вы защищаете LLM от градиентных атак (white-box jailbreak)
• 611. Как работает adversarial example для embedding моделей (атака на retrieval)
• 616. Как работает rainbow teaming (комбинация red + blue + purple teaming для LLM)
• 618. Что такое jailbreak as a service (коммерческие jailbreak сервисы) и как защититься
• 621. Как вы защищаете LLM от prompt injection через изображения (VL-модели)
• 873. Как детектировать reward hacking в RLHF
• 890. Как тестировать robustness LLM к adversarial inputs
• 800+ вопросов
• 279. Настроить adversarial evaluation для RAG

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление