adversarial probing

Определение

Создание специальных промптов для провоцирования нежелательного поведения модели с целью оценки её безопасности и обнаружения уязвимостей.

Где встречается

• 489. Что такое reward hacking в RLHF и как его детектировать

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление