over-refusal
over-refusal
Определение
Чрезмерная склонность модели отказываться отвечать на безопасные запросы, вызванная переобучением на adversarial примерах или избыточной защитой от jailbreak.
Где встречается
- 360. Что такое adversarial fine-tuning для защиты от jailbreak
- 497. Как вы проектируете red teaming evaluation для jailbreak устойчивости