refusal rate
refusal rate
Определение
Метрика, показывающая долю запросов, на которые модель явно отказалась отвечать; используется для оценки безопасности и выявления over-refusal.
Где встречается
- 8. Как вы обрабатываете запросы, на которые нет ответа в документах
- 136. Как вы AB тестируете две версии промпта в production
- 345. Как вы проектируете red teaming evaluation для jailbreak устойчивости
- 497. Как вы проектируете red teaming evaluation для jailbreak устойчивости
- 743. Какие есть типичные failure modes в harness-engineering (over-decomposition, over-pruning)
- 881. Что такое jailbreak taxonomy (полная классификация)
- 800+ вопросов
- 220. Настроить wave decoding для коротких ответов