TruthfulQA

Определение

Бенчмарк для оценки правдивости ответов LLM и склонности к галлюцинациям. Используется для измерения безопасности модели после RLHF или RLAIF.

Где встречается

• 297. Что такое representation engineering (RepE) и зачем он нужен
• 330. Что такое RLAIF (RL from AI Feedback) и как он масштабируется
• 337. Как вы проверяете, что RLHF не сломал базовые способности модели
• 489. Что такое reward hacking в RLHF и как его детектировать
• 872. Что такое calibration для LLM и как её измерять (ECE)
• 873. Как детектировать reward hacking в RLHF
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление