self-BLEU
self-BLEU
Определение
Метрика разнообразия, вычисляемая как средняя BLEU между всеми парами ответов на один промпт; низкое значение указывает на высокую креативность, высокое — на коллапс.
Где встречается
- 62. Какие метрики вы мониторите для LLM в production
- 173. Как вы оцениваете креативность LLM в production
- 331. Как вы измеряете quality RLHF модели вне стандартных бенчмарков (MT-Bench)
- 688. Что такое synthetic data collapse (когда синтетические данные деградируют со временем)
- 95. Написать runbook для synthetic data collapse