Distinct-N
Distinct-N
Определение
Метрика разнообразия генерации, измеряющая долю уникальных n-грамм среди всех сгенерированных токенов; Distinct-1 и Distinct-2 для униграмм и биграмм.
Где встречается
- 62. Какие метрики вы мониторите для LLM в production
- 173. Как вы оцениваете креативность LLM в production
- 293. Что такое Top-p (nucleus) sampling и как он сочетается с temperature
- 331. Как вы измеряете quality RLHF модели вне стандартных бенчмарков (MT-Bench)
- 489. Что такое reward hacking в RLHF и как его детектировать
- 499. Как вы оцениваете alignment модели с человеческими ценностями без gold standard
- 679. Что такое repetition penalty и как он работает
- 688. Что такое synthetic data collapse (когда синтетические данные деградируют со временем)