English translation is not available yet. Showing Russian content.
Spearman correlation
Spearman correlation
Определение
Мера монотонной связи между ранжированными переменными, часто применяемая для оценки согласованности оценок LLM-судьи с человеческими.
Где встречается
- 132. Как вы калибруете LLM-судью под человеческие оценки
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 192. Как вы оцениваете качество language representation для задачи
- 329. Как обучается reward model для RLHF и как избегать reward hacking
- 331. Как вы измеряете quality RLHF модели вне стандартных бенчмарков (MT-Bench)
- 343. Как вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)
- 494. Что такое synthetic eval collapse и как его предотвратить
- 496. Что такое reward correlation и как ее измерять
- 498. Что такое meta-evaluation бенчмарков (оценка оценки)
- 508. Как вы оцениваете faithfulness без ground truth (если нет правильного ответа)
- 870. Как работает LLM-as-judge и почему он biased
- 800+ вопросов
- 30. Настроить correlation между метриками
- 81. Спроектировать uncertainty UI
- 255. Настроить correlation метрик