Position bias
Position bias
Определение
Склонность LLM-as-Judge предпочитать ответы в определённой позиции (например, первый в паре), что искажает оценку; детектируется перестановкой вариантов.
Где встречается
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 333. Что такое preference data collection и как минимизировать bias в сравнениях
- 343. Как вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)
- 486. Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.
- 493. Что такое Positional bias в LLM-as-Judge и как его исправить
- 495. Что такое pairwise comparison vs scalar rating Когда что использовать
- 633. Как вы оцениваете reasoning capability (не просто recall) на длинном контексте
- 653. Что такое position encoding RoPE vs абсолютные позиции vs относительные позиции
- 870. Как работает LLM-as-judge и почему он biased
- 800+ вопросов
- 48. Настроить click models для implicit feedback