English translation is not available yet. Showing Russian content.
Expected Calibration Error
Expected Calibration Error
Определение
Метрика калибровки модели, измеряющая среднюю разницу между уверенностью (confidence) и точностью (accuracy) по бинам.
Где встречается
- 291. Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)
- 294. Как вы калибруете вероятности LLM для classification задач
- 375. Как вы калибруете retrieval confidence для threshold-based filtering
- 487. Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)
- 496. Что такое reward correlation и как ее измерять
- 872. Что такое calibration для LLM и как её измерять (ECE)
- 800+ вопросов