Expected Calibration Error
Expected Calibration Error
Определение
Expected Calibration Error (ECE) — метрика калибровки вероятностных моделей, оценивающая среднюю разницу между предсказанной уверенностью и фактической точностью. Вычисляется путём разделения множества предсказаний на K равномерных бинов по значению уверенности, затем для каждого бина рассчитывается средняя уверенность и доля правильных ответов. Итоговая ошибка представляет собой взвешенное среднее абсолютных отклонений между уверенностью и точностью по всем бинам, что позволяет количественно измерить, насколько хорошо модель откалибрована.