Cross-entropy
Cross-entropy
Определение
Cross-entropy (перекрёстная энтропия) — это метрика, измеряющая различие между двумя распределениями вероятностей: истинным (целевым) и предсказанным моделью. В контексте языковых моделей она вычисляется как среднее количество битов, необходимых для кодирования истинного распределения слов, используя предсказанное распределение. Чем меньше значение cross-entropy, тем ближе предсказания модели к истинным данным.