Exposure Bias

Exposure Bias

Определение

Exposure Bias — разрыв между распределениями train и infer. На тренировке модель учится на истинных префиксах, а на инференсе использует свои предсказания, что ведёт к накоплению ошибок.

Где встречается

Навигация