中文翻译暂不可用,显示俄语原文。
Attention dilution
Attention dilution
Определение
Эффект, при котором механизм внимания распределяет веса по большому числу токенов, снижая фокус на релевантных фрагментах контекста, что ухудшает качество ответа на длинных контекстах.