English translation is not available yet. Showing Russian content.
Attention dilution
Attention dilution
Определение
Эффект, при котором механизм внимания распределяет веса по большому числу токенов, снижая фокус на релевантных фрагментах контекста, что ухудшает качество ответа на длинных контекстах.