Attention dilution
Attention dilution
Определение
Эффект, при котором механизм внимания распределяет веса по большому числу токенов, снижая фокус на релевантных фрагментах контекста, что ухудшает качество ответа на длинных контекстах.
Эффект, при котором механизм внимания распределяет веса по большому числу токенов, снижая фокус на релевантных фрагментах контекста, что ухудшает качество ответа на длинных контекстах.