attention entropy

Определение

Мера распределения весов внимания; низкая энтропия (меньше 1.0) указывает на наличие attention sink — чрезмерной фокусировки на малом числе токенов.

Где встречается

• 286. Как вы детектируете и фиксите attention sinks в длинных контекстах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление