sink ratio

Определение

Метрика, показывающая долю внимания модели на первые k токенов; значение выше 0.4 указывает на наличие attention sink.

Где встречается

• 286. Как вы детектируете и фиксите attention sinks в длинных контекстах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление