max attention weightmax attention weight Определение Метрика для детекции attention sinks: максимальный вес внимания на первый токен; значение >0.3 указывает на наличие sink. Где встречается 286. Как вы детектируете и фиксите attention sinks в длинных контекстах Навигация Индекс терминов Индекс разборов Оглавление
max attention weight Определение Метрика для детекции attention sinks: максимальный вес внимания на первый токен; значение >0.3 указывает на наличие sink. Где встречается 286. Как вы детектируете и фиксите attention sinks в длинных контекстах Навигация Индекс терминов Индекс разборов Оглавление