Attention_Visualization
Attention_Visualization
Определение
Визуализация матрицы внимания в Transformer-моделях показывает, на какие токены модель «смотрит» при генерации следующего скрытого состояния. Такая визуализация часто представляется в виде тепловой карты (heat map), где интенсивность цвета соответствует силе внимания. Это позволяет исследователям и разработчикам лучше понимать внутренние механизмы модели и выявлять возможные ошибки или предвзятости.