中文翻译暂不可用，显示俄语原文。
Attention Rollout
Attention Rollout
Определение
Attention Rollout — это метод интерпретации моделей на основе механизма внимания (attention), который оценивает влияние токенов друг на друга на протяжении всех слоев трансформера. Вместо того чтобы использовать веса внимания только из последнего слоя, Attention Rollout усредняет (или перемножает) матрицы внимания по всем слоям, чтобы получить сквозную атрибуцию важности токенов для итогового предсказания модели.