Attention Rollout

Определение

Attention Rollout — это метод интерпретации моделей на основе механизма внимания (attention), который оценивает влияние токенов друг на друга на протяжении всех слоев трансформера. Вместо того чтобы использовать веса внимания только из последнего слоя, Attention Rollout усредняет (или перемножает) матрицы внимания по всем слоям, чтобы получить сквозную атрибуцию важности токенов для итогового предсказания модели.

Где встречается

• 943. Что такое Explainable AI (XAI) для NLP (LIME, SHAP, Attention Visualization)?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление