Head importance
Head importance
Определение
Head importance (важность головы внимания) — метрика, используемая в анализе архитектуры трансформеров для оценки вклада каждой отдельной головы механизма внимания в итоговое предсказание модели. Разные головы внимания могут специализироваться на различных лингвистических задачах: одни фокусируются на синтаксических зависимостях (например, согласование подлежащего и сказуемого), другие — на семантических отношениях (например, анафорические связи). Оценка head importance позволяет интерпретировать, какие аспекты языка модель считает важными, и объяснять её решения (XAI).