Jain_and_Wallace_2019
Jain_and_Wallace_2019
Определение
Jain & Wallace (2019) — это работа, в которой авторы ставят под сомнение интерпретируемость механизма внимания в нейросетевых моделях NLP. Ключевой тезис: веса внимания не являются надёжным объяснением предсказаний модели, поскольку для одной и той же гипотезы можно получить разные распределения внимания, а также существуют альтернативные распределения, дающие те же предсказания. Это исследование стало важным вкладом в дискуссию о том, насколько можно доверять визуализации внимания как инструменту Explainable AI.