Jain and Wallace 2019
Jain and Wallace 2019
Определение
Jain and Wallace (2019) — это работа «Attention is not Explanation», в которой авторы подвергают сомнению распространённое мнение о том, что веса внимания в нейронных сетях для NLP могут служить надёжным объяснением предсказаний модели. Они показывают, что для одной и той же модели можно получить разные, но одинаково правдоподобные распределения внимания, а также что корреляция между вниманием и важностью признаков может быть низкой. Эта статья стала одним из ключевых аргументов в дискуссии о необходимости дополнительных методов интерпретируемости, таких как LIME и SHAP.