attention metrics
attention metrics
Определение
Веса внимания после softmax, используемые для оценки важности токенов; применяются при сжатии контекста или атрибуции влияния отдельных входных элементов на решение модели.
Где встречается
- 195. Как вы проверяете, что модель действительно использует структуру представления, а не игнорирует ее
- 283. Что такое selective attention в контексте long context обработки
- 286. Как вы детектируете и фиксите attention sinks в длинных контекстах
- 800+ вопросов