attention metrics

Определение

Веса внимания после softmax, используемые для оценки важности токенов; применяются при сжатии контекста или атрибуции влияния отдельных входных элементов на решение модели.

Где встречается

• 195. Как вы проверяете, что модель действительно использует структуру представления, а не игнорирует ее
• 283. Что такое selective attention в контексте long context обработки
• 286. Как вы детектируете и фиксите attention sinks в длинных контекстах
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление