Attention score

Определение

Скалярное произведение query и key, определяющее вес внимания между токенами в механизме self-attention.

Где встречается

• 630. Как работает RoPE (Rotary Position Embeddings) для экстраполяции на длинные контексты

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление