head_dim

Определение

Параметр архитектуры Transformer, определяющий размерность одной головы внимания (например, 64). Используется при настройке FlashAttention.

Где встречается

• 54. Сравнить Hyena vs FlashAttention на 128k

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление