Hyena

Определение

Архитектура, заменяющая механизм внимания сверточными операциями. Достигает сложности O(n log n) и сохраняет качество на длинных контекстах.

Где встречается

• 715. Hyena как заменить attention на свертки, сохранив качество
• Практика
• 800+ вопросов
• 54. Сравнить Hyena vs FlashAttention на 128k
• 59. Сравнить архитектуры на reasoning задачах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление