Hyena

Определение

Архитектура, заменяющая механизм внимания сверточными операциями. Достигает сложности O(n log n) и сохраняет качество на длинных контекстах.