StripedHyena

Определение

Гибридная архитектура нейронной сети, чередующая SSM-слои (Hyena) и слои внимания, сохраняющая линейную сложность при обработке длинных контекстов.