Hybrid architecture
Hybrid architecture
Определение
Архитектура, объединяющая слои Transformer и State Space Model (SSM) для достижения баланса между вычислительной эффективностью и точностью рассуждений.
Где встречается
- 300. Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency
- 716. Когда SSM-архитектуры (Mamba, StripedHyena) лучше трансформеров для long context
- 59. Сравнить архитектуры на reasoning задачах