Mamba
Mamba
Определение
Архитектура нейронной сети на основе State Space Models (SSM) с линейной вычислительной сложностью O(n), альтернатива трансформерам для обработки длинных контекстов.
Где встречается
- 299. Как работает attention между слоями (cross-layer attention) в современных архитектурах
- 800+ вопросов