Parallel scan
Parallel scan
Определение
Hardware-aware алгоритм параллельных рекуррентных вычислений, применяемый в Mamba для эффективного использования GPU.
Где встречается
- 716. Когда SSM-архитектуры (Mamba, StripedHyena) лучше трансформеров для long context
- 53. Реализовать selective scan (Mamba)