Selective scan
Selective scan
Определение
Ключевая операция в State Space Models (Mamba), делающая параметры A, B, C зависимыми от входных данных, что обеспечивает линейную по длине последовательности обработку.
Где встречается
- 300. Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency
- 713. Как работает Mamba (State Space Model) и чем она лучше трансформера
- Практика
- 800+ вопросов
- 53. Реализовать selective scan (Mamba)
- 60. Настроить гибрид (Mamba + Attention)