O(n²) complexity
O(n²) complexity
Определение
Квадратичная вычислительная сложность стандартного attention, ограничивающая длину контекста трансформера.
Где встречается
- 646. Как работает attention с линейной сложностью (Linformer, Performer, Longformer)
- 713. Как работает Mamba (State Space Model) и чем она лучше трансформера
- 800+ вопросов
- 52. Настроить RWKV для инференса