linear complexity
linear complexity
Определение
Свойство алгоритма иметь вычислительную сложность O(n), то есть время выполнения растет пропорционально длине входных данных, в отличие от квадратичной O(n²) у стандартного внимания.
Где встречается
- 281. Что такое sliding window attention и зачем он в Mistral
- 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
- 646. Как работает attention с линейной сложностью (Linformer, Performer, Longformer)
- 713. Как работает Mamba (State Space Model) и чем она лучше трансформера
- 800+ вопросов