Quadratic bottleneck
Quadratic bottleneck
Определение
Фундаментальное ограничение Transformer-моделей, обусловленное квадратичной сложностью O(n²·d) механизма attention по длине последовательности n, что делает обработку длинных контекстов вычислительно дорогой.
Где встречается
- 276. Как работает attention математически (Q, K, V) и как вычислительная сложность масштабируется
- 800+ вопросов