中文翻译暂不可用，显示俄语原文。
Quadratic bottleneck
Quadratic bottleneck
Определение
Фундаментальное ограничение Transformer-моделей, обусловленное квадратичной сложностью O(n²·d) механизма attention по длине последовательности n, что делает обработку длинных контекстов вычислительно дорогой.
Где встречается
- 276. Как работает attention математически (Q, K, V) и как вычислительная сложность масштабируется
- 800+ вопросов