Quadratic bottleneck

Определение

Фундаментальное ограничение Transformer-моделей, обусловленное квадратичной сложностью O(n²·d) механизма attention по длине последовательности n, что делает обработку длинных контекстов вычислительно дорогой.

Где встречается

• 276. Как работает attention математически (Q, K, V) и как вычислительная сложность масштабируется
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление