Sparse Transformers

Определение

Sparse Transformers — семейство архитектур трансформеров с разреженным вниманием, которое снижает квадратичную сложность вычислений по сравнению с полным вниманием.

Где встречается

• 276. Как работает attention математически (Q, K, V) и как вычислительная сложность масштабируется

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление