Performer
Performer
Определение
Модель attention с линейной сложностью, использующая метод FAVOR+ для аппроксимации softmax attention через случайные признаки, что позволяет обрабатывать длинные последовательности.
Где встречается
- 276. Как работает attention математически (Q, K, V) и как вычислительная сложность масштабируется
- 800+ вопросов