Performer

Определение

Модель attention с линейной сложностью, использующая метод FAVOR+ для аппроксимации softmax attention через случайные признаки, что позволяет обрабатывать длинные последовательности.

Где встречается

• 276. Как работает attention математически (Q, K, V) и как вычислительная сложность масштабируется
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление