WKV

Определение

Механизм взвешивания ключ-значение в архитектуре RWKV, обеспечивающий линейную сложность по длине последовательности за счет рекуррентного обновления скрытого состояния.

Где встречается

• 714. RWKV (RNN with Transformer attention) как комбинирует RNN и attention
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление