English translation is not available yet. Showing Russian content.
linear complexity attention
linear complexity attention
Определение
Внимание с линейной сложностью, достигаемое за счет ядерных трюков или других аппроксимаций, позволяет эффективно работать с длинными контекстами, как в архитектуре RWKV.