English translation is not available yet. Showing Russian content.
low-rank projection
low-rank projection
Определение
Операция проецирования ключей и значений (K и V) на пространство меньшей размерности в механизмах attention с линейной сложностью, таких как Linformer.