low-rank projection
low-rank projection
Определение
Операция проецирования ключей и значений (K и V) на пространство меньшей размерности в механизмах attention с линейной сложностью, таких как Linformer.
Операция проецирования ключей и значений (K и V) на пространство меньшей размерности в механизмах attention с линейной сложностью, таких как Linformer.