English translation is not available yet. Showing Russian content.
Низкоранговое пространство
Низкоранговое пространство
Определение
Представление исходных матриц K и V в подпространстве меньшей размерности, используемое в механизмах attention с линейной сложностью (Linformer, Performer, Longformer) для снижения вычислительных затрат.