中文翻译暂不可用,显示俄语原文。
Низкоранговое пространство
Низкоранговое пространство
Определение
Представление исходных матриц K и V в подпространстве меньшей размерности, используемое в механизмах attention с линейной сложностью (Linformer, Performer, Longformer) для снижения вычислительных затрат.