low-rank matrices

Определение

Матрицы малого ранга, используемые для сжатия представлений, например, в LoRA или в линейных вариациях attention (Linformer), что снижает вычислительную сложность и объём памяти.

Где встречается

• 40. Как вы объединяете несколько LoRA адаптеров для разных задач
• 646. Как работает attention с линейной сложностью (Linformer, Performer, Longformer)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление