…

Linformer

Определение

Архитектура трансформера, проецирующая ключи и значения на низкоранговое пространство для снижения сложности attention.