Sparse computation
Sparse computation
Определение
Режим вычислений, при котором активируется только часть параметров (например, эксперты в MoE) или используются разреженные матрицы, что снижает FLOPs и увеличивает пропускную способность.
Где встречается
- 435. Почему MoE (Mixture of Experts) быстрее dense модели при инференсе
- 705. Как работает Tensor Core microarchitecture (WGMMA, MMA инструкции) в H100
- 800+ вопросов