DeepSpeed-MoE

Определение

Расширение DeepSpeed от Microsoft для expert parallelism и других оптимизаций MoE-моделей, как для обучения, так и для инференса.