中文翻译暂不可用，显示俄语原文。
expert parallelism
expert parallelism
Определение
Техника распределённого обучения и инференса для MoE-моделей, при которой разные эксперты размещаются на разных GPU для ускорения и масштабирования.
Где встречается
- 320. Что такое ONNX Runtime и когда он выгоден для LLM
- 426. Что такое 3D parallelism (data + tensor + pipeline)
- 849. Что такое expert parallelism для MoE моделей (Mixtral)
- Практика
- 800+ вопросов
- 215. Настроить expert parallelism для Mixtral