expert parallelism

Определение

Техника распределённого обучения и инференса для MoE-моделей, при которой разные эксперты размещаются на разных GPU для ускорения и масштабирования.

Где встречается

• 320. Что такое ONNX Runtime и когда он выгоден для LLM
• 426. Что такое 3D parallelism (data + tensor + pipeline)
• 849. Что такое expert parallelism для MoE моделей (Mixtral)
• Практика
• 800+ вопросов
• 215. Настроить expert parallelism для Mixtral

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление