中文翻译暂不可用，显示俄语原文。
Communication overhead explosion
Communication overhead explosion
Определение
Ситуация, когда коммуникационные издержки между компонентами системы (например, агентами или GPU) растут квадратично или становятся узким местом, особенно в multi-agent системах и распределенном обучении.
Где встречается
- 849. Что такое expert parallelism для MoE моделей (Mixtral)
- 800+ вопросов
- 215. Настроить expert parallelism для Mixtral