Communication overhead explosion

Определение

Ситуация, когда коммуникационные издержки между компонентами системы (например, агентами или GPU) растут квадратично или становятся узким местом, особенно в multi-agent системах и распределенном обучении.

Где встречается

• 849. Что такое expert parallelism для MoE моделей (Mixtral)
• 800+ вопросов
• 215. Настроить expert parallelism для Mixtral

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление