4D-параллелизм

Определение

Комбинация data, tensor, pipeline и expert parallelism для масштабирования крупных MoE-моделей (например, Mixtral).

Где встречается

• 849. Что такое expert parallelism для MoE моделей (Mixtral)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление