DeepSpeed Pipe

Определение

Реализация pipeline parallelism в DeepSpeed, может комбинироваться с ZeRO-3 для уменьшения коммуникаций.

Где встречается

• 462. ZeRO-1 vs ZeRO-2 vs ZeRO-3 что и когда использовать

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление