reduce-scatter

Определение

Коллективная операция для суммирования градиентов и распределения результатов по GPU; применяется в тензорном параллелизме для снижения коммуникационных затрат.

Где встречается

• 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
• 314. Как работает NVLink Switch System на DGX H100
• 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление