中文翻译暂不可用，显示俄语原文。
reduce-scatter
reduce-scatter
Определение
Коллективная операция для суммирования градиентов и распределения результатов по GPU; применяется в тензорном параллелизме для снижения коммуникационных затрат.
Где встречается
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 314. Как работает NVLink Switch System на DGX H100
- 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)