中文翻译暂不可用，显示俄语原文。
ReduceScatter
ReduceScatter
Определение
Коллективная операция, объединяющая Reduce (суммирование) и Scatter (рассылка частей), используется для усреднения градиентов без сборки полного тензора, что экономит память при распределённом обучении.
Где встречается
- 402. Что такое NCCL и почему он критичен для multi-GPU инференса
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 462. ZeRO-1 vs ZeRO-2 vs ZeRO-3 что и когда использовать
- 471. Как работает FSDP (Fully Sharded Data Parallel) в PyTorch