коллективные коммуникации

Определение

Обобщённые операции обмена данными, такие как allreduce, allgather, используемые для синхронизации градиентов при распределённом обучении моделей.