Broadcast

Определение

Коллективная операция рассылки данных от одного GPU всем остальным. Оптимизируется под NVLink и PCIe, используется для загрузки весов модели.