Broadcast

Определение

Коллективная операция рассылки данных от одного GPU всем остальным. Оптимизируется под NVLink и PCIe, используется для загрузки весов модели.

Где встречается

• 402. Что такое NCCL и почему он критичен для multi-GPU инференса
• 704. Что такое bank conflicts в shared memory и как их избежать
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление