Ring

Определение

Алгоритм кольцевой редукции (Ring AllReduce), используемый в NCCL для эффективной коммуникации между GPU, особенно для больших сообщений.

Где встречается

• 402. Что такое NCCL и почему он критичен для multi-GPU инференса
• 800+ вопросов
• 1. Развернуть NCCL бенчмарк на 2-8 GPU
• 5. Сравнить NCCL ring vs tree

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление