中文翻译暂不可用，显示俄语原文。
NCCL
NCCL
Определение
Библиотека NVIDIA для коллективных коммуникаций между GPU, критичная для multi-GPU инференса и обучения.
Где встречается
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 314. Как работает NVLink Switch System на DGX H100
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 402. Что такое NCCL и почему он критичен для multi-GPU инференса
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 425. Как работает sequence parallelism в контексте LLM
- 710. Бенчмаркинг LLM на AMD MI300X vs H100 различия в архитектуре и оптимизации
- Практика
- 800+ вопросов
- 1. Развернуть NCCL бенчмарк на 2-8 GPU
- 4. Настроить GPU Direct RDMA
- 5. Сравнить NCCL ring vs tree
- 6. Настроить NVLink topology для 8x GPU