NVLink Switch System
NVLink Switch System
Определение
Аппаратный коммутатор, агрегирующий NVLink-линки и обеспечивающий полностью неблокирующую топологию all-to-all между GPU (например, в DGX H100, до 900 ГБ/с).
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 314. Как работает NVLink Switch System на DGX H100
- 426. Что такое 3D parallelism (data + tensor + pipeline)
- 709. NVIDIA Grace Hopper CPU-GPU unified memory, как это меняет LLM serving
- Практика
- 800+ вопросов
- 6. Настроить NVLink topology для 8x GPU
- 10. Реализовать topology-aware scheduling
- 224. vLLM кластер на 4 GPU