PCIe
PCIe
Определение
Высокоскоростная последовательная шина для подключения периферийных устройств, особенно GPU. В LLM-инференсе является узким местом из-за ограниченной пропускной способности (~64 ГБ/с на Gen5) по сравнению с NVLink.
Где встречается
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 709. NVIDIA Grace Hopper CPU-GPU unified memory, как это меняет LLM serving
- 840. Когда tensor parallelism хуже pipeline parallelism
- 800+ вопросов
- 1. Развернуть NCCL бенчмарк на 2-8 GPU
- 4. Настроить GPU Direct RDMA
- 5. Сравнить NCCL ring vs tree
- 224. vLLM кластер на 4 GPU