GPU Direct RDMA
GPU Direct RDMA
Определение
Технология прямого доступа GPU к памяти удалённых узлов через InfiniBand или RoCE, минуя CPU. Критична для снижения задержек в распределённом обучении и инференсе.
Где встречается
- 402. Что такое NCCL и почему он критичен для multi-GPU инференса
- Практика
- 1. Развернуть NCCL бенчмарк на 2-8 GPU
- 4. Настроить GPU Direct RDMA