nsys
nsys
Определение
Инструмент системного профилирования NVIDIA для GPU, выполняющий трассировку вызовов CUDA, CPU-GPU взаимодействия и использования памяти. Применяется для поиска узких мест в LLM-сервинге, например в vLLM.
Где встречается
- 305. Как вы профилируете GPU utilization для LLM serving (nsys, ncu, nvprof)
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 308. Как работают CUDA streams и как они помогают оверлапить compute и communication
- 310. Как вы читаете профиль Nsight Systems для поиска bottlenecks в vLLM
- 459. Как вы дебажите низкую GPU utilization (например, 40% на A100)
- 707. Как работает asynchronous execution на Hopper (copy engine vs compute)
- 845. Как работают CUDA graphs и когда их использовать
- 846. Как дебажить memory fragmentation в LLM сервере
- Практика
- 800+ вопросов
- 5. Сравнить NCCL ring vs tree
- 92. Профилировать GPU utilization падение
- 214. Реализовать FP8 инференс на H100