nsys

Определение

Инструмент системного профилирования NVIDIA для GPU, выполняющий трассировку вызовов CUDA, CPU-GPU взаимодействия и использования памяти. Применяется для поиска узких мест в LLM-сервинге, например в vLLM.

Где встречается

• 305. Как вы профилируете GPU utilization для LLM serving (nsys, ncu, nvprof)
• 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
• 308. Как работают CUDA streams и как они помогают оверлапить compute и communication
• 310. Как вы читаете профиль Nsight Systems для поиска bottlenecks в vLLM
• 459. Как вы дебажите низкую GPU utilization (например, 40% на A100)
• 707. Как работает asynchronous execution на Hopper (copy engine vs compute)
• 845. Как работают CUDA graphs и когда их использовать
• 846. Как дебажить memory fragmentation в LLM сервере
• Практика
• 800+ вопросов
• 5. Сравнить NCCL ring vs tree
• 92. Профилировать GPU utilization падение
• 214. Реализовать FP8 инференс на H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление