kernel launch overhead
kernel launch overhead
Определение
Задержка при запуске GPU-ядер (микросекунды на вызов), снижающая утилизацию. CUDA graphs уменьшают этот overhead, особенно значим при малых батчах.
Где встречается
- 305. Как вы профилируете GPU utilization для LLM serving (nsys, ncu, nvprof)
- 311. Что такое CUDA graphs и как они ускоряют LLM инференс
- 800+ вопросов