compute utilization

Определение

Процент использования вычислительных блоков GPU (FP32/FP16/Tensor Cores); низкое значение указывает на простой и используется при профилировании производительности LLM serving.

Где встречается

• 305. Как вы профилируете GPU utilization для LLM serving (nsys, ncu, nvprof)
• 92. Профилировать GPU utilization падение

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление