cuda_malloc_count

Определение

Метрика количества вызовов cudaMalloc в минуту. Рост значения свидетельствует о фрагментации памяти на GPU, что увеличивает latency.

Где встречается

• 846. Как дебажить memory fragmentation в LLM сервере

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление