…

generation.latency_ms

Определение

Метрика задержки генерации ответа LLM в миллисекундах. Важна для мониторинга производительности инференса и оптимизации pipeline.