generation.latency_ms
generation.latency_ms
Определение
Метрика задержки генерации ответа LLM в миллисекундах. Важна для мониторинга производительности инференса и оптимизации pipeline.
Метрика задержки генерации ответа LLM в миллисекундах. Важна для мониторинга производительности инференса и оптимизации pipeline.