English translation is not available yet. Showing Russian content.
generation.latency_ms
generation.latency_ms
Определение
Метрика задержки генерации ответа LLM в миллисекундах. Важна для мониторинга производительности инференса и оптимизации pipeline.