generation.latency_ms

Определение

Метрика задержки генерации ответа LLM в миллисекундах. Важна для мониторинга производительности инференса и оптимизации pipeline.

Где встречается

• 255. Настроить correlation метрик

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление