RED metrics
RED metrics
Определение
Метрики для мониторинга production-сервисов на LLM: Rate (частота запросов), Errors (количество ошибок), Duration (задержка). Позволяют оценить производительность и здоровье каждого эндпоинта.
Метрики для мониторинга production-сервисов на LLM: Rate (частота запросов), Errors (количество ошибок), Duration (задержка). Позволяют оценить производительность и здоровье каждого эндпоинта.