Thresholds

Определение

Заданные граничные значения ключевых метрик (например, p95 latency < 5s, error rate < 2%), которые должны быть выполнены для прохождения нагрузочного тестирования LLM эндпоинта.

Где встречается

• 216. Как вы делаете load testing для LLM endpoint Какие метрики ключевые

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление