Load testing
Load testing
Определение
Нагрузочное тестирование LLM endpoint для оценки производительности, латентности и стабильности под реальной нагрузкой. Часто выполняется с помощью инструментов Locust или k6.
Где встречается
- 216. Как вы делаете load testing для LLM endpoint Какие метрики ключевые
- 767. Как проектировать SLA между агентом-менеджером и агентами-исполнителями
- 800+ вопросов
- 15. Настроить tiered storage (hotwarmcold)
- 16. Реализовать compaction в векторной БД
- 132. Настроить cost tracking в production
- 196. Настроить backpressure в ingestion
- 202. Настроить health checks для LLM
- 225. Semantic cache для RAG
- 254. Реализовать SLO для RAG
- 255. Настроить correlation метрик