jitter
jitter
Определение
Случайная добавка к задержке ретрая (обычно от 0 до 1 секунды), чтобы избежать одновременных запросов и снять эффект thundering herd.
Где встречается
- 238. Как вы реализуете retry с exponential backoff для LLM API с rate limit
- 239. Что такое idempotency в контексте LLM API и зачем она нужна
- 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
- 249. Как вы делаете load shedding при перегрузке LLM сервера
- 384. Как вы проводим chaos engineering для RAG системы
- 830. Как проектировать retry storm mitigation (защита от лавинных ретраев)
- 835. Как проектировать distributed dead letter queue для сообщений
- Практика
- 800+ вопросов
- 203. Реализовать retry storm mitigation