jitter

Определение

Случайная добавка к задержке ретрая (обычно от 0 до 1 секунды), чтобы избежать одновременных запросов и снять эффект thundering herd.

Где встречается

• 238. Как вы реализуете retry с exponential backoff для LLM API с rate limit
• 239. Что такое idempotency в контексте LLM API и зачем она нужна
• 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
• 249. Как вы делаете load shedding при перегрузке LLM сервера
• 384. Как вы проводим chaos engineering для RAG системы
• 830. Как проектировать retry storm mitigation (защита от лавинных ретраев)
• 835. Как проектировать distributed dead letter queue для сообщений
• Практика
• 800+ вопросов
• 203. Реализовать retry storm mitigation

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление