503 Service Unavailable
503 Service Unavailable
Определение
HTTP-статус, возвращаемый при отказе в обслуживании из-за перегрузки. Заголовок Retry-After указывает клиенту время ожидания перед повторной попыткой.
Где встречается
- 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
- 244. Как вы проектируете backpressure в LLM serving системе
- 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
- 249. Как вы делаете load shedding при перегрузке LLM сервера
- 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes
- 411. Как вы проектируете backpressure в LLM serving системе
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- Практика
- 800+ вопросов
- 203. Реализовать retry storm mitigation