English translation is not available yet. Showing Russian content.
Readiness probe
Readiness probe
Определение
Проверка в Kubernetes, определяющая, готов ли под принимать трафик. Обычно возвращает успех, когда модель загружена и сервис готов к обработке запросов.
Где встречается
- 250. Как вы делаете health check для LLM сервера с учетом модели (не только процесс)
- 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes
- 825. Что такое autoscaling inference и как его настроить
- Практика
- 800+ вопросов
- 74. Настроить auto-scaling для vLLM
- 198. Настроить multi-region active-passive
- 264. Настроить health checks для всех компонентов