termTimeoutSeconds

Определение

Параметр Kubernetes (terminationGracePeriodSeconds), задающий максимальное время на graceful shutdown пода. Для LLM serving его увеличивают, чтобы успеть завершить текущие запросы и корректно остановить модель.

Где встречается

• 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление