inflight requests

Определение

Запросы, которые обрабатываются в момент начала shutdown; их необходимо завершить перед остановкой сервиса.

Где встречается

• 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление