504 Gateway Timeout

Определение

Ошибка HTTP, возникающая, когда промежуточный сервер (шлюз) не получает ответа от вышестоящего сервера в течение заданного времени. В контексте LLM serving указывает на превышение времени ожидания для in-flight запросов при завершении работы пода.

Где встречается

• 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление