Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/inflight requests

inflight requests

inflight requests

Определение

Запросы, которые обрабатываются в момент начала shutdown; их необходимо завершить перед остановкой сервиса.

Где встречается

  • 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes
  • 800+ вопросов

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминinference

Ссылки

  • Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes?

Обратные ссылки (3)

  • Индекс терминов
  • Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes?
  • Как работает continuous batching в TGI (Hugging Face Text Generation Inference)?