Batching timeout

Определение

Максимальное время, в течение которого планировщик ожидает накопления запросов перед отправкой батча, чтобы сбалансировать задержку и пропускную способность.

Где встречается

• 218. Как работает continuous batching в TGI (Hugging Face Text Generation Inference)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление