max_num_seqs

Определение

Параметр vLLM, ограничивающий количество последовательностей (запросов) в одном батче. Позволяет контролировать использование памяти и вычислительных ресурсов.

Где встречается

• 411. Как вы проектируете backpressure в LLM serving системе
• 224. vLLM кластер на 4 GPU

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление