max-num-batched-tokens

Определение

Параметр vLLM, ограничивающий количество токенов в одном батче для continuous batching.

Где встречается

• Практика

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление