max-batch-prefill-tokens

Определение

Параметр TGI, влияющий на throughput, ограничивающий количество токенов prefill в одном батче.

Где встречается

• 206. Развернуть vLLM vs TGI, сравнить throughput

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление