…

max-batch-prefill-tokens

Определение

Параметр TGI, влияющий на throughput, ограничивающий количество токенов prefill в одном батче.