max_batched_tokens

Определение

Параметр, ограничивающий общее количество токенов в батче для предотвращения вытеснений или определяющий размер чанка при chunked prefill.