English translation is not available yet. Showing Russian content.
tensor-parallel-size
tensor-parallel-size
Определение
Параметр vLLM, определяющий количество GPU для распределения модели с помощью tensor parallelism. Влияет на масштабирование и производительность инференса.