中文翻译暂不可用,显示俄语原文。
tensor-parallel-size
tensor-parallel-size
Определение
Параметр vLLM, определяющий количество GPU для распределения модели с помощью tensor parallelism. Влияет на масштабирование и производительность инференса.
中文翻译暂不可用,显示俄语原文。
Параметр vLLM, определяющий количество GPU для распределения модели с помощью tensor parallelism. Влияет на масштабирование и производительность инференса.