DeepSpeed Inference

Определение

Компонент DeepSpeed для автоматического выбора tensor/pipeline parallelism на основе профилирования для ускорения инференса.

Где встречается

• 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление