Batching scheduler

Определение

Планировщик, который группирует входящие запросы в батчи для оптимальной загрузки GPU и повышения пропускной способности.

Где встречается

• 850. Как работают inference schedulers (FCFS, Priority, Fairness)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление