Batching scheduler

Определение

Планировщик, который группирует входящие запросы в батчи для оптимальной загрузки GPU и повышения пропускной способности.