offline batch inference

Определение

Режим инференса, при котором запросы обрабатываются батчами без реального времени, часто с сортировкой по длине для оптимизации пропускной способности.

Где встречается

• 843. Что такое continuous batching и как оно влияет на throughput

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление