English translation is not available yet. Showing Russian content.
offline batch inference
offline batch inference
Определение
Режим инференса, при котором запросы обрабатываются батчами без реального времени, часто с сортировкой по длине для оптимизации пропускной способности.