off-peak scheduling

Определение

Стратегия планирования batch-инференса на периоды с низкой стоимостью GPU, позволяющая снизить затраты.

Где встречается

• 220. Как вы выбираете между online и batch инференсом для LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление