Graceful preemption

Определение

Механизм вытеснения задачи с сохранением её состояния, позволяющий возобновить выполнение позже. Для инференса LLM применяется редко из-за сложности переноса состояния модели.

Где встречается

• 826. Как организовать GPU scheduling для multi-tenant LLM serving

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление