English translation is not available yet. Showing Russian content.
Graceful preemption
Graceful preemption
Определение
Механизм вытеснения задачи с сохранением её состояния, позволяющий возобновить выполнение позже. Для инференса LLM применяется редко из-за сложности переноса состояния модели.