Swap-based preemption

Определение

Вид вытеснения запроса, при котором его блоки KV-кэша выгружаются на CPU для последующего восстановления, освобождая GPU-память.