Swap-based preemption

Определение

Вид вытеснения запроса, при котором его блоки KV-кэша выгружаются на CPU для последующего восстановления, освобождая GPU-память.

Где встречается

• 837. Как работает paged attention (детально)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление