Preemption by swap

Определение

Стратегия вытеснения, при которой KV cache выгружается из GPU в CPU RAM при нехватке памяти, а при возобновлении загружается обратно.

Где встречается

• 850. Как работают inference schedulers (FCFS, Priority, Fairness)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление