Preemption by recomputation

Определение

Стратегия вытеснения, при которой запрос полностью удаляется, а при возобновлении перезапускается с начала, пересчитывая KV cache заново.

Где встречается

• 850. Как работают inference schedulers (FCFS, Priority, Fairness)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление