In-place rollback

Определение

Техника отката KV кэша путём изменения указателя длины без копирования данных, применяется в оптимизированных инференс-движках (vLLM, TensorRT-LLM).

Где встречается

• 159. Как speculative decoding взаимодействует с KV cache

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление