KV-cache compression

Определение

Метод сжатия KV-кэша для уменьшения потребления памяти при инференсе LLM.

Где встречается

• 441. EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление