KV cache manager

Определение

Компонент TGI, управляющий кэшем ключей и значений для каждого запроса.

Где встречается

• 218. Как работает continuous batching в TGI (Hugging Face Text Generation Inference)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление