Retention Rate

Определение

Доля токенов, сохраняемых в сжатом KV cache (например, 20%), для оптимизации памяти при работе с длинными контекстами.

Где встречается

• 642. Как вы реализуете KV cache для 1M токенов на 8x H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление