Heavy Hitter

Определение

Токены с наибольшими значениями attention, которые сохраняются при сжатии KV-кэша (например, в методе H2O) для работы с длинными контекстами.

Где встречается

• 642. Как вы реализуете KV cache для 1M токенов на 8x H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление