Attention pruning

Определение

Техника удаления неважных токенов из механизма внимания или KV cache для снижения вычислительной нагрузки и потребления памяти, особенно в длинных контекстах.

Где встречается

• 626. Как работают современные long-context LLM (GPT-4 1M, Claude 200k, Gemini 2M)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление