Tree Cache Management

Определение

Управление кэшем KV при параллельной верификации нескольких последовательностей (дерево) в архитектурах типа Medusa или Self-Speculative.

Где встречается

• 164. Какие trade-offs между разными архитектурами speculative decoding
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление