Linear heads

Определение

Дополнительные линейные слои, добавляемые поверх языковой модели, используемые в speculative decoding (например, Medusa) для параллельного предсказания нескольких следующих токенов.

Где встречается

• 164. Какие trade-offs между разными архитектурами speculative decoding

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление