English translation is not available yet. Showing Russian content.
Linear heads
Linear heads
Определение
Дополнительные линейные слои, добавляемые поверх языковой модели, используемые в speculative decoding (например, Medusa) для параллельного предсказания нескольких следующих токенов.