Hydra

Определение

Метод speculative decoding с несколькими draft-моделями и деревом кандидатов. Обеспечивает максимальную частоту принятия токенов.