…

tree-based decoding

Определение

Вариант speculative decoding с несколькими draft моделями, строящими дерево кандидатов для повышения acceptance rate.