Medusa-2

Определение

Метод спекулятивного декадинга с несколькими draft головами, который параллельно предсказывает несколько токенов для ускорения инференса.