…

shared prefixes

Определение

Повторяющиеся начальные части промптов, для которых применяется кэширование для ускорения инференса.