Adaptive context

Определение

Техника уменьшения количества токенов контекста для простых запросов, что косвенно снижает стоимость инференса.