Adaptive context

Определение

Техника уменьшения количества токенов контекста для простых запросов, что косвенно снижает стоимость инференса.

Где встречается

• 778. Как проектировать cost-aware routing (дешёвая модель для простых запросов, дорогая — для сложных)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление