cost-aware caching

Определение

Механизм кэширования, который сохраняет ответы LLM только для дорогих запросов, чтобы снизить затраты, не кэшируя дешёвые.

Где встречается

• Практика
• 142. Реализовать cost-aware caching

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление