cost-aware caching
cost-aware caching
Определение
Механизм кэширования, который сохраняет ответы LLM только для дорогих запросов, чтобы снизить затраты, не кэшируя дешёвые.
Механизм кэширования, который сохраняет ответы LLM только для дорогих запросов, чтобы снизить затраты, не кэшируя дешёвые.