中文翻译暂不可用,显示俄语原文。
Segment caching
Segment caching
Определение
Стратегия кэширования, при которой промпт разбивается на логические сегменты (system prompt, turn пользователя, ответ модели) и каждый кэшируется отдельно для повышения эффективности повторного использования.