English translation is not available yet. Showing Russian content.
Segment caching
Segment caching
Определение
Стратегия кэширования, при которой промпт разбивается на логические сегменты (system prompt, turn пользователя, ответ модели) и каждый кэшируется отдельно для повышения эффективности повторного использования.