Anthropic prompt caching
Anthropic prompt caching
Определение
Технология кэширования KV-состояния для общих префиксов запросов, реализованная в API Anthropic. Позволяет снизить стоимость и задержку до 90% за счёт повторного использования вычислений в серии запросов.
Где встречается
- 842. Как работает prefix caching и prompt caching у провайдеров
- Практика
- 800+ вопросов
- 174. Настроить prompt caching