caching
caching
Определение
Оптимизация, заключающаяся в сохранении результатов одинаковых или похожих запросов для ускорения и снижения расхода токенов. Широко применяется в AI-системах для экономии ресурсов.
Где встречается
- 60. Как вы обрабатываете ошибки агента (action не сработал, API вернул ошибку)
- 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
- 233. Как вы делаете hybrid search (vector + keyword) в production на 10M документов
- 239. Что такое idempotency в контексте LLM API и зачем она нужна
- 380. Что такое semantic ranking на основе embeddings (вторая стадия после ANN)
- 381. Как вы определяете SLO и SLA для LLM сервиса
- 406. Что такое idempotency в контексте LLM API и зачем она нужна
- 548. Что такое diffusion backends для генерации изображений (Stable Diffusion, Flux) и как их вызывать из агента
- 583. Как вы делаете agent с bounded rationality (ограниченные вычислительные ресурсы)
- 587. Как работает agent with external tool verification (проверка результатов API)
- 697. Как вы масштабируете синтетическую генерацию до миллионов примеров (cost optimization)
- 772. Что такое «аутсорсинг» задачи другому LLM (с другим API, другой ценой)
- 775. Что такое Cost Engineering для LLM-систем
- 780. Как измерять ROI от fine-tuning (окупается ли дообучение более дешёвым инференсом)
- 783. Как сравнивать cost efficiency разных LLM провайдеров
- 784. Как строить финансовую модель LLM-продукта для бизнеса
- Практика
- 800+ вопросов
- 107. Настроить AdmissionController
- 139. Настроить cost attribution per feature
- 153. Настроить chaos testing
- 161. Развернуть Prompt Registry
- 186. Настроить message schema registry