TTL

Определение

Время жизни записи в кэше, после которого она автоматически удаляется. Простой механизм инвалидации для предотвращения использования устаревших данных.

Где встречается

• 7. Как вы уменьшаете latency RAG-системы (время ответа)
• 9. Как вы обновляете документы в существующей RAG-системе
• 19. Как вы храните историю диалога в RAG для multi-turn QA
• 51. Как вы передаёте контекст между несколькими агентами (multi-agent system)
• 70. Как вы снижаете стоимость LLM в production на 50%+
• 90. Как вы проектируете API для внешних систем, использующих вашу LLM
• 91. Что такое Semantic Caching и как вы его реализуете
• 219. Что такое prompt caching у провайдеров (Anthropic, Google) и как его использовать
• 239. Что такое idempotency в контексте LLM API и зачем она нужна
• 245. Как вы делаете cache invalidation для semantic cache при обновлении знаний
• 247. Как вы проектируете multi-region active-active для LLM API
• 253. Как вы делаете асинхронную обработку long-running (30s) LLM задач
• 262. Как вы проектируете feature store для ML фичей, используемых LLM
• 269. Как вы обрабатываете streaming данные для real-time RAG
• 406. Что такое idempotency в контексте LLM API и зачем она нужна
• 407. Как вы проектируете dead letter queue для failed LLM инференс запросов
• 418. Как вы деплоите LLM на spot instances в облаке
• 442. Что такое prefix caching и когда он эффективен
• 517. Как вы проектируете feature store для ML фичей, используемых LLM
• 518. Как вы обрабатываете PII в данных для RAG (GDPR, 152-ФЗ)
• 525. Как вы управляете cost хранения векторной БД при миллиарде векторов
• 533. Как вы обрабатываете real-time фичи для LLM (например, текущий сток товара)
• 548. Что такое diffusion backends для генерации изображений (Stable Diffusion, Flux) и как их вызывать из агента
• 586. Что такое agent state management (состояние агента между вызовами)
• 738. Назовите 12+ слоёв эталонной архитектуры Harness.
• 749. Что такое Session Management в Harness и какие стратегии (TTL, LRU, GC)
• 812. Как обеспечивать exactly-once delivery между агентами
• 815. Что такое «dead letter queue» для сообщений агентов
• 827. Какие есть стратегии распределённого кэширования для LLM (Redis Cluster, Memcached, Hazelcast)
• 828. Как проектировать distributed locking для LLM agents
• 831. Как проектировать graceful degradation при отказе vector DB
• 842. Как работает prefix caching и prompt caching у провайдеров
• 865. Как проектировать schema registry для метаданных RAG
• 897. Как работают agent swarms (рой агентов)
• Практика
• 800+ вопросов
• 17. Настроить S3 consistency для RAG
• 35. Реализовать cache stampede защиту
• 82. Реализовать human-in-the-loop для критических действий
• 99. Написать postmortem для cache stampede

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление