Cache hit ratio
Cache hit ratio
Определение
Доля запросов, обслуженных из кэша; ключевая метрика эффективности кэширования, влияющая на задержку и стоимость.
Где встречается
- 7. Как вы уменьшаете latency RAG-системы (время ответа)
- 74. Как вы мониторите дрейф данных (data drift) для RAG
- 78. Какие LLM для русского языка вы используете
- 80. Какие 3 книгикурса вы рекомендуете по production LLM
- 86. Как вы решаете проблему “я знаю, что ответ есть в документах, но retrieval не находит”
- 91. Что такое Semantic Caching и как вы его реализуете
- 247. Как вы проектируете multi-region active-active для LLM API
- 454. Что такое prompt caching у провайдеров (Anthropic, Google) и как его использовать
- 533. Как вы обрабатываете real-time фичи для LLM (например, текущий сток товара)
- 703. Как работает L1L2 cache hierarchy в A100H100 и как ее использовать для LLM
- 741. Что такое Partial Harnessing (частичное управление)
- 742. В чем разница между Workflow и Guidance в теории harness-engineering
- 757. Какие инструменты и фреймворки существуют для Harness Engineering
- 784. Как строить финансовую модель LLM-продукта для бизнеса
- 827. Какие есть стратегии распределённого кэширования для LLM (Redis Cluster, Memcached, Hazelcast)
- 831. Как проектировать graceful degradation при отказе vector DB
- 864. Как обрабатывать late-arriving data в ingestion
- 883. Как защитить RAG от poisoning (вредоносные документы в базе знаний)
- 889. Как детектировать и предотвращать vector DB poisoning
- Практика
- 17. Настроить S3 consistency для RAG
- 32. Настроить Redis cluster с LFU eviction
- 33. Реализовать write-through cache для RAG
- 38. Настроить TTL для semantic cache
- 47. Реализовать query drift детекцию
- 50. Настроить contextual retrieval (Anthropic стиль)
- 88. Реализовать hallucination indicator
- 91. Написать postmortem для retrieval degradation
- 97. Настроить retrieval quality dashboard
- 99. Написать postmortem для cache stampede
- 142. Реализовать cost-aware caching
- 174. Настроить prompt caching
- 225. Semantic cache для RAG
- 245. RAG с semantic chunking
- 246. Агент с наблюдаемостью (OpenTelemetry)
- 257. Реализовать cache invalidation