Prometheus + Grafana
Prometheus + Grafana
Определение
Популярный стек мониторинга, где Prometheus собирает метрики, а Grafana предоставляет дашборды для визуализации, алертов и анализа.
Где встречается
- 90. Как вы проектируете API для внешних систем, использующих вашу LLM
- 146. Как вы обеспечиваете «человека в петле» (HITL) для критических действий агента
- 819. Что такое «circuit breaker» на уровне меж-агентских вызовов
- 851. Как строить streaming RAG pipeline (real-time ingestion)
- 855. Как проектировать CDC (Change Data Capture) для документов
- 863. Как проектировать Airflow DAG для RAG ingestion
- 886. Как делать sandboxing для agent tools (изоляция выполнения)
- 888. Как защититься от prompt stealing (кража системного промпта)
- 896. Как сделать агента самовосстанавливающимся (self-healing)
- Практика
- 10. Реализовать topology-aware scheduling
- 15. Настроить tiered storage (hotwarmcold)
- 16. Реализовать compaction в векторной БД
- 72. Настроить capacity planning для GPU кластера
- 73. Сравнить spot vs on-demand для batch inference
- 74. Настроить auto-scaling для vLLM
- 77. Реализовать cost-aware routing
- 80. Реализовать cost attribution per feature
- 82. Реализовать human-in-the-loop для критических действий
- 85. Спроектировать escalation system
- 86. Реализовать user feedback loop
- 90. Реализовать user trust метрику
- 107. Настроить AdmissionController
- 109. Настроить cost tracking для агента
- 117. Настроить эскалацию человеку
- 123. Реализовать rollback delegation
- 124. Настроить SLA между агентами
- 127. Реализовать outsourcing другому LLM
- 128. Измерить KPD (коэффициент полезного делегирования)
- 129. Настроить monitoring delegation
- 130. Написать postmortem для неудачного делегирования
- 132. Настроить cost tracking в production
- 133. Реализовать cost-aware routing
- 134. Настроить token budget для агента
- 139. Настроить cost attribution per feature
- 142. Реализовать cost-aware caching
- 143. Сравнить reserved vs spot vs on-demand
- 144. Настроить anomaly detection по cost
- 153. Настроить chaos testing
- 160. Написать test plan для агента