Поиск
- wikiObservability Triad
…Как вы делаете distributed tracing для цепочки user → gateway → RAG → LLM → user|408. Как вы делаете distributed tracing для цепочки…
- wikiprompt observability
# prompt observability ## Определение Систематический мониторинг и анализ поведения LLM-приложений на уровне отдельных промптов для обнаружения деградации. ## Где встречается - [[807…
- wikiLLM observability
# LLM observability ## Определение Наблюдаемость вызовов LLM через сбор метрик, логов и трассировки для отслеживания производительности, ошибок и качества ответов; часто…
- wikiPixie
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiExternal Authorization
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiMetrics
# Metrics ## Определение Количественные показатели производительности LLM-системы, такие как задержка, количество токенов и частота ошибок; собираются для observability. ## Где встречается…
- wikiLoki
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiOpenTelemetry collector
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikisidecar pattern
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiIstio
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiCilium
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiLua filter
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiPromtail
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiemptyDir volume
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiPod
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikilogs
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikilatency overhead
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikieBPF
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiтрейсинг
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- answerЧто такое sidecar pattern для LLM observability и как его реализовать?
…В контексте [[Вики/LLM observability\|LLM observability]] [[Вики/sidecar pattern\|sidecar]] берёт на себя: - перехват HTTP/gRPC-запросов к [[Вики…
- wikiEnvoy
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiGrafana Tempo
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiKind
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiOTLP
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Полный production агент
…тесты. - `config/` — конфигурационные файлы (LLM, инструменты, observability). - `deploy/` — Dockerfile, docker-compose.yaml, файлы для observability. - `.github/workflows/deploy.yml` — CI…
- wikiLangFuse
# LangFuse ## Определение Open-source платформа observability для мониторинга, трейсинга и оценки качества LLM-приложений, включая анализ затрат на токены. ## Где…
- answerЧто такое «prompt observability» (мониторинг эффективности промптов в production)?
…Зачем нужна prompt observability При эксплуатации LLM-системы в [[Вики/production\|production]] разработчики сталкиваются с проблемой: [[Вики/промпты\|промпты]], которые…
- wikiCelery
…Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)|65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI…
- wikihelm
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiArize
# Arize ## Определение Платформа мониторинга и observability для ML/LLM систем, альтернатива LangSmith. ## Где встречается - [[578. Что такое agent evaluation метрика…
- wikiMinikube
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiClickHouse
…Используется для хранения логов LLM и метрик бенчмарков. ## Где встречается - [[73. Как вы логируете все вызовы LLM для аудита|73…
- answerКакие инструменты и фреймворки существуют для Harness Engineering?
…LangSmith / LangFuse — observability для LLM [[Вики/LangSmith\|LangSmith]] (от [[Вики/agent\|LangChain]]) и [[Вики/LangSmith\|LangFuse]] (open-source) — платформы для…
- wikiNew Relic
# New Relic ## Определение Платформа observability для мониторинга производительности приложений и инфраструктуры. Предоставляет метрики, трейсы и логи для анализа. ## Где встречается…
- wikiOpenTelemetry
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- answerЧто такое sidecar pattern для LLM observability и как его реализовать?
…Зачем нужен sidecar для LLM observability LLM-системы (RAG, агенты, чат-боты) — это распределённые приложения, где запрос проходит через несколько…
- wikiREST
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiNVIDIA DCGM Exporter
…Настроить autoscaling для LLM сервера|192. Настроить autoscaling для LLM сервера]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
- wikiDatadog
# Datadog ## Определение SaaS-платформа мониторинга и аналитики для observability, логирования и трассировки облачных приложений, включая ML-сервисы. ## Где встречается - [[60…
- wikiContext relevance
…Какие метрики вы мониторите для LLM в production|62. Какие метрики вы мониторите для LLM в production]] - [[106. Как вы…
- wikiJaeger
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikiмониторинг
…Какие 3 книгикурса вы рекомендуете по production LLM|80. Какие 3 книгикурса вы рекомендуете по production LLM]] - [[95. Как вы…
- wikiloguru
…позволяющая записывать запросы/ответы LLM, шаги агентов и метрики в JSON-формате. Облегчает аудит и observability. ## Где встречается - [[82. Реализовать…
- wikiOpenAI API
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- wikigRPC
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить prompt observability
…Интеграция Alertmanager с Slack | | 600 | Best practices по observability для LLM | --- ## 10. Чек-лист самопроверки - [ ] Я настроил Prometheus и Grafana…
- wikiKubernetes
…Что такое sidecar pattern для LLM observability и как его реализовать|413. Что такое sidecar pattern для LLM observability и…
- answerЧто такое Harness Engineering и чем он отличается от Prompt Engineering и MLOps?
…больше 5 вызовов LLM за один запрос». --- ## 5. Компоненты Harness Engineering: детальный разбор ### 5.1 Observability (наблюдаемость) Сбор данных по…
- wikicost per request
…Что такое «prompt observability» (мониторинг эффективности промптов в production)]] - [[826. Как организовать GPU scheduling для multi-tenant LLM serving|826…
- answerКак вы проектируете Harness для mission-critical приложения? Приведите пример с агентом для банковских переводов.
…5. [[Вики/мониторинг\|Observability]] — каждый шаг агента трассируется и логируется для аудита и алертинга. --- ## 3. Архитектура Harness (слои снизу вверх…