Поиск

wikiprompt observability
# prompt observability ## Определение Систематический мониторинг и анализ поведения LLM-приложений на уровне отдельных промптов для обнаружения деградации. ## Где встречается - [[807…
wikiмониторинг в production
# мониторинг в production ## Определение Непрерывное отслеживание метрик производительности (латентность, токены, ошибки) RAG-системы в продуктивной среде для выявления проблем и…
wikiинкрементальный расчёт
…Применяется в мониторинге логов и вычислении метрик. ## Где встречается - [[281. Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] ## Навигация…
wikirecording rules
# recording rules ## Определение Правила предварительных вычислений агрегированных метрик, например p50, p99, в системах мониторинга типа Prometheus. ## Где встречается - [[27. Настроить…
wikimetric drift
# metric drift ## Определение Изменение распределения метрик качества со временем, требующее мониторинга и срабатывания алертов при отклонении от baseline. ## Где встречается…
wikiМониторинг безопасности
# Мониторинг безопасности ## Определение Непрерывное отслеживание событий безопасности, таких как частота срабатываний детекторов атак, для выявления аномалий и дрейфа угроз. ## Где…
answerНазовите 7 production failure modes для agentic AI систем по PAEF (Pandey, 2026)?
…Понимание и [[Вики/мониторинг в production\|мониторинг]] этих режимов необходимы для построения надёжных, предсказуемых и безопасных AI-агентов в промышленной…
wikimonitoring delegation
# monitoring delegation ## Определение Система мониторинга механизма делегирования задач между AI-агентами, отслеживающая корректность и эффективность распределения работы. ## Где встречается - [[Практика…
wikistragglers
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikimonitoring for LLM applications
# monitoring for LLM applications ## Определение Мониторинг LLM-приложений, включающий логирование траекторий и оценку качества генерации для выявления деградации и аномалий…
wikitail latency amplification
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikip99/p50 ratio
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikicontext drift
…Что такое «prompt observability» (мониторинг эффективности промптов в production)|807. Что такое «prompt observability» (мониторинг эффективности промптов в production)]] ## Навигация…
wikiSlack webhook
…Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
wikiClickHouse
…Что такое «prompt observability» (мониторинг эффективности промптов в production)|807. Что такое «prompt observability» (мониторинг эффективности промптов в production)]] - [[Практика…
wikiinfrastructure cost
# infrastructure cost ## Определение Infrastructure cost (инфраструктурные затраты) — совокупность расходов на хостинг агента, GPU, логирование, сеть и мониторинг, учитываемых при оценке…
wikiSLI
# SLI ## Определение Измеряемые метрики (latency, faithfulness, availability) уровня обслуживания, используемые для мониторинга выполнения SLO и SLA. ## Где встречается - [[381. Как…
wikialert rules
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] - [[262. Настроить дашборд для failures|262. Настроить дашборд для…
wikiPromQL
# PromQL ## Определение Язык запросов для Prometheus, используемый для извлечения и агрегации метрик мониторинга, например, latency percentiles и error rate. ## Где…
wikiAirflow
# Airflow ## Определение Платформа для оркестрации рабочих процессов, мониторинга и повторных попыток выполнения DAG, часто используется для batch-пайплайнов и ETL…
wikiRule-based classifier
…Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
wikiCloudWatch
# CloudWatch ## Определение Сервис мониторинга и логирования AWS, применяемый для отслеживания прерываний spot instances, метрик использования ресурсов и мониторинга нагрузки при…
wikitraces
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] - [[30. Настроить correlation между метриками|30. Настроить correlation между…
wikicompletion rate
…Что такое «prompt observability» (мониторинг эффективности промптов в production)|807. Что такое «prompt observability» (мониторинг эффективности промптов в production)]] - [[Практика…
wikiheatmap
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] - [[145. Сделать финансовую модель LLM-продукта|145. Сделать финансовую…
wikihistogram_quantile
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] - [[30. Настроить correlation между метриками|30. Настроить correlation между…
answerLangSmith — зачем и как используете?
…Она обеспечивает сквозную [[Вики/мониторинг\|наблюдаемость]] ([[Вики/мониторинг\|observability]]) цепочек вызовов, позволяет создавать [[Вики/датасеты\|датасеты]] для регрессионного тестирования, проводить…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать автоматический rollback промпта при падении faithfulness
…Свяжите [[Вики/мониторинг\|мониторинг]] и [[Вики/fallback model\|rollback]] - В скрипте `[[Вики/Monitor\|monitor]].py` при обнаружении деградации в 3…
answerКакие 3 книги/курса вы рекомендуете по production LLM?
…управление контекстом, [[Вики/orchestration\|оркестрация]], [[Вики/мониторинг в production\|мониторинг]], [[Вики/Safetysecurity\|безопасность]], [[Вики/Version control\|версионирование]]. [[Вики/Failure mode…
wikiCron
…Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] - [[285. Реализовать synthetic benchmark генератор|285. Реализовать synthetic benchmark генератор]] ## Навигация…
answerКак вы измеряете drift retrieval-качества в RAG (когда документы меняются)?
…Основной подход — [[Вики/мониторинг\|мониторинг]] оффлайн-метрик ([[Вики/Hit rate\|hit rate]], [[Вики/MRR\|MRR]]) на фиксированном тестовом наборе запросов…
wikiPrometheus Alertmanager
…Настроить tail latency amplification мониторинг|27. Настроить tail latency amplification мониторинг]] - [[29. Реализовать автоматический postmortem|29. Реализовать автоматический postmortem]] - [[47…
wikimoving average
…Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
answerКак вы обрабатываете production incident с LLM (playbook)?
…Detect (обнаружение через [[Вики/мониторинг\|мониторинг]]), [[Вики/блок фиксированного размера\|Page]] [[Вики/on-call\|on-call]] ([[Вики/human-in-the…
wikiactivations
# activations ## Определение Промежуточные значения нейронов; мониторинг активаций может выявить проблемы, такие как насыщение или NaN. ## Где встречается - [[800+ вопросов|800…
wikiInvalidation count
# Invalidation count ## Определение Метрика для мониторинга числа операций инвалидации кэша. ## Где встречается - [[257. Реализовать cache invalidation|257. Реализовать cache invalidation…
wikidrift metrics
…Используются для мониторинга дрейфа качества. ## Где встречается - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiLangFuse
# LangFuse ## Определение Open-source платформа observability для мониторинга, трейсинга и оценки качества LLM-приложений, включая анализ затрат на токены. ## Где…
answerКак вы логируете все вызовы LLM для аудита?
…Как вы логируете все вызовы LLM для аудита? ## Краткий тезис [[Вики/мониторинг в production\|Логирование]] всех вызовов [[Вики/LLM\|LLM…
wikiFIRING
# FIRING ## Определение Состояние алерта в системе мониторинга Alertmanager, указывающее, что условие алерта выполняется и активен сигнал тревоги. ## Где встречается - [[129…
wikiHighFailureRate
# HighFailureRate ## Определение Название правила алерта в системе мониторинга, срабатывающего при превышении 5% ошибочных запросов за двухминутный интервал. ## Где встречается - [[129…
wikiKibana
# Kibana ## Определение Инструмент визуализации логов и метрик, часто используемый в связке с Elasticsearch для мониторинга и анализа данных. ## Где встречается…
wikiMonitoring stack
# Monitoring stack ## Определение Совокупность инструментов (Prometheus, Grafana, экспортёры) для сбора и визуализации метрик системы. ## Где встречается - [[188. Настроить monitoring сообщений…
wikiOverfitting detection
# Overfitting detection ## Определение Процесс выявления переобучения путём мониторинга расхождения между loss на обучающей и валидационной выборках. ## Где встречается - [[800+ вопросов…
wikicollaboration_total
# collaboration_total ## Определение Счётчик общего числа отправленных запросов между агентами, используемый для мониторинга интенсивности взаимодействия. ## Где встречается - [[295. Настроить coordination…
wikicontent_filter
# content_filter ## Определение Тип ошибки, связанный с фильтрацией контента, используемый в мониторинге отказов. ## Где встречается - [[262. Настроить дашборд для failures…
wikiOpenMetrics
# OpenMetrics ## Определение Открытый формат экспорта метрик, используемый для мониторинга и сбора показателей работы систем в формате, совместимом с Prometheus. ## Где…
wikiqueue length monitoring
# queue length monitoring ## Определение Процесс отслеживания длины очереди для оценки загруженности системы и эффективности механизмов backpressure. ## Где встречается - [[800+ вопросов…
wikiTelegram
# Telegram ## Определение Кроссплатформенный мессенджер, используемый как канал для отправки алертов и уведомлений в системах мониторинга и MLOps. ## Где встречается - [[26…
wikiAzure Monitor
# Azure Monitor ## Определение Сервис мониторинга метрик и логов в Azure, используемый для observability инфраструктуры. ## Где встречается - [[99. Написать postmortem для…