ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить monitoring delegation

1. Цель задачи

Реализовать систему мониторинга для механизма делегирования задач между AI-агентами. Необходимо настроить сбор метрик (количество делегирований, успешность выполнения]], latency), визуализацию в реальном времени и алерты, позволяющие обнаруживать деградацию сервиса. Результат — работающий дашборд, по которому оператор может за 10 секунд оценить здоровье пайплайна делегирования.

Ключевой результат Grafana-дашборд с панелями «Количество делегирований», «Успешность (Success Rate)», «Latency (p50/p95/p99)» и настроенные Prometheus-алерты, срабатывающие при падении успешности ниже 95 % или превышении p95 latency > 5 секунд.

2. Исходные данные

Если нет реального инструмента — симулируем:

1. Развернуть docker-compose.yml с сервисами: Prometheus, Grafana, симулятор делегирований на Python.
2. Написать симулятор, который каждые 5 секунд эмулирует от 10 до 100 делегирований с random успешностью (90-100 %) и latency (1-10 сек).
3. Экспортировать метрики через HTTP /metrics в формате OpenMetrics с помощью библиотеки prometheus_client.
4. В дашборде Grafana использовать Prometheus как источник данных.

3. Технологический стек

4. Этапы выполнения

Этап 1: Проектирование метрик и инструментация симулятора (1 час)

Действия

1. Определить SLI для делегирования

   • delegation_requests_total — счётчик всех попыток делегирования (tags: status, agent_from, agent_to)
   • delegation_duration_seconds — гистограмма latency (buckets: 0.1, 0.5, 1, 2, 3, 5, 10)
   • delegation_success_total / delegation_failure_total — частные счётчики (альтернативно — один счётчик с label status)

2. Написать Python-скрипт simulator.py

   • Создать Counter, Histogram из prometheus_client
   • Каждые N секунд запускать функцию simulate_delegation(agent_from, agent_to)
   • Внутри: генерировать случайную задержку (нормальное распределение), случайный успех (95-100 %)
   • Инкрементировать счётчики, наблюдать гистограмму
   • Поднять HTTP сервер на порту 8000 с эндпоинтом /metrics

3. Настроить Prometheus

   • Написать prometheus.yml со scrape_config на симулятор (target: simulator:8000)
   • Запустить Prometheus в docker

Ожидаемый результат этапа Симулятор работает, Prometheus видит метрики, в веб-интерфейсе Prometheus (порт 9090) доступны delegation_requests_total, delegation_duration_seconds_bucket.

Этап 2: Настройка дашборда в Grafana (1.5 часа)

Действия

1. Подключить Grafana к Prometheus

   • Создать data source типа Prometheus, URL: http://prometheus:9090

2. Создать дашборд "Delegation Monitoring" с панелями:

   • Панель 1 — Количество делегирований rate(delegation_requests_total[5m]) (единица: ops/sec)
   • Панель 2 — Успешность rate(delegation_requests_total{status="success"}[5m]) / rate(delegation_requests_total[5m]) * 100 (график: процент)
   • Панель 3 — Latency p50/p95/p99 histogram_quantile(0.50, rate(delegation_duration_seconds_bucket[5m])) и аналогично для 0.95, 0.99
   • Панель 4 — RPS по статусам (stacked bar): rate(delegation_requests_total[5m]) by status

3. Настроить отображение

   • Единые временные диапазоны (последние 15 минут, 1 час, 24 часа)
   • Цвета: зелёный для успеха, красный для ошибок
   • Threshold (пороговые линии) на панели успешности: красная линия на 95 %

Ожидаемый результат этапа Дашборд открывается, данные обновляются каждые 5 секунд, все четыре панели показывают корректные значения.

Этап 3: Настройка алертов (1 час)

Действия

1. Создать файл alert.rules

   groups:
     - name: delegation_alerts
       rules:
         - alert: HighFailureRate
           expr: |
             rate(delegation_requests_total{status="failure"}[5m]) /
             rate(delegation_requests_total[5m]) > 0.05
           for: 2m
           labels:
             severity: critical
           annotations:
             summary: "Уровень ошибок делегирования превысил 5%"
             description: "Доля ошибок за последние 5 минут: {{ $value | humanizePercentage }}"
   
         - alert: HighLatency
           expr: histogram_quantile(0.95, rate(delegation_duration_seconds_bucket[5m])) > 5
           for: 2m
           labels:
             severity: warning
           annotations:
             summary: "p95 latency делегирования превысил 5 секунд"
   

2. Подключить правила в prometheus.yml

   rule_files:
     - /etc/prometheus/alert.rules
   

3. Настроить Alertmanager (в docker-compose) с простым webhook-уведомлением (например, в Slack или логирование в файл).

4. Проверить алерты

   • Временно изменить симулятор, чтобы генерировать 20 % ошибок
   • Убедиться, что через 2 минуты алерт переходит в состояние FIRING

Ожидаемый результат этапа В Alertmanager отображаются активные алерты при симуляции деградации.

Этап 4: Тестирование деградации и верификация дашборда (30 минут)

Действия

1. Сценарий тестирования

   • Запустить симулятор с нормальными параметрами (99 % успех, latency ~2 сек)
   • Через 5 минут изменить параметры: success_rate=80 %, latency_mean=8 сек
   • Наблюдать изменения на дашборде в реальном времени

2. Проверить

   • Падение успешности ниже 95 % заметно на панели и алерт срабатывает
   • Рост p95 latency заметен на гистограмме
   • Количество делегирований не падает (или падает, если симулятор снижает rps)

3. Документировать

   • Скриншоты дашборда в моменты «до» и «во время» деградации
   • Ссылку на дашборд (localhost:3000)

Ожидаемый результат этапа Подтверждено, что дашборд и алерты позволяют обнаружить деградацию делегирования.

Этап 5: Финальная настройка и документация (30 минут)

Действия

1. Добавить в README

   • Как запустить стек (docker-compose up)
   • Как получить доступ к дашборду
   • Описание метрик и алертов
   • Инструкция по изменению порогов

2. Экспортировать дашборд Grafana как JSON (вкладка "Share" → "Export")

3. Создать Makefile для быстрого управления: make up, make down, make logs

Ожидаемый результат этапа Полный комплект: дашборд JSON, скрипты, docker-compose, правила алертов, README.

5. Критерии приемки (Definition of Done)

• Prometheus собирает метрики делегирования (проверка через /targets)
• В Grafana создан дашборд с минимум 4 панелями: количество, успешность, latency (p50/p95/p99), RPS по статусам
• Дашборд обновляется с интервалом ≤ 10 секунд
• Настроены Prometheus правила алертов: HighFailureRate (порог 5% ошибок за 2 мин) и HighLatency (p95 > 5 сек за 2 мин)
• При симуляции деградации (success_rate < 95%) алерт переходит в состояние FIRING
• Документация (README) содержит инструкцию по запуску и описание метрик
• Дашборд экспортирован как JSON-файл и сохранён в репозитории
• Docker Compose файл поднимает все компоненты одной командой

6. Ожидаемый результат

• Дашборд Grafana (экспортированный JSON) с названием "Delegation Monitoring"
• Файлы конфигурации prometheus.yml, alert.rules, docker-compose.yml, simulator.py, Makefile
• README.md с описанием стека, инструкцией по запуску и примерами алертов
• Опционально скриншоты дашборда в нормальном и деградированном состоянии

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание: Для первого прохождения рекомендуется заложить дополнительно 1-2 часа на отладку и изучение PromQL.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я определил три ключевых SLI для делегирования: количество, успешность, latency
• Я написал симулятор на Python, который экспортирует метрики в формате Prometheus
• Я развернул стек (Prometheus + Grafana + Alertmanager) через Docker Compose
• Я создал дашборд Grafana с четырьмя панелями и настроил алерты
• Я провёл тест деградации и убедился, что алерт срабатывает, а дашборд отражает изменения
• Я сохранил конфигурацию и экспортировал дашборд в репозиторий проекта
• Я написал README с инструкциями для воспроизведения результата