Поиск
- wikiMulti-Agent Orchestration
# Multi-Agent Orchestration ## Определение Управление пулом агентов, передача задач между ними (handoff) и координация их работы, включая распределённые блокировки. ## Где…
- wikiОркестрация LLM-приложений
# Оркестрация LLM-приложений ## Определение Управление последовательностью вызовов LLM, инструментов и данных для выполнения сложных задач. ## Где встречается - [[41. LangChain vs…
- wikiorchestration
# orchestration ## Определение Паттерн координации вызовов LLM, инструментов и агентов в составе сложного пайплайна, реализуемый фреймворками вроде LangChain. ## Где встречается - [[46…
- wikicontainer orchestration
# container orchestration ## Определение Управление развёртыванием, масштабированием и жизненным циклом контейнеров с помощью инструментов вроде Docker Compose или Kubernetes. ## Где встречается…
- wikiOrchestration SAGA
# Orchestration SAGA ## Определение Вариант паттерна SAGA с центральным оркестратором, который направляет события и управляет последовательностью шагов между агентами. ## Где встречается…
- answerКакие 3 книги/курса вы рекомендуете по production LLM?
…управление контекстом, [[Вики/orchestration\|оркестрация]], [[Вики/мониторинг в production\|мониторинг]], [[Вики/Safetysecurity\|безопасность]], [[Вики/Version control\|версионирование]]. [[Вики/Failure mode…
- answerЧто такое Semantic Kernel и чем отличается от LangChain?
…tool calling) | | [[60 Что такое оркестрация LLM и какие её виды существуют?\|60]] | Оркестрация в целом | --- ## Навигация (Obsidian) - Предыдущий: [[53…
- answerКак проектировать ETL vs ELT для RAG?
…Инструменты для реализации ### 6.1 ETL-стек для RAG - [[Вики/orchestration\|Оркестрация]]: [[Вики/Airflow\|Airflow]], [[Вики/Prefect\|Prefect]], [[Вики/Dagster…
- answerЧто такое DSPy и какую проблему он решает, которую не решают LangChain или LlamaIndex?
…Проблема, которую решает DSPy (и не решают LangChain/LlamaIndex) | Аспект | LangChain / LlamaIndex | DSPy | |--------|------------------------|------| | Основная задача | Оркестрация (цепочки, агенты, RAG) | Оптимизация…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Агент для email
…Генерация ответа | LLM API (OpenAI) / Anthropic | Создание текста ответа | | Оркестрация | FastAPI / CLI на Click | Точка входа и управление | | Логирование | `structlog…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Multi-agent для планирования
…успешно вызывает mock-сервер и обрабатывает ошибки. ### Этап 4: Оркестрация и запуск полного пайплайна (1 час) [[Вики/Действия\|Действия]] 1…
- answerLangChain vs LlamaIndex vs Haystack — что выберете и почему?
…Оркестрация LLM-приложений [[Вики/orchestration\|Оркестрация]] — это процесс управления последовательностью вызовов [[Вики/LLM\|LLM]], инструментов, баз данных и других компонентов…
- answerНазовите 12+ слоёв эталонной архитектуры Harness?
…Multi‑Agent Orchestration (Оркестрация мульти‑агентов) Когда система состоит из нескольких агентов, этот слой управляет: - [[Вики/AgentPool\|AgentPool]] — [[Вики/AgentPool…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить drift detection для агента
…Отправка алерта и оркестрация (оценка 45 минут) Действия 1. Настройте Telegram-бота: - Создайте бота через @BotFather, получите [[Вики/token\|токен…
- answerКакие паттерны multi-agent систем вы знаете?
…Сравнительная таблица паттернов | Паттерн | Оркестрация | Коммуникация | Масштабируемость | Типичные задачи | | :--- | :--- | :--- | :--- | :--- | | Supervisor | Централизованная | Supervisor → Worker | Средняя | Разделение труда | | Hierarchical | Иерархическая | Сверху вниз…
- answerВ чем разница между Workflow и Guidance в теории harness-engineering?
…модули и слои | | 743 | ReAct vs Plan-and-Execute паттерны | | 744 | Tool-use и память в агентных системах | | 745 | Оркестрация…
- answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?
…требует администрирования | | Оркестрация | Airflow, Prefect, Dagster | Airflow: зрелость, большое сообщество | Airflow: тяжеловесен для простых задач | | Эмбеддинг модель | OpenAI, Cohere, Sentence…
- answerЧто такое «message bus» для агентов (Kafka, NATS, Redis PubSub)?
…в Agentic RAG | Аудит, логирование, ретроспектива | Реальное время, микросервисная оркестрация | Прототипы, лёгкие уведомления | ## 4. Концепции, общие для всех брокеров - **[[Вики…
- answerКак вы делаете multi-region failover с RTO <5 минут?
…Вики/health check\|health checks]]**, а также [[Вики/orchestration\|оркестрация]] через [[Вики/Kubernetes\|Kubernetes]] multi-cluster и [[Вики/service mesh…
- answerКак тестировать delegation paths (интеграционное тестирование multi-agent)?
…Распределённость | Агенты могут быть в разных процессах/серверах | Требуется оркестрация тестовой среды | | Множество путей | Граф делегирования может быть сложным (A…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать протокол A2A с discovery и capability negotiation
…structlog / logging | Трассировка всех взаимодействий | | Контейнеризация | Docker + docker-compose | Оркестрация нескольких агентов и реестра | ## 4. Этапы выполнения ### Этап 1: Проектирование…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настройка tail latency amplification мониторинга (p99/p50)
…5 | | Визуализация | Grafana (10+) | Дашборд с p50, p99, ratio | | Оркестрация | Docker, docker-compose (опционально) | Быстрый запуск инфраструктуры | | Запросы | PromQL | Вычисление…
- answerЧто такое Delegation Engineering и чем он отличается от Harness Engineering?
…Множество агентов (или агент + люди) | | Управление | Конфигурация, инструменты, промпты | Оркестрация, маршрутизация, контракты | | [[Вики/ошибки\|Ошибки]] | Retry, fallback для одного вызова…
- answerКакое будущее у DSPy? Вытеснит ли он LangChain в 2026-2027?
…условия) | Низкая (линейные модули, хотя есть ReAct) | | Основная ценность | Оркестрация, интеграции, агенты | Качество и воспроизводимость промптов | | Оптимизация | Тестирование вручную | Компиляция…
- answerКак вы планируете масштабирование команды вокруг LLM-системы?
…Weights & Biases, MLflow | | [[Вики/Backend Engineer\|Backend Engineer]] | API, оркестрация, масштабирование, интеграция LLM с внешними системами, кэширование | 25–30% | FastAPI…
- answerКак вы делаете agent с human values alignment (Constitutional AI для агентов)?
…Контролируемость | «При запросе на отмену — останови все активные процессы» | Оркестрация | Каждое правило должно быть: - Проверяемым (можно автоматически или через [[Вики…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать semantic cache для LLM
…OpenAI API / мок-сервер | Генерация ответа при промахе кэша | | Оркестрация | Python, asyncio | Кэш-клиент (проверка + вставка) | | Профилирование | `time`, `matplotlib`, `pandas…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать circuit breaker на вызовы агента
…Метрики и логи | Prometheus client, `structlog` / `logging` | Сбор статистики | | Оркестрация тестов | Docker Compose (опционально) | Подъём нескольких агентов | --- ## 4. Этапы выполнения…
- answerКак проектировать fallback-цепи (агент А → агент Б → человек)?
…Связь с другими вопросами | Вопрос | Тема | | --- | --- | | 760 | Проектирование multi-agent систем | | 761 | Оркестрация агентов (supervisor vs swarm) | | 762 | Мониторинг и…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с кэшированием ответов
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | RAG-пайплайн | LangChain / LlamaIndex | Оркестрация retrieval + генерации | | Векторная база | FAISS (in-memory) или Qdrant в…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать A/B тест для RAG
…текстовых метрик | | Версионирование | Git + DVC | Управление кодом и данными | | Оркестрация экспериментов | W&B / MLflow Tracking | Организация A/B теста | ## 4…
- answerЧто такое «cost attribution» (какой компонент сколько стоит)?
…caching\|кэширование]], [[Вики/NeMo Guardrails\|guardrails]] и [[Вики/orchestration\|оркестрация]]. Главная цель — понять, какой компонент является самым дорогим (обычно [[Вики…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать blue-green deployment для RAG
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | RAG‑приложение | FastAPI / Flask + LangChain + Qdrant | Обработка запросов и поиск | | Оркестрация контейнеров | Docker, Docker Compose…
- answerКак вы проектируете промпт для агента с инструментами?
…Как вы измеряете стоимость (токены) агентской системы\|55]] | Управление несколькими агентами и оркестрация | | [[56. Как вы делаете агента отказоустойчивым (graceful…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать query drift детекцию
…email | Уведомление | | CI/тестирование | pytest | Автотесты на синтетических данных | | Оркестрация | cron / schedule / Airflow (опционально) | Периодический запуск детекции | ## 4. Этапы выполнения…
- answerКакие инструменты и фреймворки существуют для Harness Engineering?
…другими вопросами | Вопрос | Тема | |--------|------| | 750 | Архитектура Agentic RAG | | 751 | Оркестрация агентов | | 752 | Память в агентах | | 755 | Observability в AI-системах…
- answerЧто такое Self-RAG и когда его использовать?
…Назовите 3 ключевые метрики.\|16]] | Метрики качества генерации | | 41-60 | Оркестрация (агенты, Self-RAG как агент) | | 141-150 | Agentic RAG…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить monitoring delegation
…реальном времени | | Алерты | Prometheus Alertmanager + правила | Уведомления о деградации | | Оркестрация | Docker Compose | Запуск стека локально | | Трассировка (опционально) | OpenTelemetry + Jaeger | Детальный…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить sharding для petabyte embeddings
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Векторная БД | Qdrant 1.10+ | In-memory/disk HNSW, PQ, шардинг по ключу | | Оркестрация | Docker…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с оценкой faithfulness и дашбордом Grafana
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | RAG-пайплайн | LangChain / LlamaIndex | Оркестрация извлечения, генерации и оценки | | Оценка faithfulness | RAGAS (faithfulness metric) | Вычисление…
- answerКак вы проектируете Harness для mission-critical приложения? Приведите пример с агентом для банковских переводов.
…поле `amount` – число >0 и <= лимиту, `recipient` – валидный IBAN | | Coordination Logic | Оркестрация между агентами, human-in-the-loop | Агент-валидатор…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настройка мониторинга дрейфа метрик faithfulness и recall
…Хранение метрик | PostgreSQL / SQLite / Prometheus | Долговременное хранение истории метрик | | Оркестрация | Apache Airflow / cron / schedule | Ежедневный запуск задачи | | Расчёт метрик | nltk…
- answerЧто такое Audio RAG (RAG для аудиофайлов)?
…Вики/Faiss\|FAISS]] (facebookresearch) | Векторный поиск | | [[Вики/LangChain\|LangChain]] | Оркестрация RAG-пайплайна | | [[Вики/LlamaIndex\|LlamaIndex]] | Индексация аудио-документов | | [[Вики/Streamlit…
- answerКак вы делаете backfill эмбеддингов при смене embedding модели?
…параллельное чтение документов и генерация эмбеддингов. | | Airflow / Prefect | Оркестрация: запуск backfill, мониторинг, переключение индексов. | | [[Вики/Kubernetes Jobs\|Kubernetes Jobs]] | Запуск…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить inference-time scaling для модели reasoning
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Backend LLM | OpenAI / DeepSeek API, HuggingFace Transformers | Исполнение reasoning | | Оркестрация экспериментов | Python + asyncio | Параллельный запуск…
- answerКак вы оцениваете cost-effectiveness LLM-пайплайна?
…векторные БД ([[Вики/Pinecone\|Pinecone]], [[Вики/Qdrant\|Weaviate]]), [[Вики/orchestration\|оркестрация]] ([[Вики/agent\|LangChain]], [[Вики/Airflow\|Airflow]]). - **[[Вики/мониторинг\|Мониторинг…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с векторной БД на CPU (Chroma/Qdrant)
…pipeline (device="cpu") | Генерация ответа на основе найденных документов | | Оркестрация | LangChain / LlamaIndex или чистый код | Сборка пайплайна RAG | | API | FastAPI…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить hot shard detection
…Python (redis-py, random, time) | Имитация нагрузки с перекосом | | Оркестрация | Docker Compose | Развёртывание тестового кластера | | Решардинг | `redis-cli` / Python-скрипт…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать семантический кэш
…scikit-learn` (cosine_similarity) | Контроль порога сходства, эмпирический подбор | | Оркестрация | Docker / docker-compose | Подъём Qdrant и Redis (если не in…
- answerЧто такое Prompt Registry (каталог промптов с версиями)?
…такое Tool Registry? | | 796 | Как агенту выбирать инструменты? | | 798 | Оркестрация агентов | | 799 | Память агентов | | 793 | ReAct паттерн | | 791 | Базовая архитектура…