Поиск

wikiОблако
# Облако ## Определение Инфраструктура для развертывания RAG-системы, предоставляющая вычислительные ресурсы по модели IaaS/PaaS и определяющая модель затрат (TCO) на…
wikiCost Structure
…compute, embedding, инфраструктура, команда. Используется для построения финансовой модели LLM-продукта. ## Где встречается - [[145. Сделать финансовую модель LLM-продукта|145…
wikiServing infrastructure
# Serving infrastructure ## Определение Инфраструктура для развёртывания и обслуживания моделей, включающая компоненты для масштабирования, маршрутизации и мониторинга. ## Где встречается - [[80. Какие…
wikiLLVM
# LLVM ## Определение Компиляторная инфраструктура, используемая в TVM для генерации оптимизированного кода под CPU. ## Где встречается - [[324. Что такое TVM (Apache…
wikicost savings
# cost savings ## Определение Абсолютная или относительная экономия, полученная при переходе на более эффективную стратегию (например, гибридная инфраструктура). Может достигать 70…
wikiCost tracking
# Cost tracking ## Определение Процесс непрерывного сбора и анализа затрат на всех этапах работы ML-системы (токены, инфраструктура, шаги агента). Необходим…
answerКак вы планируете масштабирование команды вокруг LLM-системы?
…Как вы предотвращаете галлюцинации в production RAG системе\|96]] | Архитектура high-load RAG-системы (инфраструктура для масштабирования) | | [[97. Какую LLM…
answerКак вы защищаете агента от tool injection (вредоносный API ответ)?
…наименьших привилегий | Инфраструктура | Средняя | Высокая (ограничивает ущерб) | | Проверка источника | Сеть | Низкая | Высокая (предотвращает подмену) | | Изоляция (sandbox) | Инфраструктура | Высокая | Очень высокая…
answerКак считать TCO (Total Cost of Ownership) для RAG/Agent системы?
…Сетевая инфраструктура - Брандмауэры, балансировщики нагрузки (если [[Вики/self-hosted\|on-premise]]). Формула [[Вики/CapEx\|CapEx]] ``` CapEx = (сумма закупок оборудования + лицензии…
answerКак вы проектируете dynamic benchmark (меняющийся со временем)?
…Инфраструктура и автоматизация Для поддержки dynamic benchmark нужна автоматизированная инфраструктура: - [[Вики/Пайплайн генерации\|Пайплайн генерации]] запускается еженедельно, генерирует новые вопросы…
answerКак бы вы спроектировали multi-tenant RAG (разные компании, изолированные данные)?
…RAG\|Multi-tenant RAG]] — это система, в которой одна инфраструктура обслуживает несколько клиентов ([[Вики/multi-tenant\|tenant]]'ов), полностью изолируя…
answerКак вы A/B тестируете агентов в production?
…Инфраструктура и мониторинг Для A/B тестирования агентов нужна следующая инфраструктура: - [[Вики/Feature flag\|Feature flag]] system (например, [[Вики/LaunchDarkly…
answerКак вы выбираете между увеличением тест-тайм компьютинга и использованием большей модели?
…Latency (задержка) | Предсказуемая (фиксированная) | Непредсказуемая (зависит от числа шагов) | | Инфраструктура | Один большой инстанс | Возможность масштабирования маленьких инстансов | Основной [[Вики/trade…
answerКак вы выбираете между online и batch инференсом для LLM?
…с оптимизациями | Большая (70B–405B) без ограничений по размеру | | Инфраструктура | GPU с низкой задержкой (A100, H100), часто с auto-scaling…
answerЧто такое data version control (DVC) для RAG корпуса документов?
…версионирование данных на уровне веток и коммитов. | Более тяжёлая инфраструктура, требуется отдельный сервис. | | Ручное копирование | Простота, если корпус маленький. | Не…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать distributed task queue для агентов
…Вики/Prompt engineering\|инструкция]] по запуску. - Содержимое описанная выше инфраструктура, способная обработать 100 задач с приоритетами. - Дополнительные результаты скриншоты [[Вики…
answerЧто такое эволюция (evolution) в Harness Engineering (component registry, drift detection)?
…Преимущества и вызовы | Преимущества | Вызовы | | ----------- | ------ | | Контролируемые изменения без сюрпризов | Необходимость поддерживать качественный набор тестов | | Быстрый откат при проблемах | Дополнительная инфраструктура…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить search-based inference (AlphaSearch)
…сравнение финального числового ответа с эталоном | | Инфраструктура для запуска | Python 3.10+, PyTorch, CUDA (GPU 16GB+), vLLM (опционально для ускорения…
answerКакие 3 книги/курса вы рекомендуете по production LLM?
…только вызов модели через [[Вики/API\|API]], а целая инфраструктура: управление контекстом, [[Вики/orchestration\|оркестрация]], [[Вики/мониторинг в production\|мониторинг…
answerКак вы управляете разными версиями промптов в production?
…Минусы дополнительная инфраструктура. --- ## 10. Мониторинг и метрики версий промптов После каждой новой версии промпта необходимо отслеживать регрессии. Метрики: - Успешность ответов…
answerКак вы обрабатываете production incident с LLM (playbook)?
…Detection — обнаружение инцидента Обнаружение строится на мониторинге нескольких слоёв: | Слой | Метрики | Инструменты | |------|---------|-------------| | Инфраструктура | Latency (p50, p95, p99), Error rate (HTTP…
answerКак вы выбираете между online и batch инференсом для LLM?
…Spark + PyTorch, батчи по 256 запросов - Инфраструктура: Spot instances (p4d.24xlarge) на AWS - Время выполнения: 2 часа для 10 000…
answerКак вы делаете A/B тестирование двух моделей в production?
…чувствительность, но требует предварительного анализа и увеличивает сложность. ## 3. Инфраструктура: изоляция и роутинг Каждая [[Вики/model\|модель]] разворачивается в собственном…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать A/B тест для RAG
…оценки; для онлайн-метрик — время ответа, CTR, удовлетворённость (имитация) | | Инфраструктура для логирования | База данных (PostgreSQL/MongoDB) или простые CSV-логи…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить budgeting для команд
…API провайдера (OpenAI, Anthropic, Vertex AI) или внутренний gateway | | Инфраструктура мониторинга | Prometheus + Grafana / Datadog / CloudWatch | | Система алертов | PagerDuty / Opsgenie / Slack…
answerКак в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)?
…continuous AI [[Вики/QA\|quality assurance]]**. --- ## 2. Eval Runner: инфраструктура оценки [[Вики/Eval runner\|Eval Runner]] — компонент, который берёт набор…
answerКак вы обрабатываете real-time фичи для LLM (например, текущий сток товара)?
…Нужна специализированная инфраструктура. --- ## 2. Feature store как центральное хранилище фичей **[[Вики/feature store\|Feature store]]** — это система для хранения, обслуживания…
answerКак вы шифруете данные для RAG (конфиденциальность)?
…hosted модель в изолированном кластере Альтернатива TEE — полностью контролируемая инфраструктура без сторонних API. Модель (LLM и эмбер) разворачивается на собственных…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать failure injection для MoE router
…WikiText-2, датасет Alpaca, или сгенерировать 50–100 инструкций | | Инфраструктура для экспериментов | Локальная машина с GPU (6 GB+), Colab, или…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить cost efficiency провайдеров LLM (GPT-4 vs Claude vs Llama-3 self-hosted)
…Claude | OpenAI API key, Anthropic API key (можно триальные) | | Инфраструктура для self-hosted Llama-3 70B | GPU-сервер (A100 или…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить hybrid search с весами и оптимизировать w
…Qdrant / FAISS / Chroma + sentence-transformers (all-MiniLM-L6-v2) | | Инфраструктура | Python 3.10+, Jupyter / VS Code / Colab | **Если нет реального…
answerКак тест-тайм компьютинг меняет MLOps?
…MLOps-инфраструктура должна собирать метрики по каждому запросу: | Метрика | Описание | Единица измерения | |---------|----------|-------------------| | [[Вики/cost per request\|Cost per query]] | Стоимость…
answerКак делать canary deployment для промптов (5% трафика)?
…0.05). Если достоверных различий нет, переход разрешён. --- ## 4. Инфраструктура: feature flags и конфигурация Для [[Вики/canary deployment\|canary deployment…
answerКак вы деплоите policy (RLHF модель) в production с online feedback loop?
…rate(reward_score{model="control"}[5m]))) < 0.9 ``` --- ## 6. Инфраструктура serving Деплой policy требует эффективного **model serving**. Популярные решения: - [[Вики…
answerКак реализовать online/offline feature consistency для LLM?
…Минусы дополнительная инфраструктура, [[Вики/Latency\|latency]] при записи онлайн. --- ## 5. Решение 3: Log-and-apply Идея во [[Вики/Latency\|время…
answerКакие метрики вы мониторите для LLM в production?
…Экономические метрики (Cost) Если используется платный API (GPT-4, Claude) или собственная инфраструктура, мониторинг стоимости критичен для бюджета. | Метрика | Единица…
answerКак вы оцениваете cost-effectiveness LLM-пайплайна?
…faithfulness | $ за час работы | Дополнительные скрытые [[Вики/cost\|затраты]]: - Инфраструктура: векторные БД ([[Вики/Pinecone\|Pinecone]], [[Вики/Qdrant\|Weaviate]]), [[Вики/orchestration…
answerЧто такое model cards и system cards и как их составлять?
…model card — про модель, system card — про систему (модель + инфраструктура + пайплайн). В контексте Agentic RAG system card обязательна, так как…
answerЧто такое «canary testing» для агентов (10% трафика на новую версию)?
…Архитектура canary-деплоя для агента Чтобы проводить [[Вики/canary deployment\|canary]] testing, нужна инфраструктура, которая позволяет разделять трафик между двумя…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить correlation метрик (граф зависимостей retrieval → generation latency)
…Если инфраструктура уже готова — 4 часа. --- ## 9. Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 121 | Как инструментировать Python-приложение OpenTelemetry…
answerКак организовать multi-region active-passive для LLM API?
…может быть: - **Холодный резерв ([[Вики/cold standby\|cold standby]])**: инфраструктура есть, но сервисы не запущены. Время запуска — минуты или часы…
answerЧто такое Prompt Registry (каталог промптов с версиями)?
…Хранение и инфраструктура Оптимальная архитектура включает три уровня: 1. [[Вики/Git repository\|Git-репозиторий]] – исходный [[Вики/Code\|код]] промптов (человекочитаемые…
answerЧто такое «message bus» для агентов (Kafka, NATS, Redis PubSub)?
…Что такое «message bus» для агентов (Kafka, NATS, Redis PubSub)? ## Краткий тезис Message bus (шина сообщений) — это централизованная инфраструктура обмена…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать cost-aware routing
…сложен) | Обучить на размеченных данных (логистическая регрессия / fastText / BERT) | | Инфраструктура маршрутизации | FastAPI / Flask + Redis / RabbitMQ для очередей | **Если нет реального…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Развернуть Prompt Registry
…Время | |------|-------| | Этап 1: Проектирование | 30–45 мин | | Этап 2: Инфраструктура (Docker) | 30 мин | | Этап 3: Разработка CRUD API | 1.5…
answerКак обрабатывать schema drift в данных для RAG?
…Инструменты и инфраструктура | Инструмент | Роль в обработке schema drift | |------------|-------------------------------| | [[Вики/Confluent\|Confluent Schema Registry]] | Централизованное хранение схем, проверка эволюции (forward…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Полный production агент
…CI/CD платформа | GitHub Actions / GitLab CI / Jenkins | | Целевая инфраструктура | Docker, docker-compose (возможно Kubernetes) | | Тестовые сценарии работы | Набор промптов…
answerКак вы управляете memory fragmentation при длительном раннинге LLM сервера?
…Периодический restart | Высокая (сброс) | Низкая (простой) | Средняя (нужен балансировщик) | Инфраструктура | --- ## 9. Практические рекомендации для production 1. Используйте vLLM или TensorRT…
answerЧто такое Path-level evaluation для Agentic RAG и чем оно лучше token-level?
…требуется инфраструктура для сбора траекторий (LangSmith, OpenTelemetry). - Чувствительность к деталям: если агент использует разные формулировки запроса, но семантически одинаковые, строгое…
answerКак проектировать schema registry для метаданных RAG?
…Streams, Flink и другими системами. [[Вики/constraints\|Ограничения]] - Дополнительная инфраструктура (ZooKeeper/Redpanda, кластер registry). - Overhead при записи каждого документа (один…