Поиск

wikiCI/CD для промптов
# CI/CD для промптов ## Определение Автоматизация проверок и развертывания изменений промптов через пайплайны CI/CD, включая публикацию diff в pull…
wikiCI/CD for prompts
# CI/CD for prompts ## Определение Автоматическая проверка тестов и зависимостей при изменении промптов в CI/CD. ## Где встречается - [[806. Как…
wikiCI/CD for ML pipelines
# CI/CD for ML pipelines ## Определение Непрерывная интеграция и доставка для ML-пайплайнов, включая проверку промптов. ## Где встречается - [[167. Реализовать…
wikiCI/CD for AI
# CI/CD for AI ## Определение Автоматизация поставки моделей, промптов и контекстных правил с помощью CI/CD практик. ## Где встречается - [[757…
wikiCI/CD
# CI/CD ## Определение Continuous Integration/Continuous Deployment — пайплайн автоматической сборки, тестирования и развертывания моделей и сервисов. ## Где встречается - [[62. Какие…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Полный production агент
…Реализовать [[Вики/CICD\|CI/CD пайплайн]] для автоматической сборки, тестирования и деплоя агента на [[Вики/staging environment\|staging-окружение]]. Основной…
wikiGitLab CI
# GitLab CI ## Определение Система CI/CD от GitLab для автоматизации тестирования, сборки и деплоя ML-пайплайнов и приложений. ## Где встречается…
wikiartifact
# artifact ## Определение Результат выполнения CI/CD workflow, доступный для скачивания после завершения джобы. ## Где встречается - [[276. Настроить RAGAS evaluation pipeline…
wikiTest fixtures
# Test fixtures ## Определение Заранее подготовленные тестовые данные и конфигурации (фикстуры) для тестирования агентов в CI/CD, обеспечивающие воспроизводимость и покрытие…
answerКак вы организуете CI/CD для RAG-пайплайна?
…Как вы организуете CI/CD для RAG-пайплайна? ## Краткий тезис CI/CD для RAG-пайплайна — это не просто деплой кода…
wikiFailure Blocking
# Failure Blocking ## Определение Механизм, при котором падение теста или проверки блокирует дальнейшее выполнение пайплайна, обеспечивая раннее выявление ошибок в CI…
wikiпайплайн автоматического тестирования
# пайплайн автоматического тестирования ## Определение CI/CD-пайплайн, автоматизирующий запуск тестов (включая регрессионные) на Golden Dataset для проверки качества агента или…
answerКак интегрировать тестирование агентов в CI/CD?
…Как интегрировать тестирование агентов в CI/CD? ## Краткий тезис [[Вики/Интеграция\|Интеграция]] тестирования AI-агентов в [[Вики/CICD\|CI/CD…
wikiDocker-образ
…Используется для установки утилит в CI/CD, например в GitHub Actions. ## Где встречается - [[171. Реализовать prompt diff|171. Реализовать prompt…
wikirequired checks
# required checks ## Определение Настройка в CI/CD, блокирующая Pull Request при падении обязательных тестов, чтобы гарантировать прохождение минимального набора проверок…
wikiJenkins
# Jenkins ## Определение Популярная CI/CD система для автоматизации сборки, тестирования и развертывания, в том числе в ML-пайплайнах. ## Где встречается…
wikiMLOps pipeline
# MLOps pipeline ## Определение CI/CD-пайплайн для автоматизации шагов ML-процесса, таких как обучение, валидация, регистрация моделей и развёртывание. ## Где…
wikievolve-check
# evolve-check ## Определение CLI-утилита, интегрируемая в CI/CD для проверки изменений агента ## Где встречается - [[755. Что такое эволюция (evolution…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать component registry
…Ключевой результат работоспособный [[Вики/Registry\|registry]], интегрированный с [[Вики/CICD\|CI/CD]], позволяющий откатить любой компонент к предыдущей версии командой…
wikiCI validation
# CI validation ## Определение Процесс автоматической проверки data contracts в CI/CD пайплайне для обеспечения совместимости схем данных. ## Где встречается - [[532…
wikicode review
…В MLOps автоматизируется с помощью prompt diff и интеграции в CI/CD для контроля качества. ## Где встречается - [[Практика|Практика]] - [[162…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать quality gates для агента
…Цель задачи Разработать и внедрить систему автоматических [[Вики/Checkpoints\|quality gates]] для [[Вики/CICD\|CI/CD]] агента, которые фиксируют метрику…
wikiEvaluation
# Evaluation ## Определение Процесс измерения качества работы модели или агента с использованием скореров (faithfulness, relevance, correctness), встроенный в CI/CD пайплайн…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Интегрировать тестирование в CI/CD
…Интегрировать тестирование в CI/CD ## 1. Цель задачи Разработать и внедрить процесс автоматизированного тестирования AI-агента, который выполняется при каждом…
wikismoke tests
# smoke tests ## Определение Ограниченный набор сценариев, запускаемый в CI/CD для быстрой верификации базовой функциональности перед полным развёртыванием или мержем…
answerКакие инструменты и фреймворки существуют для Harness Engineering?
…фреймворки для агентов, платформы [[Вики/мониторинг в production\|observability]], CI/CD-системы, специализированные движки знаний. ## 2. harness-one (TypeScript) — легковесный…
wikiBreaking changes
…Должны блокироваться CI/CD. ## Где встречается - [[271. Как вы делаете schema evolution для метаданных документов в RAG|271. Как вы…
wikitag
# tag ## Определение Механизм версионирования в Git для маркировки конкретных версий корпуса документов, промптов или агентов, используемый в CI/CD для…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать cache warming
…Задача развивает навыки работы с кэширующими хранилищами, CI/CD и мониторингом метрик. [[Вики/Ключевой результат\|Ключевой результат]] Скрипт и CI…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать prompt lifecycle
…Использовать [[Вики/CICD\|Actions]] (бесплатные минуты) для [[Вики/CICD\|CI/CD]]; если нет доступа — написать скрипты на [[Вики/SQL\|Python…
answerКак вы проверяете, что новая версия модели не сломала старые кейсы?
…Сьют запускается автоматически в [[Вики/CICD\|CI/CD]] до и после каждого изменения, а [[Вики/пайплайн автоматического тестирования\|пайплайн]] фейлится…
wikiGitHub Actions
# GitHub Actions ## Определение Система CI/CD от GitHub для автоматического запуска тестов, сборки и деплоя моделей и пайплайнов при пушах…
answerКак вы тестируете агентов? (сложно из-за стохастичности)
…Фикстуры и CI/CD Для автоматизации в CI/CD создаём набор фикстур: 1. [[Вики/Mock LLM\|Mock LLM]] — заменяет вызовы…
wikiRAG pipeline
…Используется для автоматизации развёртывания и обновления RAG-системы, включая CI/CD и управление data contracts. ## Где встречается - [[69. Как вы…
answerКак вы проверяете качество парсинга документов (PDF, DOCX) в production?
…При каждом изменении парсера запускается регрессионный тест в CI/CD, а в production мониторинг отслеживает дрейф качества на новых типах…
answerКак вы переносите агента из прототипа в production (MLOps)?
…CI/CD пайплайн (Continuous Integration / Continuous Deployment) CI/CD гарантирует, что каждое изменение (промпта, кода, инструмента) проходит тесты и автоматически…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Полная платформа для оценки RAG
…Платформа должна предоставлять единую точку запуска оценки («одна кнопка»), визуализировать метрики через [[Вики/Dashboard\|дашборд]], интегрироваться в [[Вики/CICD\|CI…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить canary deployment промптов
…Интегрировать с [[Вики/CICD\|CI/CD]] (например, [[Вики/CICD\|GitHub Actions]]): при пуше новой версии промпта `prompt_v3.[[Вики/XML…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать blue-green deployment для RAG
…этап 2) | | CI/CD агент | GitHub Actions, GitLab CI или локальный скрипт | | Доменное имя / localhost | Для тестирования достаточно localhost с…
answerКак в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)?
…3000 # ms action: "warn" ``` Такой подход превращает оценку агента в часть [[Вики/CICD\|CI/CD]] — **каждое изменение кода, промпта или…
answerЧто такое data version control (DVC) для RAG корпуса документов?
…Интеграция с CI/CD: автоматический ребилд индекса [[Вики/Data versioning\|DVC]] отлично встраивается в пайплайны [[Вики/CICD\|CI/CD]] ([[Вики…
answerКак вы делаете data quality monitoring для RAG корпуса?
…Инструменты вроде Great Expectations и Deequ автоматизируют эти проверки, а интеграция с CI/CD позволяет блокировать загрузку некачественных данных. --- ## 1…
answerКак вы тестируете RAG-систему на новых документах без реальных пользователей?
…CI/CD пайплайн при добавлении документа Чтобы [[Вики/inference\|тестирование]] было автоматическим и повторяемым, его встраивают в [[Вики/CICD\|CI…
answerКак тестировать multi-turn диалоги агента?
…тестирование в CI/CD [[Вики/CICD\|CI/CD пайплайн]] должен включать: - [[Вики/регрессионное тестирование\|Regression]] [[Вики/tests\|тесты]] — прогон набора…
answerКак вы проверяете, что новая версия модели не сломала старые кейсы?
…Интеграция в CI/CD pipeline **[[Вики/CICD\|CI/CD]] ([[Вики/CICD\|Continuous Integration / Continuous Deployment]])** — практика автоматической сборки, тестирования и…
answerКак вы планируете масштабирование команды вокруг LLM-системы?
…Что вы сделаете в первую неделю на новой работе Senior AI Engineer\|100]] | CI/CD для LLM-проектов (процессы, которые…
answerЧто такое эволюция (evolution) в Harness Engineering (component registry, drift detection)?
…Проверки выполняются утилитой `[[Вики/evolve-check\|evolve-check]]` на этапе [[Вики/CICD\|CI/CD]]. Если правило нарушено — релиз отклоняется. Пример…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать dependency management промптов
…параллельно) | | CI/CD (опционально) | GitHub Actions | Автоматический запуск при пуше в репозиторий | | Формат промптов | YAML (PyYAML) | Чтение метаданных промптов | | Мониторинг…
answerКак тестировать промпты (prompt regression testing)?
…Встраивание в [[Вики/CICD\|CI/CD]] позволяет автоматически ловить регрессии при каждой модификации промпта. --- ## 1. Что такое prompt regression testing…
answerЧто такое «prompt as code» (промпты в Git, code review)?
…Пример архитектуры: ``` ┌─────────────┐ CI/CD ┌──────────────────┐ │ Git (main) │ ────────>│ Prompt Registry │ │ prompts/* │ │ (S3 + index) │ └─────────────┘ └──────────────────┘ │ ▼ ┌──────────────────┐ │ Agent/RAG system │ │ загружает промпт │ │ при инициализации│ └──────────────────┘ ``` Популярные готовые…