CI/CD
CI/CD
Определение
Continuous Integration/Continuous Deployment — пайплайн автоматической сборки, тестирования и развертывания моделей и сервисов.
Где встречается
- 62. Какие метрики вы мониторите для LLM в production
- 69. Как вы организуете CICD для RAG-пайплайна
- 71. Как вы тестируете RAG-систему на новых документах без реальных пользователей
- 80. Какие 3 книгикурса вы рекомендуете по production LLM
- 95. Как вы храните историю изменений промптов (prompt lineage)
- 140. Как вы проверяете, что новая версия модели не сломала старые кейсы
- 265. Как вы проектируете data lineage для RAG (от документа к ответу)
- 272. Как вы проверяете качество parsing документов (PDF, DOCX) в production
- 275. Как вы делаете data quality monitoring для RAG корпуса
- 398. Как вы версионируете агента целиком (prompts, tools, memory schema, orchestration graph)
- 410. Как вы делаете blue-green deployment для RAG системы с zero downtime
- 505. Как вы проверяете, что новая версия модели не сломала старые кейсы
- 519. Как вы делаете backfill эмбеддингов при смене embedding модели
- 526. Как вы делаете schema evolution для метаданных документов в RAG
- 527. Как вы проверяете качество парсинга документов (PDF, DOCX) в production
- 530. Как вы делаете data quality monitoring для RAG корпуса
- 738. Назовите 12+ слоёв эталонной архитектуры Harness.
- 748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)
- 756. Как выглядит process operational excellence в Harness Engineering (ORR, Operational Reviews)
- 769. Как тестировать delegation paths (интеграционное тестирование multi-agent)
- 785. Как тестировать агентов на недетерминированность
- 786. Что такое «golden dataset» для агента и как его создавать
- 787. Как делать property-based testing для агентов
- 788. Что такое «simulation testing» (тестирование в симулированной среде)
- 792. Что такое «regression testing» для агентов (старый кейс сломался)
- 797. Как тестировать промпты (prompt regression testing)
- 799. Как интегрировать тестирование агентов в CICD
- 800. Что такое Prompt Registry (каталог промптов с версиями)
- 802. Что такое «prompt as code» (промпты в Git, code review)
- 803. Как делать canary deployment для промптов (5% трафика)
- 805. Что такое «prompt linting» (статический анализ промптов)
- 809. Как управлять версиями промптов в production (best practices)
- 856. Как организовать data versioning (DVC, LakeFS, Delta Lake)
- 865. Как проектировать schema registry для метаданных RAG
- Практика
- 800+ вопросов
- 10. Реализовать topology-aware scheduling
- 82. Реализовать human-in-the-loop для критических действий
- 89. Спроектировать onboarding для агента
- 110. Реализовать quality gates для агента