English translation is not available yet. Showing Russian content.
MLflow
MLflow
Определение
Платформа с открытым исходным кодом для управления полным жизненным циклом ML: логирование параметров и метрик, сравнение экспериментов, хранение артефактов и моделей.
Где встречается
- 73. Как вы логируете все вызовы LLM для аудита
- 74. Как вы мониторите дрейф данных (data drift) для RAG
- 95. Как вы храните историю изменений промптов (prompt lineage)
- 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
- 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
- 175. Как детектировать «объяснительно-решенческую декомпозицию»
- 177. Как вы измеряете дрейф модели (model drift) для LLM
- 260. Как вы отслеживаете data drift для распределения запросов к RAG
- 265. Как вы проектируете data lineage для RAG (от документа к ответу)
- 344. Что такое reward hacking в RLHF и как его детектировать
- 391. Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения
- 398. Как вы версионируете агента целиком (prompts, tools, memory schema, orchestration graph)
- 485. Как вы дебажите training instability (loss spikes, divergence)
- 502. Как вы AB тестируете две версии промпта в production
- 503. Как вы измеряете drift retrieval-качества в RAG (когда документы меняются)
- 504. Как вы оцениваете cost-effectiveness LLM-пайплайна
- 505. Как вы проверяете, что новая версия модели не сломала старые кейсы
- 531. Как вы делаете active learning loop для улучшения retrieval
- 616. Как работает rainbow teaming (комбинация red + blue + purple teaming для LLM)
- 700. Как вы комбинируете реальные и синтетические данные для максимального качества
- 785. Как тестировать агентов на недетерминированность
- 789. Как тестировать multi-turn диалоги агента
- 790. Что такое «canary testing» для агентов (10% трафика на новую версию)
- 801. Как делать AB тестирование промптов в production
- 804. Как делать rollback промпта (auto-rollback при деградации метрик)
- 808. Что такое «prompt templating» и как его версионировать
- 809. Как управлять версиями промптов в production (best practices)
- 856. Как организовать data versioning (DVC, LakeFS, Delta Lake)
- 50. Настроить contextual retrieval (Anthropic стиль)
- 63. Реализовать verifier-guided decoding
- 77. Реализовать cost-aware routing
- 95. Написать runbook для synthetic data collapse
- 110. Реализовать quality gates для агента
- 127. Реализовать outsourcing другому LLM
- 128. Измерить KPD (коэффициент полезного делегирования)
- 130. Написать postmortem для неудачного делегирования
- 133. Реализовать cost-aware routing
- 227. RAG с гибридным поиском
- 229. Fine-tune embedding под домен