data drift
data drift
Определение
Изменение распределения входных данных со временем, требующее мониторинга и периодического переобучения модели.
Где встречается
- 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
- 74. Как вы мониторите дрейф данных (data drift) для RAG
- 76. Как вы делаете AB тестирование двух моделей в production
- 80. Какие 3 книгикурса вы рекомендуете по production LLM
- 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
- 126. Что такое MITRE ATLAS и как он связан с MITRE ATT&CK
- 176. Какие инструменты для агентской эвалюации вы используете
- 177. Как вы измеряете дрейф модели (model drift) для LLM
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 260. Как вы отслеживаете data drift для распределения запросов к RAG
- 261. Как вы управляете качеством разметки (label quality) для DPO датасетов
- 273. Как вы обрабатываете corrupted или empty документы в ingestion пайплайне
- 356. Что такое data poisoning атака на fine-tuning и как защититься
- 382. Как вы проектируете canary deployment для LLM модели
- 390. Как вы проектируем on-call ротацию для AI сервиса
- 391. Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения
- 400. Как вы проектируете систему для continuous learning LLM-агента в production — чтобы агент улучшался от взаимодействий с пользователями без переобучения на шум и без катастрофиче...
- 489. Что такое reward hacking в RLHF и как его детектировать
- 494. Что такое synthetic eval collapse и как его предотвратить
- 517. Как вы проектируете feature store для ML фичей, используемых LLM
- 530. Как вы делаете data quality monitoring для RAG корпуса
- 531. Как вы делаете active learning loop для улучшения retrieval
- 689. Как вы проектируете dynamic benchmark (меняющийся со временем)
- 696. Что такое active learning для сбора синтетических данных
- 700. Как вы комбинируете реальные и синтетические данные для максимального качества
- 755. Что такое эволюция (evolution) в Harness Engineering (component registry, drift detection)
- 780. Как измерять ROI от fine-tuning (окупается ли дообучение более дешёвым инференсом)
- 807. Что такое «prompt observability» (мониторинг эффективности промптов в production)
- 857. Как реализовать onlineoffline feature consistency для LLM
- 866. Как генерировать synthetic датасеты для RAG evaluation
- 800+ вопросов
- 68. Настроить inference-time scaling
- 95. Написать runbook для synthetic data collapse
- 110. Реализовать quality gates для агента
- 142. Реализовать cost-aware caching
- 281. Настроить мониторинг дрейфа метрик
- 285. Реализовать synthetic benchmark генератор