data drift

Определение

Изменение распределения входных данных со временем, требующее мониторинга и периодического переобучения модели.

Где встречается

• 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
• 74. Как вы мониторите дрейф данных (data drift) для RAG
• 76. Как вы делаете AB тестирование двух моделей в production
• 80. Какие 3 книгикурса вы рекомендуете по production LLM
• 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
• 126. Что такое MITRE ATLAS и как он связан с MITRE ATT&CK
• 176. Какие инструменты для агентской эвалюации вы используете
• 177. Как вы измеряете дрейф модели (model drift) для LLM
• 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
• 260. Как вы отслеживаете data drift для распределения запросов к RAG
• 261. Как вы управляете качеством разметки (label quality) для DPO датасетов
• 273. Как вы обрабатываете corrupted или empty документы в ingestion пайплайне
• 356. Что такое data poisoning атака на fine-tuning и как защититься
• 382. Как вы проектируете canary deployment для LLM модели
• 390. Как вы проектируем on-call ротацию для AI сервиса
• 391. Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения
• 400. Как вы проектируете систему для continuous learning LLM-агента в production — чтобы агент улучшался от взаимодействий с пользователями без переобучения на шум и без катастрофиче...
• 489. Что такое reward hacking в RLHF и как его детектировать
• 494. Что такое synthetic eval collapse и как его предотвратить
• 517. Как вы проектируете feature store для ML фичей, используемых LLM
• 530. Как вы делаете data quality monitoring для RAG корпуса
• 531. Как вы делаете active learning loop для улучшения retrieval
• 689. Как вы проектируете dynamic benchmark (меняющийся со временем)
• 696. Что такое active learning для сбора синтетических данных
• 700. Как вы комбинируете реальные и синтетические данные для максимального качества
• 755. Что такое эволюция (evolution) в Harness Engineering (component registry, drift detection)
• 780. Как измерять ROI от fine-tuning (окупается ли дообучение более дешёвым инференсом)
• 807. Что такое «prompt observability» (мониторинг эффективности промптов в production)
• 857. Как реализовать onlineoffline feature consistency для LLM
• 866. Как генерировать synthetic датасеты для RAG evaluation
• 800+ вопросов
• 68. Настроить inference-time scaling
• 95. Написать runbook для synthetic data collapse
• 110. Реализовать quality gates для агента
• 142. Реализовать cost-aware caching
• 281. Настроить мониторинг дрейфа метрик
• 285. Реализовать synthetic benchmark генератор

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление