A/B testing

Определение

Метод сравнения двух версий модели, пайплайна или промпта в production с разделением трафика для оценки эффекта изменений.

Где встречается

• 3 Какие стратегии chunking'а вы знаете и когда какую применяете
• 6. Что такое гибридный поиск и когда он нужен
• 25. Как вы оцениваете качество после fine-tuning
• 61. Как вы разворачиваете LLM в production (self-hosted)
• 62. Какие метрики вы мониторите для LLM в production
• 69. Как вы организуете CICD для RAG-пайплайна
• 71. Как вы тестируете RAG-систему на новых документах без реальных пользователей
• 73. Как вы логируете все вызовы LLM для аудита
• 74. Как вы мониторите дрейф данных (data drift) для RAG
• 76. Как вы делаете AB тестирование двух моделей в production
• 79. Как вы обновляете embedding модель без полной переиндексации
• 80. Какие 3 книгикурса вы рекомендуете по production LLM
• 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма
• 90. Как вы проектируете API для внешних систем, использующих вашу LLM
• 93. Как вы дебажите проблему LLM не следовала системному промпту
• 95. Как вы храните историю изменений промптов (prompt lineage)
• 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
• 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
• 136. Как вы AB тестируете две версии промпта в production
• 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
• 140. Как вы проверяете, что новая версия модели не сломала старые кейсы
• 156. Как вы выбираете между увеличением тест-тайм компьютинга и использованием большей модели
• 166. Назовите 7 production failure modes для agentic AI систем по PAEF (Pandey, 2026).
• 173. Как вы оцениваете креативность LLM в production
• 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
• 179. Как вы AB тестируете агентов в production
• 186. Что такое «shaping schema through language representation»
• 233. Как вы делаете hybrid search (vector + keyword) в production на 10M документов
• 241. Как вы делаете distributed tracing для цепочки user → gateway → RAG → LLM → user
• 250. Как вы делаете health check для LLM сервера с учетом модели (не только процесс)
• 251. Как вы деплоите LLM на spot instances в облаке
• 272. Как вы проверяете качество parsing документов (PDF, DOCX) в production
• 342. Что такое statistical power evaluation и как определять размер выборки
• 381. Как вы определяете SLO и SLA для LLM сервиса
• 382. Как вы проектируете canary deployment для LLM модели
• 383. Что такое error budget для AI качества и как его считать
• 385. Как вы автоматизируете rollback при деградации качества
• 390. Как вы проектируем on-call ротацию для AI сервиса
• 391. Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения
• 398. Как вы версионируете агента целиком (prompts, tools, memory schema, orchestration graph)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление