A/B тест

Определение

A/B тест (сплит-тест) — это метод сравнительного эксперимента, в котором две версии системы (контрольная и экспериментальная) одновременно показываются разным группам пользователей для оценки статистически значимых различий в ключевых метриках. В контексте ML это финальный этап валидации, подтверждающий, что fine-tuned модель превосходит baseline в реальных условиях эксплуатации.

Где встречается

• 967. Как вы бенчмарките fine-tuned модель: на удержанном датасете, на out-of-distribution задачах, на adversarial кейсах?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление