offline-метрики
offline-метрики
Определение
Метрики, вычисляемые на статическом датасете без вызова LLM, например hit rate, MRR, accuracy, F1, BLEU, ROUGE. Используются для оценки качества retrieval или генерации до развертывания.
Где встречается
- 5. Как вы оцениваете качество retrieval'а в RAG-системе
- 383. Что такое error budget для AI качества и как его считать
- 876. Как избежать evaluation overfitting (когда модель учится на тесте)
- 800+ вопросов