Response quality (Качество ответа)

Определение

Качество ответа (response quality) — это совокупность метрик, используемых для оценки точности, релевантности, полноты и полезности ответа, сгенерированного языковой моделью. Оценка может проводиться как автоматически (например, с помощью BLEU, ROUGE, perplexity), так и вручную экспертами. Высокое качество ответа подразумевает соответствие запросу, отсутствие галлюцинаций и фактическую корректность.

Где встречается

• 967. Как вы бенчмарките fine-tuned модель: на удержанном датасете, на out-of-distribution задачах, на adversarial кейсах?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление