TruLens

Определение

TruLens — инструмент для оценки и мониторинга RAG-приложений, использующий LLM-as-a-judge для метрик groundedness, answer relevance и context relevance.

Где встречается

• 5. Как вы оцениваете качество retrieval'а в RAG-системе
• 16. Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.
• 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
• 134. Как вы оцениваете faithfulness RAG-ответа в production автоматически
• 644. Как вы оцениваете faithfulness ответа на длинном контексте (когда много информации)
• 777. Что такое «cost per good answer» и как его измерять
• 878. Как измерять faithfulness для long-form ответов (1000+ токенов)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление