BERTscore

Определение

Метрика оценки качества текста, вычисляющая семантическое сходство между ответом и эталоном на уровне токенов с помощью эмбеддингов BERT.

Где встречается

• 29. Как fine-tune модель для следования сложным инструкциям
• 32. Как вы подготовите датасет для fine-tuning, если у вас только неструктурированные диалоги с клиентами
• 133. Альтернативы LLM-as-Judge — назовите 3 и их ограничения.
• 174. Что такое «многошаговая когерентность» (coherence illusion) в cascading agent systems
• 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
• 215. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
• 373. Что такое learning-to-rank (LTR) и как он применяется к retrieval для LLM
• 504. Как вы оцениваете cost-effectiveness LLM-пайплайна
• 505. Как вы проверяете, что новая версия модели не сломала старые кейсы
• 534. Как вы делаете data quality для синтетических датасетов
• 682. Как вы оцениваете качество синтетических данных (Self-consistency, LLM-as-Judge)
• 797. Как тестировать промпты (prompt regression testing)
• 890. Как тестировать robustness LLM к adversarial inputs
• 800+ вопросов
• 69. Реализовать deliberate decoding
• 133. Реализовать cost-aware routing
• 169. Реализовать rollback промпта
• 220. Настроить wave decoding для коротких ответов
• 254. Реализовать SLO для RAG

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление