Aivaro
  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Материалы сообщества
  • Тесты
  • Поиск
✈Telegram @ai_varo
RUEN中文
…
Оглавление/Вики/Recall

Recall

Recall

Определение

Метрика, оценивающая долю релевантных документов, найденных среди всех релевантных в коллекции; используется для оценки качества retrieval.

Где встречается

  • 3 Какие стратегии chunking'а вы знаете и когда какую применяете
  • 6. Что такое гибридный поиск и когда он нужен
  • 7. Как вы уменьшаете latency RAG-системы (время ответа)
  • 12. Как вы фильтруете документы по метаданным в векторной БД
  • 15. Какие embedding-модели вы использовали и почему
  • 25. Как вы оцениваете качество после fine-tuning
  • 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
  • 129. Как вы обнаруживаете многошаговые jailbreak-атаки (через 10-20 сообщений)
  • 233. Как вы делаете hybrid search (vector + keyword) в production на 10M документов
  • 257. Как вы дедуплицируете документы перед индексацией в RAG
  • 272. Как вы проверяете качество parsing документов (PDF, DOCX) в production
  • 275. Как вы делаете data quality monitoring для RAG корпуса
  • 352. Что такое jailbreak taxonomy (OOD, refusal suppression, role-play, перевод)
  • 353. Как работает embedding poisoning для RAG и как защититься
  • 368. Как вы оцениваете мультимодальную модель на hallucinations (POPE, MMHal-Bench)
  • 374. Как вы делаете query rewriting и query expansion в RAG
  • 378. Как работает многогранный (faceted) поиск в RAG с фильтрами
  • 523. Как вы делаете synthetic data generation для редких классов в датасете
  • 530. Как вы делаете data quality monitoring для RAG корпуса
  • 537. Что такое SigLIP и чем отличается от CLIP
  • 547. Как вы оцениваете мультимодальную модель на галлюцинации (POPE, MMHal-Bench)
  • 552. Как вы делаете image captioning для RAG (извлечение описания изображения)
  • 571. Как работают verifier models для agentic RAG и зачем они нужны
  • 613. Как работает model watermarking для LLM (идентификация модели-источника)
  • 625. Что такое adversarial prompt detection для реального времени (runtime)
  • 627. Как вы тестируете long-context capability модели (бенчмарки RULER, Needle in a Haystack)
  • 639. Как вы делаете model selection для long context (какая модель лучше держит 100k+)
  • 682. Как вы оцениваете качество синтетических данных (Self-consistency, LLM-as-Judge)
  • 878. Как измерять faithfulness для long-form ответов (1000+ токенов)
  • Практика
  • 800+ вопросов
  • 42. Настроить hybrid search с весами
  • 84. Реализовать conversational repair
  • 95. Написать runbook для synthetic data collapse
  • 144. Настроить anomaly detection по cost
  • 269. Реализовать hard negative mining для retrieval
  • 281. Настроить мониторинг дрейфа метрик

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление