MRR
MRR
Определение
Средний обратный ранг (Mean Reciprocal Rank) — метрика качества ранжирования, равная среднему арифметическому обратных позиций первого релевантного документа. Широко применяется для оценки retrieval-систем.
Где встречается
- 1. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой
- 3 Какие стратегии chunking'а вы знаете и когда какую применяете
- 5. Как вы оцениваете качество retrieval'а в RAG-системе
- 6. Что такое гибридный поиск и когда он нужен
- 15. Какие embedding-модели вы использовали и почему
- 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
- 69. Как вы организуете CICD для RAG-пайплайна
- 74. Как вы мониторите дрейф данных (data drift) для RAG
- 86. Как вы решаете проблему “я знаю, что ответ есть в документах, но retrieval не находит”
- 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
- 114. Что такое Layout-Aware Chunking и как он связан с мультимодальностью
- 115. Как вы обрабатываете большие таблицы в RAG (500+ строк)
- 119. Как вы комбинируете текстовый и визуальный поиск (early fusion vs late fusion)
- 192. Как вы оцениваете качество language representation для задачи
- 233. Как вы делаете hybrid search (vector + keyword) в production на 10M документов
- 243. Как вы делаете blue-green deployment для RAG системы с zero downtime
- 264. Как вы делаете backfill эмбеддингов при смене embedding модели
- 373. Что такое learning-to-rank (LTR) и как он применяется к retrieval для LLM
- 374. Как вы делаете query rewriting и query expansion в RAG
- 376. Что такое hybrid search с весами (weighted hybrid) и как оптимизировать веса
- 380. Что такое semantic ranking на основе embeddings (вторая стадия после ANN)
- 502. Как вы AB тестируете две версии промпта в production
- 503. Как вы измеряете drift retrieval-качества в RAG (когда документы меняются)
- 519. Как вы делаете backfill эмбеддингов при смене embedding модели
- 531. Как вы делаете active learning loop для улучшения retrieval
- 546. Как вы индексируете видео-контент в RAG-системе
- 554. Как вы делаем image retrieval по тексту с высокой точностью
- 556. Как вы делаете extraction таблиц из PDF для RAG
- 559. Что такое Audio RAG (RAG для аудиофайлов)
- 560. Как работает мультимодальная эвалюация (MEGA, MM-Vet) для VL-моделей
- 645. Что такое hierarchical retrieval для long context RAG (когда контекст 100k)
- 668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)
- 684. Как вы генерируете hard negative примеры для retrieval обучения
- 688. Что такое synthetic data collapse (когда синтетические данные деградируют со временем)
- 757. Какие инструменты и фреймворки существуют для Harness Engineering
- 784. Как строить финансовую модель LLM-продукта для бизнеса
- 856. Как организовать data versioning (DVC, LakeFS, Delta Lake)
- 862. Как делать feature engineering для RAG (кроме текста)
- 883. Как защитить RAG от poisoning (вредоносные документы в базе знаний)
- Практика