MRR

Определение

Средний обратный ранг (Mean Reciprocal Rank) — метрика качества ранжирования, равная среднему арифметическому обратных позиций первого релевантного документа. Широко применяется для оценки retrieval-систем.

Где встречается

• 1. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой
• 3 Какие стратегии chunking'а вы знаете и когда какую применяете
• 5. Как вы оцениваете качество retrieval'а в RAG-системе
• 6. Что такое гибридный поиск и когда он нужен
• 15. Какие embedding-модели вы использовали и почему
• 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
• 69. Как вы организуете CICD для RAG-пайплайна
• 74. Как вы мониторите дрейф данных (data drift) для RAG
• 86. Как вы решаете проблему “я знаю, что ответ есть в документах, но retrieval не находит”
• 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
• 114. Что такое Layout-Aware Chunking и как он связан с мультимодальностью
• 115. Как вы обрабатываете большие таблицы в RAG (500+ строк)
• 119. Как вы комбинируете текстовый и визуальный поиск (early fusion vs late fusion)
• 192. Как вы оцениваете качество language representation для задачи
• 233. Как вы делаете hybrid search (vector + keyword) в production на 10M документов
• 243. Как вы делаете blue-green deployment для RAG системы с zero downtime
• 264. Как вы делаете backfill эмбеддингов при смене embedding модели
• 373. Что такое learning-to-rank (LTR) и как он применяется к retrieval для LLM
• 374. Как вы делаете query rewriting и query expansion в RAG
• 376. Что такое hybrid search с весами (weighted hybrid) и как оптимизировать веса
• 380. Что такое semantic ranking на основе embeddings (вторая стадия после ANN)
• 502. Как вы AB тестируете две версии промпта в production
• 503. Как вы измеряете drift retrieval-качества в RAG (когда документы меняются)
• 519. Как вы делаете backfill эмбеддингов при смене embedding модели
• 531. Как вы делаете active learning loop для улучшения retrieval
• 546. Как вы индексируете видео-контент в RAG-системе
• 554. Как вы делаем image retrieval по тексту с высокой точностью
• 556. Как вы делаете extraction таблиц из PDF для RAG
• 559. Что такое Audio RAG (RAG для аудиофайлов)
• 560. Как работает мультимодальная эвалюация (MEGA, MM-Vet) для VL-моделей
• 645. Что такое hierarchical retrieval для long context RAG (когда контекст 100k)
• 668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)
• 684. Как вы генерируете hard negative примеры для retrieval обучения
• 688. Что такое synthetic data collapse (когда синтетические данные деградируют со временем)
• 757. Какие инструменты и фреймворки существуют для Harness Engineering
• 784. Как строить финансовую модель LLM-продукта для бизнеса
• 856. Как организовать data versioning (DVC, LakeFS, Delta Lake)
• 862. Как делать feature engineering для RAG (кроме текста)
• 883. Как защитить RAG от poisoning (вредоносные документы в базе знаний)
• Практика

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление