retrieval
retrieval
Определение
Компонент RAG-системы, отвечающий за поиск релевантных документов или чанков из внешнего хранилища для дополнения генерации ответа.
Где встречается
- 5. Как вы оцениваете качество retrieval'а в RAG-системе
- 11. Что такое Hypothetical Document Embeddings (HyDE) и зачем
- 14. Как вы обрезаете контекст, когда retrieved documents больше контекстного окна LLM
- 16. Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.
- 21. Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот
- 22. Какие методы fine-tuning вы знаете и какой используете чаще всего
- 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
- 62. Какие метрики вы мониторите для LLM в production
- 70. Как вы снижаете стоимость LLM в production на 50%+
- 71. Как вы тестируете RAG-систему на новых документах без реальных пользователей
- 74. Как вы мониторите дрейф данных (data drift) для RAG
- 78. Какие LLM для русского языка вы используете
- 80. Какие 3 книгикурса вы рекомендуете по production LLM
- 83. Как спроектировать систему, где LLM должна работать с конфиденциальными данными (медицина, финансы)
- 86. Как вы решаете проблему “я знаю, что ответ есть в документах, но retrieval не находит”
- 87. Как вы обеспечиваете, чтобы ответы LLM были консистентными для одинаковых вопросов
- 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма
- 94. Как вы проектируете промпты, которые работают с разными моделями
- 101. Что такое DSPy и какую проблему он решает, которую не решают LangChain или LlamaIndex
- 104. Как вы интегрируете DSPy с RAG-пайплайном Приведите пример сигнатуры.
- 105. Когда DSPy не подходит Назовите 3 сценария.
- 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
- 112. Как вы извлекаете логические отношения из диаграммы, а не просто текст
- 114. Что такое Layout-Aware Chunking и как он связан с мультимодальностью
- 118. Как вы проверяете, что LLM правильно «понял» диаграмму, а не просто угадал
- 128. Что такое Model Poisoning в контексте RAG и как защититься
- 134. Как вы оцениваете faithfulness RAG-ответа в production автоматически
- 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
- 142. Как вы проектируете «планировщика» (planner) для Agentic RAG
- 148. Как вы измеряете стоимость агента в production (не только токены)
- 149. Как спроектировать агента, который может самоисправляться (self-correction)
- 172. Что такое LiveIdeaBench и для чего он нужен
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 181. В чем проблема «natural language bottleneck» для LLM
- 182. Что такое «схема» (schema) в контексте LLM и как она связана с языковым представлением
- 186. Что такое «shaping schema through language representation»
- 187. Как язык промпта (русский vs английский) влияет на схему рассуждения
- 188. Что такое «Schema-Activated In-Context Learning» (SA-ICL)
- 192. Как вы оцениваете качество language representation для задачи
- 199. Как вы combine language representation с DSPy