retrieval

Определение

Компонент RAG-системы, отвечающий за поиск релевантных документов или чанков из внешнего хранилища для дополнения генерации ответа.

Где встречается

• 5. Как вы оцениваете качество retrieval'а в RAG-системе
• 11. Что такое Hypothetical Document Embeddings (HyDE) и зачем
• 14. Как вы обрезаете контекст, когда retrieved documents больше контекстного окна LLM
• 16. Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.
• 21. Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот
• 22. Какие методы fine-tuning вы знаете и какой используете чаще всего
• 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
• 62. Какие метрики вы мониторите для LLM в production
• 70. Как вы снижаете стоимость LLM в production на 50%+
• 71. Как вы тестируете RAG-систему на новых документах без реальных пользователей
• 74. Как вы мониторите дрейф данных (data drift) для RAG
• 78. Какие LLM для русского языка вы используете
• 80. Какие 3 книгикурса вы рекомендуете по production LLM
• 83. Как спроектировать систему, где LLM должна работать с конфиденциальными данными (медицина, финансы)
• 86. Как вы решаете проблему “я знаю, что ответ есть в документах, но retrieval не находит”
• 87. Как вы обеспечиваете, чтобы ответы LLM были консистентными для одинаковых вопросов
• 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма
• 94. Как вы проектируете промпты, которые работают с разными моделями
• 101. Что такое DSPy и какую проблему он решает, которую не решают LangChain или LlamaIndex
• 104. Как вы интегрируете DSPy с RAG-пайплайном Приведите пример сигнатуры.
• 105. Когда DSPy не подходит Назовите 3 сценария.
• 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
• 112. Как вы извлекаете логические отношения из диаграммы, а не просто текст
• 114. Что такое Layout-Aware Chunking и как он связан с мультимодальностью
• 118. Как вы проверяете, что LLM правильно «понял» диаграмму, а не просто угадал
• 128. Что такое Model Poisoning в контексте RAG и как защититься
• 134. Как вы оцениваете faithfulness RAG-ответа в production автоматически
• 139. Как вы оцениваете cost-effectiveness LLM-пайплайна
• 142. Как вы проектируете «планировщика» (planner) для Agentic RAG
• 148. Как вы измеряете стоимость агента в production (не только токены)
• 149. Как спроектировать агента, который может самоисправляться (self-correction)
• 172. Что такое LiveIdeaBench и для чего он нужен
• 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
• 181. В чем проблема «natural language bottleneck» для LLM
• 182. Что такое «схема» (schema) в контексте LLM и как она связана с языковым представлением
• 186. Что такое «shaping schema through language representation»
• 187. Как язык промпта (русский vs английский) влияет на схему рассуждения
• 188. Что такое «Schema-Activated In-Context Learning» (SA-ICL)
• 192. Как вы оцениваете качество language representation для задачи
• 199. Как вы combine language representation с DSPy

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление