chunking
chunking
Определение
Разбиение текста на фрагменты для последующего embedding; используется семантический chunking с перекрытием 10-20%.
Где встречается
- 1. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой
- 2 Как вы решаете проблему lost in the middle при работе с длинными контекстами
- 3 Какие стратегии chunking'а вы знаете и когда какую применяете
- 5. Как вы оцениваете качество retrieval'а в RAG-системе
- 13. Как вы загружаете 1000 документов в RAG максимально эффективно
- 14. Как вы обрезаете контекст, когда retrieved documents больше контекстного окна LLM
- 15. Какие embedding-модели вы использовали и почему
- 16. Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.
- 20. Как вы обеспечиваете, что RAG работает с документами на русском и английском одновременно
- 21. Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот
- 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
- 69. Как вы организуете CICD для RAG-пайплайна
- 71. Как вы тестируете RAG-систему на новых документах без реальных пользователей
- 80. Какие 3 книгикурса вы рекомендуете по production LLM
- 85. Как вы обрабатываете смену форматов документов (legacy + новые форматы)
- 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма
- 104. Как вы интегрируете DSPy с RAG-пайплайном Приведите пример сигнатуры.
- 112. Как вы извлекаете логические отношения из диаграммы, а не просто текст
- 116. Как вы индексируете видео-контент в RAG-системе
- 123. Как вы защищаете RAG-систему от утечки данных между клиентами (multi-tenant isolation)
- 141. В чем разница между Naive RAG, Adaptive RAG и Agentic RAG
- 149. Как спроектировать агента, который может самоисправляться (self-correction)
- 192. Как вы оцениваете качество language representation для задачи
- 233. Как вы делаете hybrid search (vector + keyword) в production на 10M документов
- 243. Как вы делаете blue-green deployment для RAG системы с zero downtime
- 256. Как вы проектируете ETL пайплайн для 1M документовдень в RAG систему
- 257. Как вы дедуплицируете документы перед индексацией в RAG
- 263. Как вы обрабатываете PII в данных для RAG (GDPR, 152-ФЗ)
- 265. Как вы проектируете data lineage для RAG (от документа к ответу)
- 266. Как вы делаете incremental ingestion для часто меняющихся документов
- 272. Как вы проверяете качество parsing документов (PDF, DOCX) в production
- 273. Как вы обрабатываете corrupted или empty документы в ingestion пайплайне
- 275. Как вы делаете data quality monitoring для RAG корпуса
- 281. Что такое sliding window attention и зачем он в Mistral
- 377. Как вы делаете retrieval для структурированных данных (SQL, Knowledge Graph)
- 378. Как работает многогранный (faceted) поиск в RAG с фильтрами
- 410. Как вы делаете blue-green deployment для RAG системы с zero downtime
- 412. Как вы делаете cache invalidation для semantic cache при обновлении знаний
- 428. Как вы проектируете Kafka топологии для RAG ingestion
- 486. Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.