Поиск

• wikiАсинхронная индексация

  # Асинхронная индексация ## Определение Предварительная индексация документов в фоновом режиме, не блокирующая основные операции RAG-системы. ## Где встречается - [[800+ вопросов|800…

• wikiRAG indexing

  # RAG indexing ## Определение Индексация для RAG (RAG indexing) — этап преобразования документов в поисковый индекс, включающий чанкинг, эмбеддинг и сохранение метаданных…

• wikivideo indexing

  # video indexing ## Определение Процесс извлечения и индексации информации из видео для последующего поиска в RAG-системах. ## Где встречается - [[800+ вопросов…

• wikiHierarchical Indexing

  # Hierarchical Indexing ## Определение Разбиение данных на иерархические уровни (например, видео → главы → сцены → кадры) для эффективного поиска. ## Где встречается - [[546. Как…

• wikiBatch RAG

  # Batch RAG ## Определение Подход к реализации RAG, при котором индексация документов выполняется периодически крупными батчами, что приводит к высокой задержке…

• wikiindexing

  # indexing ## Определение Процесс построения индекса в векторной БД для эффективного поиска. Включает загрузку, обработку и подготовку данных, часто с удалением…

• wikiTwo-phase indexing

  # Two-phase indexing ## Определение Two-phase indexing — подход к индексации, при котором документ сначала проходит все фильтры и проверки, а…

• wikiStreaming Ingestion

  # Streaming Ingestion ## Определение Процесс непрерывного приёма данных из систем очередей (Kafka, Kinesis) для обновления фичей и индексов в реальном времени…

• wikiTask queue

  # Task queue ## Определение Архитектурный паттерн, при котором задачи (например, индексация или запросы к LLM) помещаются в очередь (RabbitMQ, Kafka, Celery…

• wikiincremental ingestion

  # incremental ingestion ## Определение Процесс обновления поискового индекса (векторной БД) только для изменившихся документов, без полной переиндексации всего корпуса. ## Где встречается…

• answerКак вы индексируете видео-контент в RAG-системе?

  …Индексация видео в RAG [[Вики/indexing\|Индексация]] видео — процесс преобразования неструктурированного видеопотока в набор поисковых векторов (эмбеддингов) и метаданных, которые…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG на 100 PDF

  …Проверить, что в чанках действительно есть ответ. | | Медленная индексация 100 PDF | Распараллелить обработку (multiprocessing.Pool). Использовать GPU для эмбеддингов. | | Вопросы…

• answerКак вы индексируете видео-контент в RAG-системе?

  …Как вы индексируете видео-контент в RAG-системе? ## Краткий тезис [[Вики/indexing\|Индексация]] видео в [[Вики/гибридный поиск\|RAG]] — это…

• answerЧто такое hierarchical retrieval для long context RAG (когда контекст > 100k)?

  …6. [[Вики/indexing\|Индексация]] в векторной БД — два индекса: один для разделов, другой для чанков (с фильтром по разделу). Пример…

• answerКак работает мультимодальный RAG с unified retrieval (один индекс для текста и изображений)?

  …Архитектура unified retrieval Система состоит из трёх этапов: [[Вики/indexing\|индексация]], [[Вики/retrieval\|поиск]], [[Вики/generation\|генерация]]. ``` [Текстовые документы] ──┐ ├──> CLIP…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с гибридным поиском (Qdrant + BM25 + RRF)

  …поиск по cosine | | Лексический поиск | `rank_bm25` (BM25Okapi) / Elasticsearch | Индексация чанков как sparse-векторов | | Комбинирование | RRF (Reciprocal Rank Fusion) | Ранжирование…

• answerЧем мультимодальный RAG отличается от «OCR + текстовый RAG»? Почему второго недостаточно?

  …3. [[Вики/indexing\|Индексация]]: сохраните в ChromaDB с метаданными (тип, страница, документ). 4. [[Вики/retrieval\|Retrieval]]: реализуйте поиск по текстовому…

• answerКак вы уменьшаете latency RAG-системы (время ответа)?

  …Цифра С [[Вики/Kafka\|Redis]] [[Вики/retrieval latency\|latency retrieval]] падает с 100ms до 1ms. --- ### 1.2 Асинхронная индексация документов…

• answerКак вы проектируете multimodal RAG для диаграмм (flowchart, architecture diagram)?

  …6. [[Вики/indexing\|Индексация]]: сериализованный текст эмбеддируется (Sentence-BERT) и сохраняется в векторной БД (FAISS, Qdrant). Дополнительно можно индексировать графовые…

• answerКак вы защищаете RAG от document injection (вредоносные документы в базе знаний)?

  …Таблица политик | Тип источника | Действие | |---------------|----------| | Официальный сайт компании (whitelist) | Автоматическая индексация | | Пользовательский файл (непроверенный) | Отклоняется, пока не пройдёт модерацию | | Сторонний…

• answerКак вы делаете RAG для видео (индексация subshots, аудио, ключевые кадры)?

  …Как вы делаете RAG для видео (индексация subshots, аудио, ключевые кадры)? ## Краткий тезис [[Вики/гибридный поиск\|RAG]] для видео — это…

• answerКак работает embedding poisoning для RAG и как защититься?

  …Рекомендации по архитектуре защиты (митагационная стратегия) | Уровень | Защита | Реализация | |---------|--------|------------| | [[Вики/indexing\|Индексация]] | Предобработка документа | Удаление скрытого текста, проверка на sus…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с векторной БД на CPU (Chroma/Qdrant)

  …Вики/GPT-4o\|LLM]] готовы к использованию. ### Этап 2: Индексация документов в векторную БД (3 часа) Действия 1. Разбить корпус…

• answerКак быть, если одно и то же изображение встречается в документах с разными подписями?

  …1. [[Вики/indexing\|Индексация]] изображений: - Каждое изображение получает уникальный ID (например, [[Вики/hash\|хеш]] от пикселей). - Для каждого документа, где…

• answerКак вы выбираете ANN алгоритм под ваш use case (volume, dimensionality, budget)?

  …Практические соображения ### 7.1 Индексация и обновления - [[Вики/hnswlib\|HNSW]] — добавление векторов возможно, но требует перестроения графа (дорого). Лучше строить…

• answerКак обрабатывать schema drift в данных для RAG?

  …сломаться [[Вики/indexing\|индексация]], [[Вики/embedding\|эмбеддинги]] перестанут соответствовать, [[Вики/retrieval\|retrieval]] вернёт некорректные [[Вики/chunking\|чанки]]. Обработка сводится к…

• answerКак вы решаете проблему “я знаю, что ответ есть в документах, но retrieval не находит”?

  …2. [[Вики/indexing\|Индексация]] Создать [[Вики/embedding\|эмбеддинги]] ([[Вики/text-embedding-3-small\|text-embedding-3-small]]), сохранить в [[Вики…

• answerКакие embedding-модели для мультимодального поиска вы используете? CLIP, BLIP-2, ImageBind?

  …Требования по латентности: - Онлайн‑RAG (<200 мс) → CLIP (можно на CPU с меньшим ViT‑B/16). - Офлайн‑индексация → любая модель…

• answerКак обрабатывать late-arriving data в ingestion?

  …Когда применять потоковые пайплайны с реальными временными ограничениями (например, [[Вики/indexing\|индексация]] логов или событий IoT). ## 7. Техническая реализация водяного…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с DSPy оптимизацией

  …L6-v2) | Векторизация документов и вопросов | | Векторная БД | FAISS | Индексация и поиск по сходству | | LLM (базовая генерация) | OpenAI GPT‑3…

• answerЧто такое Q-Former в BLIP-2 и зачем он нужен?

  …Как вы делаете RAG для видео (индексация subshots, аудио, ключевые кадры)\|366]] | Как архитектура Agentic RAG поддерживает работу с изображениями…

• answerКак вы обрабатываете большие таблицы в RAG (500+ строк)?

  …изменений в день)** → делайте суммаризацию + row‑based + [[Вики/Markdown\|Markdown]]. [[Вики/indexing\|Индексация]] дорогая, но разовая. - **Если таблицы динамические (например…

• answerКак проектировать request-response vs fire-and-forget для агентов?

  …Уведомления (логи, метрики, обновление кэша). - Запуск длительных фоновых задач (индексация, суммаризация). - Сценарии, где потеря сообщения допустима (если нет гарантии доставки…

• answerКак вы комбинируете текстовый и визуальный поиск (early fusion vs late fusion)?

  …Как работает 1. [[Вики/indexing\|Индексация]] Для каждого документа (состоящего из текста и изображения) вычисляется один [[Вики/multimodal embedding\|мультимодальный…

• answerКак бы вы спроектировали систему для реального времени (real-time) обработки документов?

  …Ключевая идея — разделить online (поиск/retrieval) и offline (индексация/ingestion) контуры. [[Вики/runtime\|Real-time]] достигается через событийную архитектуру ([[Вики…

• answerКак проектировать AI pipeline с at-least-once семантикой?

  …print(f'Consumer error: {msg.error()}') break # Обработка сообщения (например, индексация) try: process_document(msg.value()) # Коммит offset вручную после…

• answerЧто такое Layout-Aware Chunking и как он связан с мультимодальностью?

  …Это мультимодальный [[Вики/signal\|сигнал]] (визуальная модальность). - [[Вики/indexing\|Индексация]] не только текста – после выделения блоков можно параллельно извлекать изображения…

• answerКак работает мультимодальное выравнивание (alignment) в моделях типа Chameleon (Meta)?

  …Как вы делаете RAG для видео (индексация subshots, аудио, ключевые кадры)\|366]] - Индекс: [[00. Индекс разборов]]

• answerЧто делать, если embedding pipeline отстаёт от ingestion (backpressure)?

  …Тема backpressure органично входит в раздел «Архитектура Agentic RAG», потому что динамическая индексация — ключевое отличие от batch RAG. --- ## Пет-проект…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Fine-tune embedding под домен

  …sentence-transformers.evaluation, faiss | Recall@10 | | Векторный поиск | FAISS (индексация) | Быстрый retrieval для оценки | | Датасет | HuggingFace datasets / pandas | Загрузка и…

• answerЧто такое «cost attribution» (какой компонент сколько стоит)?

  …DB)** | Затраты на поиск в векторной БД (compute, storage, индексация) | 5–15% | Стоимость вызова vector DB (обычно фиксированная за запрос…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с HyDE (Hypothetical Document Embeddings)

  …Jupyter Notebook. [[Вики/Содержание\|Содержание]] - Функция `index_corpus(documents)` — индексация корпуса. - Функция `retrieve(query, k=10)` — базовый retrieval. - Функция `augment…

• answerКак работает извлечение знаний (knowledge editing) из LLM без переобучения?

  …модели | Добавляет документы в контекст | | Скорость обновления | Секунды | Мгновенно (индексация может быть долгой) | | Надёжность | Может нарушить другие знания | Всегда актуально…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить query expansion с LLM и BM25

  …Корпус и поиск | `Whoosh` или `Elasticsearch` (on-prem) | BM25 индексация и поиск | | LLM | OpenAI API / vLLM / Hugging Face Transformers | Генерация…

• answerКак работает эмбеддинг слой и почему его размер (embedding dimension) важен?

  …V × d. Каждая строка — это вектор для соответствующего токена. Индексация: для токена с id = i из входной последовательности извлекается строка…

• answerКак вы защищаете RAG от data poisoning через неявные инструкции (subtle injections)?

  …Практические рекомендации по внедрению | Уровень защиты | Метод | Сложность | Влияние на latency | |----------------|-------|-----------|---------------------| | Индексация | Trust score + фильтрация | Средняя | Низкое (однократно) | | Retrieval | Cross…

• answerКак вы делаете load shedding при перегрузке LLM сервера?

  …вызывает инструменты | | [[Вики/Batch inference\|Batch-обработка]] | Фоновые задачи (индексация, суммаризация) конкурируют с онлайн-запросами | Ночной пересчёт эмбеддингов | | Сбои upstream…

• answerКак вы шифруете данные для RAG (конфиденциальность)?

  …генерация эмбеддингов, индексация, поиск, [[Вики/inference\|инференс LLM]]. Атакующий с доступом к хосту может вычитать память (DMA, cold boot, core…

• answerКак вы дедуплицируете документы перед индексацией в RAG?

  …Как вы обновляете документы в существующей RAG-системе]] | Инкрементальная индексация | | [[514. Как вы оцениваете качество retrieval'а в RAG-системе…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с оценкой faithfulness и дашбордом Grafana

  …ответа, подтверждённых контекстом | | Векторное хранилище | FAISS (локально) / Qdrant (Docker) | Индексация и поиск эмбеддингов документов | | LLM / Embeddings | OpenAI API / HuggingFace transformers…