Поиск

wikisharding
…например, ZeRO-3 шардит градиенты и оптимизатор между GPU, а векторные БД используют шардирование индекса на миллиарды векторов. ## Где встречается…
answerКак учитывать CAP theorem в AI systems?
…Для AI-систем, которые часто работают распределённо (векторные БД, кластеры инференса, агентные роутеры), понимание этого компромисса необходимо при проектировании. --- ## 2…
answerЧто такое malicious embeddings (атака через векторные БД)?
…Что такое malicious embeddings (атака через векторные БД)? ## Краткий тезис [[Вики/malicious embeddings\|Malicious embeddings]] — это тип атаки на RAG…
answerКак вы обрабатываете streaming данные для real-time RAG?
…Векторные БД для real-time Не все векторные БД одинаково подходят для [[Вики/Real-time ingestion\|streaming]]. Критичны: - [[Вики/Incremental…
answerКак вы делаете image retrieval с фильтрацией по метаданным (дата, местоположение, камера)?
…Ключевые инструменты — векторные БД с поддержкой фильтрации (Qdrant, Weaviate, Milvus, Elasticsearch) и предобученные модели для извлечения эмбеддингов (CLIP, SigLIP, DINOv2…
answerКак вы обрабатываете streaming данные для real-time RAG?
…Выбор векторной БД для streaming Не все векторные БД одинаково подходят для [[Вики/runtime\|real-time]] вставок. Критерии: | БД | Инкрементальная…
wikiembedding
# embedding ## Определение Преобразование chunk'ов в векторные представления для поиска в векторной БД. ## Где встречается - [[1. Как бы вы спроектировали…
answerКак вы делаете schema evolution для метаданных документов в RAG?
…документы за 2024 год») и ранжирования (например, по рейтингу). - Векторные БД ([[Вики/qdrant-client\|Pinecone]], [[Вики/qdrant-client\|Weaviate]], [[Вики…
answerКак организовать multi-region active-passive для LLM API?
…Почему не синхронно Векторные БД имеют высокую нагрузку на запись (индексирование, перестроение HNSW-графа). Синхронная репликация через Атлантику сделала бы…
answerКак вы делаете incremental ingestion для часто меняющихся документов?
…Подходы | Подход | Описание | Плюсы | Минусы | |--------|----------|-------|--------| | Транзакция БД | Использовать ACID-транзакции векторной БД (если поддерживает) | Простота, атомарность | Не все векторные БД…
answerКак вы проектируете multi-region active-active для LLM API?
…region affinity]]** (привязкой к региону), независимые LLM-кластеры и векторные БД в каждом регионе, асинхронная [[Вики/синхронизация кэша\|синхронизация кэша…
answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?
…Векторные БД поддерживают: - [[Вики/Qdrant\|Pinecone]]: `upsert()` с max 1000 векторов за один вызов. - [[Вики/qdrant-client\|Qdrant]]: `upsert_points…
answerКак работает многогранный (faceted) поиск в RAG с фильтрами?
…фильтры]] будут работать некорректно. - [[Вики/constraints\|Ограничения]] БД — не все векторные БД поддерживают сложные [[Вики/Filters\|фильтры]] (например, `$in`, `$[[Вики…
answerЧто такое graceful degradation в multi-agent системах?
…которых зависит от внешних сервисов ([[Вики/LLM\|LLM API]], векторные БД, [[Вики/web search\|веб-поиск]], внутренние [[Вики/Microservice architecture…
answerКак вы проектируете disaster recovery для LLM системы при сбое региона?
…Для LLM-системы DR включает не только восстановление вычислительных мощностей, но и целостность данных (indexes|векторные индексы, кэш, метаданные) и…
answerКакие инструменты и фреймворки существуют для Harness Engineering?
…CrewAI или AutoGen + векторная БД. - Enterprise с соблюдением compliance: Harness Platform + harness-one или LlamaIndex. - Для задач внутри IT-инфраструктуры…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с векторной БД на CPU (Chroma/Qdrant)
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 12 | Векторные БД: сравнение FAISS, Chroma, Qdrant | | 45 | Использование sentence-transformers для эмбеддингов…
answerКак вы шифруете данные для RAG (конфиденциальность)?
…Шифрование при хранении (Data at Rest) ### Векторные базы данных Большинство managed‑векторных БД ([[Вики/Qdrant\|Pinecone]], [[Вики/Qdrant Cloud\|Qdrant…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с HyDE (Hypothetical Document Embeddings)
…Реализуйте индексацию корпуса: - Загрузите эмбеддер (`from sentence_transformers import SentenceTransformer`). - Вычислите эмбеддинги всех документов. - Запишите в векторную БД (Chroma: `chromadb…
answerКак вы управляете cost хранения векторной БД при миллиарде векторов?
…scheduler\|Custom scheduler]] на основе Python + boto3 для S3. - Векторные БД с поддержкой tiering: например, [[Вики/Milvus\|Milvus]] (поддержка multi…
answerКак избежать hot shard в Qdrant (или другой векторной БД)?
…Где возникает - Векторные БД ([[Вики/qdrant-client\|Qdrant]], [[Вики/qdrant-client\|Milvus]], [[Вики/qdrant-client\|Weaviate]], [[Вики/qdrant-client\|Pinecone…
answerКак обрабатывать schema drift в данных для RAG?
…Pydantic)** | Валидация на этапе загрузки документа. | | Weaviate / Qdrant | Некоторые векторные БД поддерживают мульти-тенантность с разными схемами. | --- ## 6. Schema drift…
answerКак работает embedding poisoning для RAG и как защититься?
…котором злоумышленник добавляет в векторную БД документы, чьи [[Вики/embedding\|эмбеддинги]] ([[Вики/embedding\|векторные представления]]) искусственно сдвинуты так, чтобы они…
answerКак вы делаете schema evolution для метаданных документов в RAG?
…Интеграция с векторной БД ### 5.1 Хранение метаданных Векторные БД ([[Вики/qdrant-client\|Pinecone]], [[Вики/qdrant-client\|Weaviate]], [[Вики/qdrant…
answerКак вы проектируете feature store для ML фичей, используемых LLM?
…Spark-based) | Да | Да | | Векторные фичи | Через сторонние БД | Встроенный векторный store | Через сторонние БД | | [[Вики/TTFT\|Latency]] | ~5ms (Redis…
answerКак считать TCO (Total Cost of Ownership) для RAG/Agent системы?
…Лицензии ПО - Проприетарные векторные БД ([[Вики/Pinecone\|Pinecone]], [[Вики/Qdrant\|Weaviate]] [[Вики/Облако\|Cloud]]) имеют подписку, но некоторые ([[Вики/Milvus…
answerКак вы обрабатываете большие таблицы в RAG (500+ строк)?
…from llama_index.core.indices import SQLStructStoreIndex` | | Pinecone / Qdrant | Векторные БД с поддержкой фильтрации по полям (metadata) | Фильтр `{"field": "table…
answerКак работает HNSW (Hierarchical Navigable Small World) алгоритм внутренне?
…Зачем нужен [[Вики/ANN индекс\|ANN]] в [[Вики/гибридный поиск\|RAG]] - Векторные БД хранят миллионы эмбеддингов (например, 768-мерных от…
answerКак вы комбинируете текстовый и визуальный поиск (early fusion vs late fusion)?
…Инструменты - Векторные БД Milvus, Qdrant, Weaviate, Pinecone — все поддерживают мультимодальные векторы и гибридный поиск. - [[Вики/Embedding layer\|Эмбеддинги]] CLIP (ViT…
answerКогда вы выбираете fine-tuning вместо RAG, а когда — наоборот?
…Можно использовать любую готовую [[Вики/GPT-4o\|LLM]] (через [[Вики/API\|API]]) и готовые векторные БД ([[Вики/Pinecone\|Pinecone]], [[Вики…
answerКак проектировать Airflow DAG для RAG ingestion?
…Embed — преобразование чанков в [[Вики/embedding\|векторные эмбеддинги]] с помощью нейросетевой модели (например, `[[Вики/text-embedding-3-small\|text-embedding…
answerЧто такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать?
…LLM\|LLM]] (chat completions) - [[Вики/embedding API\|Embedding API]] - Векторные БД ([[Вики/retrieval\|поиск]], запись) - Внешние инструменты ([[Вики/web search…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Multi-tenant RAG с изоляцией данных
…Связанные вопросы из базы знаний | Вопрос | Тема | Номер | |--------|------|-------| | Как реализовать multi-tenant RAG? | Архитектура RAG | 45 | | Векторные БД: Qdrant vs…
answerКак работает мультимодальный RAG с unified retrieval (один индекс для текста и изображений)?
…qdrant-client\|Qdrant]], [[Вики/Weaviate\|Weaviate]], [[Вики/Qdrant\|Pinecone]] — векторные БД, поддерживающие единую коллекцию для разных типов данных. - [[Вики/LLaVA…
answerКак вы делаете backfill эмбеддингов при смене embedding модели?
…Запуск batch-задач в изолированных контейнерах. | | Pinecone / Qdrant / Weaviate | Векторные БД, поддерживающие несколько индексов/коллекций. | | LangChain / LlamaIndex | Фреймворки, упрощающие переключение…
answerКак устроена Memory в Harness (in-memory, fs, vector stores, relay)?
…Vector stores — векторные хранилища ### Назначение [[Вики/векторный поиск\|Семантический поиск]] по истории диалогов. Позволяет находить релевантные сообщения или [[Вики/chunking…
answerLangChain vs LlamaIndex vs Haystack — что выберете и почему?
…сервисов ([[Вики/Slack\|Slack]], Google Drive, [[Вики/SQL\|SQL]], векторные БД). - Вы строите [[Вики/agent\|chatbot]] с памятью, историей, контекстными…
answerКак работает DiskANN и когда он нужен?
…OPQ (Optimized Product Quantization) vs PQ — в чем разница\|224]] | Какие векторные БД вы знаете? (DiskANN как движок в некоторых…
answerЧто такое data poisoning атака на fine-tuning и как защититься?
…Что такое malicious embeddings (атака через векторные БД)\|610]] | Безопасность Agentic RAG | --- ## Навигация (Obsidian) - Предыдущий: [[600. Как вы защищаете LLM…
answerNVIDIA Grace Hopper: CPU-GPU unified memory, как это меняет LLM serving?
…векторные БД vs графовые?\|711]] | Долгосрочная память — GH200 позволяет хранить большие контексты без внешних БД | | [[712. Как агенты используют инструменты…
answerКак вы оцениваете cost-effectiveness LLM-пайплайна?
…векторные БД ([[Вики/Pinecone\|Pinecone]], [[Вики/Qdrant\|Weaviate]]), [[Вики/orchestration\|оркестрация]] ([[Вики/agent\|LangChain]], [[Вики/Airflow\|Airflow]]). - **[[Вики/мониторинг\|Мониторинг…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать семантический кэш
…Кэш хранит векторные представления запросов в Qdrant, а для быстрого доступа к метаданным использует Redis. В результате ожидается cache hit…
answerЧто такое Hierarchical Navigable Small World + IVF (HNSW+IVF) гибрид?
…векторные БД для RAG часто используют гибридные индексы для баланса между latency и качеством поиска. --- ## 8. Реализации в популярных инструментах…
answerКак вы защищаете RAG от document injection (вредоносные документы в базе знаний)?
…Что такое malicious embeddings (атака через векторные БД)\|610]] - Индекс: [[00. Индекс разборов]]
answerЧто такое adversarial patch для vision-language моделей (физическая атака)?
…Что такое malicious embeddings (атака через векторные БД)\|610]] | Что такое jailbreak для LLM? | | [[611. Как работает adversarial example для…
answerКак вы защищаете агента от tool injection (вредоносный API ответ)?
…Что такое malicious embeddings (атака через векторные БД)\|610]] | Как защититься от prompt injection? | | [[635. Как работает RAPTOR (иерархическое суммирование…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG на 100 PDF
…Если Docker недоступен, используем SQLite с сохранением эмбеддингов (имитация векторной БД). 3. [[Вики/Нет Ollama\|Нет Ollama]] – используем API любой…
answerЧто такое adversarial fine-tuning для защиты от jailbreak?
…Что такое malicious embeddings (атака через векторные БД)\|610]] | Что такое конституционный AI и как он применяется в агентах | --- ## Навигация…
answerКак вы проектируете data lineage для RAG (от документа к ответу)?
…Она принимает события от [[Вики/OpenLineage\|OpenLineage]], сохраняет их в БД ([[Вики/Faiss\|PostgreSQL]]) и строит интерактивный [[Вики/DAG orchestration…
answerЧто такое «cost per good answer» и как его измерять?
…Вики/Inference cost\|затраты]] на этапы **[[Вики/retrieval\|retrieval]]** (векторные БД, [[Вики/embedding\|эмбеддинги]]) и постобработку. - Количество хороших ответов — число…