Поиск

wikiVector stores
# Vector stores ## Определение Специализированные базы данных для хранения и поиска векторных эмбеддингов, используемые в семантическом поиске и долговременной памяти агентов…
answerКак учитывать CAP theorem в AI systems?
…Почему CAP критичен для AI-инфраструктуры AI-системы редко состоят из одного узла: - Векторные базы данных ([[Вики/Qdrant\|Pinecone]], [[Вики…
answerКак вы проектируете disaster recovery для LLM системы при сбое региона?
…Архитектура строится на мультирегиональном развёртывании, синхронной/асинхронной репликации векторной базы данных, автоматическом DNS-фейловере и регулярных учениях (drills) для проверки…
answerКакие инструменты и фреймворки существуют для Harness Engineering?
…modules)** — работа с файловой системой, [[Вики/REST\|HTTP]], калькулятор, базы данных. - Интеграции — встроенные адаптеры к [[Вики/GPT-4o\|OpenAI]], [[Вики…
answerКак работает многогранный (faceted) поиск в RAG с фильтрами?
…Преимущества - Высокая [[Вики/performance\|производительность]], если [[Вики/Filters\|фильтры]] селективны (отсекают >90% данных). - Гарантируется, что все результаты соответствуют фильтрам. - Не…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать semantic cache для LLM
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 42 | Стратегии кэширования для LLM | | 67 | Векторные базы данных (Qdrant, Weaviate, Milvus) | | 89…
answerЧто такое graceful degradation в multi-agent системах?
…Превышен лимит → нет результатов | Использование только внутренней базы знаний, пометка «без свежих данных» | | Агент-координатор | Потеря связи → остановка всего пайплайна…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с HyDE (Hypothetical Document Embeddings)
…MRR, NDCG) | | 123 | Prompt Engineering для LLM | | 187 | Векторные базы данных: Chroma, FAISS, Qdrant | | 222 | HyDE (Hypothetical Document Embeddings) — теория…
answerЧто такое data exfiltration через LLM (утечка данных через ответы)?
…восстановление training данных)\|608]] | Prompt injection и защита от него | | [[610. Что такое malicious embeddings (атака через векторные БД)\|610…
answerКак работает embedding poisoning для RAG и как защититься?
…система даёт ложную информацию, что критично в медицине, финансах, безопасности. - [[Вики/утечка данных\|Утечка данных]]: вредоносный документ может содержать скрытые…
answerКак работает Product Quantization (PQ) для сжатия векторов?
…Как работает HNSW (Hierarchical Navigable Small World) алгоритм внутренне\|221]] | Как устроены векторные базы данных (Faiss, Milvus)? | | [[222. Что такое…
answerЧто такое data poisoning атака на fine-tuning и как защититься?
…часто применяется для: - Адаптации модели к специфическим инструментам (API, базы данных). - Обучения следовать сложным инструкциям агента. - Улучшения извлечения фактов из…
answerКак работает adversarial example для embedding моделей (атака на retrieval)?
…Что такое malicious embeddings (атака через векторные БД)\|610]] - Следующий: [[612. Что такое data exfiltration через LLM (утечка данных через…
answerКак вы обрабатываете большие таблицы в RAG (500+ строк)?
…Создать [[Вики/RAG\|RAG]]‑систему для базы данных «Продажи интернет-магазина»: 3 таблицы по 1000 строк, колонки – `date`, `product`, `[[Вики…
answerКак избежать hot shard в Qdrant (или другой векторной БД)?
…Где возникает - Векторные БД ([[Вики/qdrant-client\|Qdrant]], [[Вики/qdrant-client\|Milvus]], [[Вики/qdrant-client\|Weaviate]], [[Вики/qdrant-client\|Pinecone…
answerКак вы шифруете данные для RAG (конфиденциальность)?
…Шифрование при хранении (Data at Rest) ### Векторные базы данных Большинство managed‑векторных БД ([[Вики/Qdrant\|Pinecone]], [[Вики/Qdrant Cloud\|Qdrant…
answerКак считать TCO (Total Cost of Ownership) для RAG/Agent системы?
…Лицензии ПО - Проприетарные векторные БД ([[Вики/Pinecone\|Pinecone]], [[Вики/Qdrant\|Weaviate]] [[Вики/Облако\|Cloud]]) имеют подписку, но некоторые ([[Вики/Milvus…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG на 100 PDF
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 10 | Что такое RAG? | | 45 | Как работают векторные базы данных? | | 89 | Сравнение embedding…
answerКак работает DiskANN и когда он нужен?
…ограниченной памяти. [[Вики/DiskANN\|DiskANN]] необходим, когда размер векторной базы данных превышает доступную RAM, а требования к точности поиска выше…
answerКогда вы выбираете fine-tuning вместо RAG, а когда — наоборот?
…Можно использовать любую готовую [[Вики/GPT-4o\|LLM]] (через [[Вики/API\|API]]) и готовые векторные БД ([[Вики/Pinecone\|Pinecone]], [[Вики…
answerКак организовать multi-region active-passive для LLM API?
…чтобы не терять закэшированные ответы) и асинхронную репликацию векторной базы данных (чтобы документы были доступны после переключения). [[Вики/robustness\|Failover…
answerКак вы измеряете стоимость агента в production (не только токены)?
…поисковые [[Вики/API\|API]] (Google, Bing), базы данных ([[Вики/SQL\|SQL]], векторные), калькуляторы, календари, [[Вики/CRM\|CRM]]. [[Вики/cost\|Стоимость…
answerКак вы дедуплицируете документы перед индексацией в RAG?
…Вики/chunking\|chunking]]** и индексации, чтобы: - Уменьшить размер векторной базы данных ([[Вики/memory savings\|экономия памяти]] и [[Вики/speedup\|ускорение…
answerЧто такое Cost Engineering для LLM-систем?
…гибридный поиск\|RAG]]. - Хранение и [[Вики/retrieval\|поиск]] – векторные базы данных, кэши, [[Вики/logs\|логи]]. - [[Вики/метаданные\|Человеческая разметка]] – [[Вики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Multi-tenant RAG с изоляцией данных
…Связанные вопросы из базы знаний | Вопрос | Тема | Номер | |--------|------|-------| | Как реализовать multi-tenant RAG? | Архитектура RAG | 45 | | Векторные БД: Qdrant vs…
answerКак проектировать Airflow DAG для RAG ingestion?
…S3, [[Вики/API\|API]], реляционной базы данных, Google Drive и т.д. 2. [[Вики/parsing\|Parse]] — преобразование форматов ([[Вики/PDF…
answerКак вы защищаете RAG-систему от утечки данных между клиентами (multi-tenant isolation)?
…Как вы защищаете RAG-систему от утечки данных между клиентами (multi-tenant isolation)? ## Краткий тезис Multi-tenant изоляция в RAG…
answerКак вы защищаете RAG от document injection (вредоносные документы в базе знаний)?
…Как работает model inversion атака (восстановление training данных)\|608]] - Следующий: [[610. Что такое malicious embeddings (атака через векторные БД)\|610…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с векторной БД на CPU (Chroma/Qdrant)
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 12 | Векторные БД: сравнение FAISS, Chroma, Qdrant | | 45 | Использование sentence-transformers для эмбеддингов…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать семантический кэш
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 42 | Основы векторных баз данных (Qdrant) | | 89 | Выбор модели эмбеддингов для семантического поиска…
answerКак вы логируете и дебажите многошаговые агенты?
…Tempo. - Это позволит объединить логи агента с логированием инфраструктуры (базы данных, API). --- ## 9. Сравнение инструментов трейсинга | Инструмент | Бесплатный tier | Визуализация…
answerКак вы предотвращаете tool overuse (когда агент вызывает API даже когда не нужно)?
…агент]] избыточно вызывает внешние инструменты ([[Вики/API\|API]], функции, базы данных), даже когда ответ можно дать на основе собственных знаний…
answerКак вы индексируете видео-контент в RAG-системе?
…Индексация и хранение Выбор векторной базы данных: | База | Плюсы | Минусы | |------|-------|--------| | [[Вики/Faiss\|FAISS]] | Высокая скорость, GPU-ускорение | Только in-memory…
answerЧто такое Memory-optimized ANN и какие алгоритмы лучшие для ограниченной RAM (<16GB)?
…Почему важна [[Вики/Memory\|память]] [[Вики/embedding\|Векторные представления]] ([[Вики/embedding\|эмбеддинги]]) обычно имеют размерность 128–1536 и хранятся как…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить recurrent memory для long context
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 42 | Что такое RAG и когда его использовать | | 57 | Настройка recurrent memory (текущее…
answerКак работает vision encoder в GPT-4V / LLaVA?
…Формат входных данных ``` USER: \nWhat is in this image? ASSISTANT: A cat sitting on a mat. ``` Токен `` заменяется…
answerКак проектировать distributed locking для LLM agents?
…агентов, предотвращающий race conditions при доступе к общим ресурсам (базы данных, кэш, стейт-машина). Основные подходы — пессимистичные блокировки на базе…
indexОглавление
…Как вы ограничиваете бесконечный цикл агента?]] ### Embeddings и векторные базы данных (вопросы 51–120) - [[Вопросы/Ответы/51. Как вы передаёте…