Какую векторную БД вы выберете для production-системы с >1 млн векторов?

Краткий тезис

Для production-системы с более чем 1 миллионом векторов выбор векторной БД — это компромисс между производительностью, масштабируемостью, удобством администрирования и функциональностью. Qdrant — лучший выбор для большинства production-сценариев благодаря гибридному поиску, фильтрации и self-hosted опции. Pinecone подходит, если нет DevOPS ресурсов. Milvus — для экстремальных масштабов (>100 млн векторов). Weaviate — для мультимодальных задач. Chroma — только для прототипов.

1. Термин: Векторная БД (Vector Database)

Что это Специализированная база данных, оптимизированная для хранения и поиска векторов (эмбеддингов) с использованием алгоритмов приближённого поиска ближайших соседей (ANN — Approximate Nearest Neighbors).

Чем отличается от обычной БД

Термин «ANN (Approximate Nearest Neighbors Приближённый поиск ближайших соседей — жертвует точностью ради скорости. Вместо 100% точности даёт 95-99% за 10-100x ускорение. Для RAG это приемлемо.

Термин «HNSW (Hierarchical Navigable Small World Самый популярный ANN алгоритм. Строит многослойный граф, где на верхних слоях длинные прыжки (быстрый поиск), на нижних — точный. Используется в Qdrant, Pinecone, Weaviate.

Термин «IVF (Inverted File Index Кластеризует векторы, ищет только в ближайших кластерах. Быстрее HNSW при очень больших масштабах (>50 млн), но менее точный.

Термин «PQ (Product Quantization Сжатие векторов в 8-32 раза. Хранится не сам вектор, а его код (несколько байт). Поиск идёт по сжатым векторам, точность падает, но память экономится.

2. Ключевые критерии выбора для >1 млн векторов

Термин «QPS (Queries Per Second Количество поисковых запросов, которые БД может обработать за секунду. Для production RAG: 100-1000 QPS типично.

Термин «Recall@k» Доля релевантных векторов, попавших в топ-k результатов. Например, recall@10 = 0.95 означает, что среди 10 найденных результатов есть 95% всех релевантных.

Термин «Pre-filter vs Post-filter»

• Pre-filter сначала отфильтровать по метаданным (только документы за 2025), потом векторный поиск. Точнее, но может не найти ничего.
• Post-filter сначала векторный поиск по всем, потом отфильтровать. Быстрее, но может потерять релевантные (если лучший вектор не попал в топ-k из-за фильтра).

3. Сравнение популярных векторных БД

3.1 Qdrant

Что это Open-source векторная БД на Rust, оптимизированная для production. Лучший баланс функций и производительности.

Термин «gRPC (gRPC Remote Procedure Call Высокопроизводительный протокол от Google. В 5-10x быстрее REST/HTTP для векторов.

Плюсы

• Лучший гибридный поиск из коробки
• Отличная фильтрация по метаданным с индексами
• gRPC для низкой задержки
• Написан на Rust (нет GC, предсказуемая latency)
• Простая настройка (один Docker контейнер)

Минусы

• Sharding сложнее, чем в Milvus (требует планирования)
• Меньше функций для экстремального масштаба (100M+)

Когда выбрать Лучший выбор для большинства production RAG-систем до 50 млн векторов Гибридный поиск, хорошая фильтрация, self-hosted опция, отличная производительность.

3.2 Pinecone

Что это Managed векторная БД (no-ops). Самый простой старт, но дорогой.

Плюсы

• Zero DevOps — не нужно настраивать сервера
• Автоматическое масштабирование
• Отличная документация
• Быстрый старт (5 минут до первого индекса)

Минусы

• Очень дорого при масштабе (> 1 млн векторов)
• Нет гибридного поиска
• Нет self-hosted (vendor lock-in)
• REST медленнее gRPC

Когда выбрать Если у вас нет DevOPS и готовы платить Только для небольших объёмов (< 500k векторов) или POC.

Термин «Vendor lock-in» Зависимость от одного поставщика. Если Pinecone поднимет цены, вы не сможете легко перейти на другую БД.

3.3 Milvus / Zilliz

Что это Самая мощная open-source векторная БД (Cloud — Zilliz). Для экстремальных масштабов.

Плюсы

• Экстремальная масштабируемость (миллиарды векторов)
• Много типов индексов (можно выбрать под задачу)
• Cloud-native архитектура (K8s)
• DiskANN для векторов на диске (экономия RAM)

Минусы

• Очень сложная архитектура для self-hosted (K8s + etcd + MinIO + Pulsar)
• Тяжёлый (рекомендует 8-16 CPU, 32-64GB RAM)
• Избыточен для 1 млн векторов

Термин «DiskANN» ANN-алгоритм от Microsoft, где векторы хранятся на диске (SSD/NVMe), а в памяти только индексы. Позволяет хранить миллиарды векторов без огромных RAM.

Когда выбрать Для экстремальных масштабов (> 50-100 млн векторов Если вы строите Google-масштабную систему.

3.4 Weaviate

Что это Open-source векторная БД с фокусом на мультимодальность (текст + изображения).

Термин «Мультимодальность» Способность работать с разными типами данных (текст, изображения, аудио) в едином векторном пространстве. CLIP — модель, которая умеет эмбеддить и текст, и картинки в одинаковые векторы.

Плюсы

• Лучшая мультимодальная поддержка
• Модули для CLIP, image2vec, video
• Хороший гибридный поиск

Минусы

• Медленнее Qdrant на чисто текстовых задачах
• Меньше индексных опций (только HNSW)
• Сложнее в настройке, чем Qdrant

Когда выбрать Если ваш RAG работает с изображениями (поиск картинок по тексту или наоборот).

3.5 Chroma

Что это Простейшая векторная БД для прототипирования.

Плюсы

• Очень простая (pip install chromadb)
• Не требует сервера (всё в памяти)
• Идеальна для прототипов

Минусы

• Всё в памяти (не для 1 млн векторов)
• Нет гибридного поиска
• Нет фильтрации по метаданным
• Нет горизонтального масштабирования
• Не для production

Когда выбрать Только для локальных прототипов и POC Никогда для production с >1 млн векторов.

Термин «Embedded database» База данных, которая работает внутри вашего приложения, а не как отдельный сервер. SQLite — пример. Chroma — embedded векторная БД.

4. Сводная таблица для >1 млн векторов

5. Практический выбор: что рекомендую для вашего сценария

Ваш сценарий >1 млн векторов, production RAG, разные типы документов, нужна фильтрация по метаданным (дата, автор, тип документа), гибридный поиск (vector + keyword).

Моя рекомендация Qdrant self-hosted

Почему

1. Гибридный поиск из коробки — не нужно настраивать отдельный Elasticsearch для BM25

2. Отличная фильтрация — индексы на метаданные, pre-filter

3. gRPC — низкая latency для 1000+ RPS

4. Self-hosted — контроль данных и cost ($70 против $150 у Pinecone)

5. Простота — один Docker контейнер на 4-8GB RAM для 1 млн векторов

6. Rust — нет GC, предсказуемая задержка

7. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой|1]]. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой|1]]. Как бы вы спроектировали RAG-систему для 10 000 документов с разной структурой|1]] млн векторов|Конфигурация для 1 млн векторов]]

docker run -p 6333:6333 qdrant/qdrant
# Память: 4-8GB RAM
# Диск: 2GB для векторов (768d, FP32)

Альтернативы

• Нет DevOPS → Pinecone (но платите $150/мес и теряете гибридный поиск)

• 50 млн векторов → Milvus (но архитектура сложная)

• Изображения + текст → Weaviate
• Прототип → Chroma (in-memory, потом миграция на Qdrant)

6. Пет-проект для закрепления

Задача Развернуть Qdrant, загрузить 1 млн синтетических векторов, сравнить производительность с Chroma.

Инструменты Docker, Python, Qdrant, Chroma, Faker (для синтетических данных)

Шаги

1. Сгенерировать 1 млн случайных векторов размерности 768 (как BGE-m3)
2. Развернуть Qdrant: docker run -p 6333:6333 qdrant/qdrant
3. Загрузить векторы батчами по 1000
4. Замерить QPS при разных batch size
5. То же самое для Chroma (in-memory)
6. Сравнить:
   • Время загрузки 1 млн векторов
   • Потребление RAM
   • QPS (запросов в секунду)
   • Latency p95

Ожидаемый результат Qdrant загрузит данные за 5-10 минут (Chroma — за 2 минуты, но съест 8GB RAM). Qdrant даст 200-500 QPS, Chroma — 50-100 QPS. Chroma упадет при >500k векторов.

Связь с другими вопросами

4. Какую векторную БД вы выберете для production-системы с больше 1 млн векторов|4. Какую векторную БД вы выберете для production-системы с больше 1 млн векторов|4. Какую векторную БД вы выберете для production-системы с больше 1 млн векторов|4 полностью разобран. Переходим к вопросу 5, когда будете готовы|Вопрос 4 полностью разобран. Переходим к вопросу 5, когда будете готовы]]

Навигация

• Предыдущий: 3
• Следующий: 5
• Индекс: 00. Индекс разборов