Поиск

wikiHNSW+IVF hybrid
# HNSW+IVF hybrid ## Определение Гибридный алгоритм, объединяющий инвертированное индексирование (IVF) для кластеризации и HNSW для эффективного поиска внутри кластеров. ## Где…
answerЧто такое Hierarchical Navigable Small World + IVF (HNSW+IVF) гибрид?
…для каждого кластера строится отдельный [[Вики/Graph\|граф]] [[Вики/HNSW\|HNSW]], содержащий только векторы этого кластера. Параметры [[Вики/HNSW\|HNSW…
answerЧто такое IVF (Inverted File Index) и как он сравнивается с HNSW по speed/quality?
…Что такое HNSW (Hierarchical Navigable Small World) [[Вики/HNSW\|HNSW]] строит [[Вики/multi-layer graph\|многослойный граф]] на основе идеи…
answerScaNN (Google) vs HNSW — сравнение для больших масштабов (>100M векторов)?
…ScaNN (Google) vs HNSW — сравнение для больших масштабов (>100M векторов)? ## Краткий тезис [[Вики/ScaNN\|ScaNN]] и [[Вики/HNSW\|HNSW]] — два…
wikief_search
# ef_search ## Определение Параметр HNSW, задающий ширину поиска на нижнем слое и размер динамического списка при поиске. Управляет компромиссом между…
wikief_construction
# ef_construction ## Определение Параметр HNSW, определяющий количество кандидатов при вставке новых векторов. Влияет на качество графа; рекомендуемый диапазон 200–500…
wikiHybrid Learned + HNSW
# Hybrid Learned + HNSW ## Определение Комбинация learned index и графа HNSW, где нейронная сеть предсказывает стартовую вершину для ускорения поиска ближайших…
answerКак работает HNSW (Hierarchical Navigable Small World) алгоритм внутренне?
…Как работает HNSW (Hierarchical Navigable Small World) алгоритм внутренне? ## Краткий тезис **[[Вики/hnswlib\|HNSW]] ([[Вики/hnswlib\|Hierarchical Navigable Small World…
wikihnswlib
# hnswlib ## Определение Библиотека с реализацией алгоритма HNSW для приближённого поиска ближайших соседей; широко используется в векторных базах данных. ## Где встречается…
answerКак вы выбираете ANN алгоритм под ваш use case (volume, dimensionality, budget)?
…HNSW (без квантования) index_hnsw = faiss.IndexHNSWFlat(d, 32) # M = 32 (число соседей в графе) index_hnsw.train(xb) index…
wikiSPANN
# SPANN ## Определение Алгоритм приближённого поиска ближайших соседей (ANN) для разреженных векторов, альтернатива HNSW. ## Где встречается - [[225. Как вы выбираете параметры…
wikiLanceDB
# LanceDB ## Определение LanceDB — векторная база данных, использующая гибридный индекс IVF_HNSW_SQ для эффективного поиска ближайших соседей. ## Где встречается - [[230…
wikiMemory profiling
# Memory profiling ## Определение Оценка потребления памяти структурами данных, например, индексом HNSW, для оптимизации параметров. ## Где встречается - [[225. Как вы выбираете…
wikiWav2Vec
…Используется как пример типа данных при выборе параметров HNSW. ## Где встречается - [[225. Как вы выбираете параметры HNSW (M, ef_construction…
answerКак вы обновляете ANN индекс при добавлении новых векторов без перестроения?
…для [[Вики/production\|production]] выбирайте [[Вики/HNSW\|HNSW]] ([[Вики/Faiss\|FAISS]], [[Вики/hnswlib\|hnswlib]]) или [[Вики/DiskANN\|DiskANN]] (Microsoft) — последний…
wikiScaNN
…Как работает HNSW (Hierarchical Navigable Small World) алгоритм внутренне|221. Как работает HNSW (Hierarchical Navigable Small World) алгоритм внутренне]] - [[222…
wikiresidual vectors
# residual vectors ## Определение Векторы остатков, используемые в алгоритмах приближённого поиска ближайших соседей, таких как HNSW, для кодирования разности между исходным…
wikiIndexHNSW
# IndexHNSW ## Определение Класс индекса FAISS, реализующий приближённый поиск на основе HNSW-графа. Обеспечивает высокую скорость и точность для ANN. ## Где…
wikiDynamic list
# Dynamic list ## Определение Структура данных (список кандидатов) в алгоритме HNSW, используемая на этапах efSearch и efConstruction для поиска ближайших соседей…
wikiDynamic index update
# Dynamic index update ## Определение Возможность HNSW добавлять и удалять векторы из индекса без полного перестроения графа, что важно для потоковых…
wikiSmall world networks
# Small world networks ## Определение Концепция графов, в которых узлы соединены короткими путями; лежит в основе алгоритма HNSW для эффективного поиска…
wikinlist
…Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF) гибрид|230. Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF…
wikiSIFT1M
…Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF) гибрид|230. Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF…
wikiQPS
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiMilvus
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiCache misses
…Что такое IVF (Inverted File Index) и как он сравнивается с HNSW по speedquality|222. Что такое IVF (Inverted File…
wikinprobe
…Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF) гибрид|230. Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF…
answerКак вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные?
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные? ## Краткий тезис **[[Вики/hnswlib\|HNSW]] ([[Вики/hnswlib…
wikiCurse of dimensionality
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiInverted index
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiHNSW
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiинкрементальные вставки
…Поддерживается HNSW, IVF. Также паттерн загрузки только новых/изменённых документов в ETL/ELT. ## Где встречается - [[222. Что такое IVF (Inverted…
wikiL2 distance
# L2 distance ## Определение Евклидово расстояние между векторами, используемое как метрика схожести в поиске (например, в HNSW или Product Quantization). ## Где…
wikiExact kNN
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiInverted list
…Что такое IVF (Inverted File Index) и как он сравнивается с HNSW по speedquality|222. Что такое IVF (Inverted File…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить sharding для petabyte embeddings
…Настройка HNSW + PQ и тестирование качества поиска (1 час) Действия 1. Настроить [[Вики/HNSW\|HNSW]] параметры `[[Вики/ef_construct\|ef…
answerКак вы строите двухступенчатый ретривал (fast ANN + slow cross-encoder) в RAG?
…Они жертвуют небольшой точностью ради радикального ускорения. **[[Вики/hnswlib\|HNSW]] ([[Вики/hnswlib\|Hierarchical Navigable Small World]])** — один из самых популярных…
wikiSparse Embedding
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
answerКак работает DiskANN и когда он нужен?
…Традиционные ANN-индексы ([[Вики/HNSW\|HNSW]], [[Вики/Inverted File Index\|IVF]]) хранят и векторы, и [[Вики/Graph\|граф]] в RAM…
answerЧто такое Filtered ANN Search и как оно реализовано в Qdrant vs Weaviate?
…ANN-индексы (например, [[Вики/hnswlib\|HNSW]]) не хранят [[Вики/метаданные\|метаданные]] напрямую, поэтому [[Вики/Filtering\|фильтрация]] либо применяется до, либо…
wikiK-means
…Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF) гибрид|230. Что такое Hierarchical Navigable Small World + IVF (HNSW+IVF…
wikiIndexFlatL2
…Что такое IVF (Inverted File Index) и как он сравнивается с HNSW по speedquality|222. Что такое IVF (Inverted File…
wikiscalar product
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать WAL для векторной БД
…Взять реализацию [[Вики/hnswlib\|HNSW]] из библиотеки [[Вики/hnswlib\|hnswlib]] (например, `[[Вики/hnswlib\|hnswlib]].[[Вики/qdrant-client\|Index]]`). 2. Обернуть…
wikiProduct Quantization
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiInverted File Index
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikiScalar quantization
…Как вы выбираете параметры HNSW (M, ef_construction, ef_search) под свои данные|225. Как вы выбираете параметры HNSW (M…
wikikNN
…Что такое IVF (Inverted File Index) и как он сравнивается с HNSW по speedquality|222. Что такое IVF (Inverted File…
answerЧто такое Memory-optimized ANN и какие алгоритмы лучшие для ограниченной RAM (<16GB)?
…Реализовать Memory-optimized ANN с Faiss IVF-PQ и сравнить с HNSW (без квантования). Инструменты Python, Faiss, torchvision, numpy, psutil…
answerКак вы управляете cost хранения векторной БД при миллиарде векторов?
…При поиске подгружаются только необходимые страницы. **Сравнение с [[Вики/HNSW\|HNSW]] ([[Вики/In-Memory\|in-memory]]):** | Параметр | HNSW (RAM) | DiskANN…