sharding
sharding
Определение
Разделение данных, модели или состояния оптимизатора на части для распределённого хранения и вычислений. Применяется для масштабирования: например, ZeRO-3 шардит градиенты и оптимизатор между GPU, а векторные БД используют шардирование индекса на миллиарды векторов.
Где встречается
- 81. Как бы вы спроектировали систему для 1000 одновременных пользователей чат-бота с RAG
- 222. Что такое IVF (Inverted File Index) и как он сравнивается с HNSW по speedquality
- 233. Как вы делаете hybrid search (vector + keyword) в production на 10M документов
- 235. Как вы выбираете ANN алгоритм под ваш use case (volume, dimensionality, budget)
- 269. Как вы обрабатываете streaming данные для real-time RAG
- 471. Как работает FSDP (Fully Sharded Data Parallel) в PyTorch
- 851. Как строить streaming RAG pipeline (real-time ingestion)
- Практика
- 800+ вопросов
- 15. Настроить tiered storage (hotwarmcold)
- 16. Реализовать compaction в векторной БД
- 20. Настроить sharding для petabyte embeddings