Поиск
- wikiTiered storage
# Tiered storage ## Определение Стратегия хранения данных на нескольких уровнях (например, SSD — горячие, NVMe — тёплые, S3 — холодные) в зависимости от частоты…
- wikimulti-context storage
# multi-context storage ## Определение Хранилище, которое сохраняет несколько контекстов (например, подписей) для одного изображения, позволяя учитывать разные интерпретации из различных…
- wikiWarm storage
# Warm storage ## Определение Уровень хранения для данных со средней частотой запросов, обычно на SSD, обеспечивающий баланс между стоимостью и скоростью…
- wikiHot storage
# Hot storage ## Определение Уровень хранения данных с очень быстрым доступом (например, NVMe или SSD) для часто используемых данных, обычно последних…
- wikiCold storage
# Cold storage ## Определение Уровень хранения для редко запрашиваемых данных (например, архивных логов), обеспечивающий низкую стоимость за счёт более высокого времени…
- wikiPersistence
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] - [[296. RAG с векторной БД на CPU (ChromaQdrant)|296…
- wikistorage system
# storage system ## Определение Программно-аппаратный комплекс для организации хранения и доступа к данным, например распределённые файловые системы (Lustre, BeeGFS, JuiceFS…
- wikipsycopg2
# psycopg2 ## Определение Библиотека Python для работы с PostgreSQL, используется в скриптах миграции данных и настройке tiered storage. ## Где встречается - [[15…
- wikistorage per shard
# storage per shard ## Определение Метрика мониторинга, показывающая объём данных, хранящихся в каждом шарде, используемая для выявления неравномерности распределения данных (hot…
- wikiDisk-based vector storage
# Disk-based vector storage ## Определение Техника хранения векторов на диске с кэшированием популярных в RAM для снижения использования памяти, применяется…
- wikiprimary storage
# primary storage ## Определение Основное хранилище данных, которое синхронно обновляет кэш при изменении документа. Обеспечивает целостность данных. ## Где встречается - [[33. Реализовать…
- wikiStorage costs
# Storage costs ## Определение Расходы, связанные с хранением данных (векторных индексов, кэша, логов), которые влияют на общую стоимость эксплуатации LLM-пайплайна…
- wikiполитика перемещения данных
# политика перемещения данных ## Определение Правила, определяющие автоматическое перемещение данных между уровнями (hot/warm/cold) tiered storage в зависимости от возраста…
- wikiBlob storage
# Blob storage ## Определение Хранилище для неструктурированных данных (файлов, бинарных объектов), например Amazon S3 или MinIO. Используется для хранения загруженных документов…
- wikitmpfs
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
- wikiWORM storage
# WORM storage ## Определение Тип хранилища, в котором данные записываются однократно и не могут быть изменены или удалены. Используется для аудита…
- wikiS3
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[18. Сравнить распределенные FS (Lustre, BeeGFS, JuiceFS)|18. Сравнить распределенные FS…
- wikiSSD
# SSD ## Определение Твердотельный накопитель, используемый в tiered storage для горячего и тёплого хранения векторов. ## Где встречается - [[113. Как вы представляете…
- wikipg_partman
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
- wikilosetup
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
- wikitablespace
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
- wikiredis-benchmark
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
- wikibgsave
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
- wikiappendfsync
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
- wikiAOF rewrite
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
- wikiTrigger
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
- wikiCSI
# CSI ## Определение CSI (Container Storage Interface) — стандартизированный интерфейс для подключения внешних хранилищ к контейнерам в Kubernetes, позволяющий, например, монтировать секреты…
- wikiRDB preamble
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
- wikifio
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…
- wikiredis-cli
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] - [[99. Написать postmortem для cache stampede|99. Написать postmortem…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать write-through cache для RAG
…Ключевой результат Рабочий [[Вики/Module\|модуль]], который при обновлении документа в [[Вики/primary storage\|primary storage]] синхронно пересчитывает и записывает…
- wikiLocalStack
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[73. Сравнить spot vs on-demand для batch inference|73. Сравнить…
- answerКак вы управляете cost хранения векторной БД при миллиарде векторов?
…Tiered Storage — многоуровневое хранение **[[Вики/Tiered storage\|Tiered storage]]** разделяет векторы по частоте запросов (access pattern) на уровни: | Уровень | Носитель…
- wikiNVMe
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[18. Сравнить распределенные FS (Lustre, BeeGFS, JuiceFS)|18. Сравнить распределенные FS…
- wikiboto3
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[143. Сравнить reserved vs spot vs on-demand|143. Сравнить reserved…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить tiered storage (hot/warm/cold)
…Цель задачи Научиться проектировать и настраивать [[Вики/Tiered storage\|многоуровневое хранение]] данных ([[Вики/Tiered storage\|tiered storage]]) для RAG-системы…
- wikiCron
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[26. Реализовать SLO для faithfulness|26. Реализовать SLO для faithfulness]] - [[29…
- wikiIn-Memory
# In-Memory ## Определение Тип хранения данных в оперативной памяти (RAM) для обеспечения максимальной скорости доступа, используется как временное хранилище (кэш…
- wikiPartitioning
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[253. Настроить логирование в ClickHouse|253. Настроить логирование в ClickHouse]] ## Навигация…
- wikiGit LFS
# Git LFS ## Определение Расширение Git для хранения больших файлов (датасетов, моделей) вне основного репозитория, заменяя их указателями для экономии места…
- wikiLoad testing
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[16. Реализовать compaction в векторной БД|16. Реализовать compaction в векторной…
- wikiMinIO
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[17. Настроить S3 consistency для RAG|17. Настроить S3 consistency для…
- wikimemory update
# memory update ## Определение Процесс добавления нового урока в долговременную память агента для самоулучшения через рефлексию над ошибками. ## Где встречается - [[800…
- wikiAirflow
…Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[26. Реализовать SLO для faithfulness|26. Реализовать SLO для faithfulness]] - [[47…
- wikiredis-py
…Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] - [[40. Настроить hot shard detection|40. Настроить hot shard…
- wikiWebP
# WebP ## Определение Формат сжатия изображений, используемый для хранения ключевых кадров видео в object storage. Обеспечивает хорошее качество при малом размере…
- wikiFilesystem
# Filesystem ## Определение Уровень долговременного хранения сессий в виде файлов (JSON, SQLite, Parquet), сохраняющий данные при перезапуске агента. ## Где встречается - [[750…
- wikiGCS
# GCS ## Определение Объектное хранилище данных от Google Cloud, альтернатива AWS S3. Используется для хранения датасетов, чанков RAG-систем и других…
- wikiSelective memory
# Selective memory ## Определение Метод управления долговременной памятью агента, при котором оценивается важность каждого события и сохраняются только самые значимые, сжимая…
- wikiEncryption at rest
# Encryption at rest ## Определение Шифрование данных, хранящихся на диске (например, векторной БД), для предотвращения несанкционированного доступа к физическим носителям. ## Где…