Поиск

  • wikiTiered storage

    # Tiered storage ## Определение Стратегия хранения данных на нескольких уровнях (например, SSD — горячие, NVMe — тёплые, S3 — холодные) в зависимости от частоты…

  • wikimulti-context storage

    # multi-context storage ## Определение Хранилище, которое сохраняет несколько контекстов (например, подписей) для одного изображения, позволяя учитывать разные интерпретации из различных…

  • wikiWarm storage

    # Warm storage ## Определение Уровень хранения для данных со средней частотой запросов, обычно на SSD, обеспечивающий баланс между стоимостью и скоростью…

  • wikiHot storage

    # Hot storage ## Определение Уровень хранения данных с очень быстрым доступом (например, NVMe или SSD) для часто используемых данных, обычно последних…

  • wikiCold storage

    # Cold storage ## Определение Уровень хранения для редко запрашиваемых данных (например, архивных логов), обеспечивающий низкую стоимость за счёт более высокого времени…

  • wikiPersistence

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] - [[296. RAG с векторной БД на CPU (ChromaQdrant)|296…

  • wikistorage system

    # storage system ## Определение Программно-аппаратный комплекс для организации хранения и доступа к данным, например распределённые файловые системы (Lustre, BeeGFS, JuiceFS…

  • wikipsycopg2

    # psycopg2 ## Определение Библиотека Python для работы с PostgreSQL, используется в скриптах миграции данных и настройке tiered storage. ## Где встречается - [[15…

  • wikistorage per shard

    # storage per shard ## Определение Метрика мониторинга, показывающая объём данных, хранящихся в каждом шарде, используемая для выявления неравномерности распределения данных (hot…

  • wikiDisk-based vector storage

    # Disk-based vector storage ## Определение Техника хранения векторов на диске с кэшированием популярных в RAM для снижения использования памяти, применяется…

  • wikiprimary storage

    # primary storage ## Определение Основное хранилище данных, которое синхронно обновляет кэш при изменении документа. Обеспечивает целостность данных. ## Где встречается - [[33. Реализовать…

  • wikiStorage costs

    # Storage costs ## Определение Расходы, связанные с хранением данных (векторных индексов, кэша, логов), которые влияют на общую стоимость эксплуатации LLM-пайплайна…

  • wikiполитика перемещения данных

    # политика перемещения данных ## Определение Правила, определяющие автоматическое перемещение данных между уровнями (hot/warm/cold) tiered storage в зависимости от возраста…

  • wikiBlob storage

    # Blob storage ## Определение Хранилище для неструктурированных данных (файлов, бинарных объектов), например Amazon S3 или MinIO. Используется для хранения загруженных документов…

  • wikitmpfs

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiWORM storage

    # WORM storage ## Определение Тип хранилища, в котором данные записываются однократно и не могут быть изменены или удалены. Используется для аудита…

  • wikiS3

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[18. Сравнить распределенные FS (Lustre, BeeGFS, JuiceFS)|18. Сравнить распределенные FS…

  • wikiSSD

    # SSD ## Определение Твердотельный накопитель, используемый в tiered storage для горячего и тёплого хранения векторов. ## Где встречается - [[113. Как вы представляете…

  • wikipg_partman

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikilosetup

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikitablespace

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiredis-benchmark

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

  • wikibgsave

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

  • wikiappendfsync

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

  • wikiAOF rewrite

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

  • wikiTrigger

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiCSI

    # CSI ## Определение CSI (Container Storage Interface) — стандартизированный интерфейс для подключения внешних хранилищ к контейнерам в Kubernetes, позволяющий, например, монтировать секреты…

  • wikiRDB preamble

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

  • wikifio

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiredis-cli

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] - [[99. Написать postmortem для cache stampede|99. Написать postmortem…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать write-through cache для RAG

    …Ключевой результат Рабочий [[Вики/Module\|модуль]], который при обновлении документа в [[Вики/primary storage\|primary storage]] синхронно пересчитывает и записывает…

  • wikiLocalStack

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[73. Сравнить spot vs on-demand для batch inference|73. Сравнить…

  • answerКак вы управляете cost хранения векторной БД при миллиарде векторов?

    …Tiered Storage — многоуровневое хранение **[[Вики/Tiered storage\|Tiered storage]]** разделяет векторы по частоте запросов (access pattern) на уровни: | Уровень | Носитель…

  • wikiNVMe

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[18. Сравнить распределенные FS (Lustre, BeeGFS, JuiceFS)|18. Сравнить распределенные FS…

  • wikiboto3

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[143. Сравнить reserved vs spot vs on-demand|143. Сравнить reserved…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить tiered storage (hot/warm/cold)

    …Цель задачи Научиться проектировать и настраивать [[Вики/Tiered storage\|многоуровневое хранение]] данных ([[Вики/Tiered storage\|tiered storage]]) для RAG-системы…

  • wikiCron

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[26. Реализовать SLO для faithfulness|26. Реализовать SLO для faithfulness]] - [[29…

  • wikiIn-Memory

    # In-Memory ## Определение Тип хранения данных в оперативной памяти (RAM) для обеспечения максимальной скорости доступа, используется как временное хранилище (кэш…

  • wikiPartitioning

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[253. Настроить логирование в ClickHouse|253. Настроить логирование в ClickHouse]] ## Навигация…

  • wikiGit LFS

    # Git LFS ## Определение Расширение Git для хранения больших файлов (датасетов, моделей) вне основного репозитория, заменяя их указателями для экономии места…

  • wikiLoad testing

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[16. Реализовать compaction в векторной БД|16. Реализовать compaction в векторной…

  • wikiMinIO

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[17. Настроить S3 consistency для RAG|17. Настроить S3 consistency для…

  • wikimemory update

    # memory update ## Определение Процесс добавления нового урока в долговременную память агента для самоулучшения через рефлексию над ошибками. ## Где встречается - [[800…

  • wikiAirflow

    …Настроить tiered storage (hotwarmcold)|15. Настроить tiered storage (hotwarmcold)]] - [[26. Реализовать SLO для faithfulness|26. Реализовать SLO для faithfulness]] - [[47…

  • wikiredis-py

    …Настроить Redis с persistent storage|36. Настроить Redis с persistent storage]] - [[40. Настроить hot shard detection|40. Настроить hot shard…

  • wikiWebP

    # WebP ## Определение Формат сжатия изображений, используемый для хранения ключевых кадров видео в object storage. Обеспечивает хорошее качество при малом размере…

  • wikiFilesystem

    # Filesystem ## Определение Уровень долговременного хранения сессий в виде файлов (JSON, SQLite, Parquet), сохраняющий данные при перезапуске агента. ## Где встречается - [[750…

  • wikiGCS

    # GCS ## Определение Объектное хранилище данных от Google Cloud, альтернатива AWS S3. Используется для хранения датасетов, чанков RAG-систем и других…

  • wikiSelective memory

    # Selective memory ## Определение Метод управления долговременной памятью агента, при котором оценивается важность каждого события и сохраняются только самые значимые, сжимая…

  • wikiEncryption at rest

    # Encryption at rest ## Определение Шифрование данных, хранящихся на диске (например, векторной БД), для предотвращения несанкционированного доступа к физическим носителям. ## Где…