Поиск

wikiStorage costs
# Storage costs ## Определение Расходы, связанные с хранением данных (векторных индексов, кэша, логов), которые влияют на общую стоимость эксплуатации LLM-пайплайна…
wikiPersistence
# Persistence ## Определение поддержка репликации, persistence ## Где встречается - [[144. Как вы передаете состояние (state) между шагами агента|144. Как вы передаете…
wikiMemory & Persistence
# Memory & Persistence ## Определение Хранение данных в памяти, файловой системе и векторных хранилищах для долговременного использования агентом. ## Где встречается - [[800+ вопросов…
wikiоблачные ресурсы
# облачные ресурсы ## Определение Затраты на облачные вычисления и хранение, учитываемые при расчёте общей стоимости владения (TCO) для RAG/Agent систем…
wikiRedis KV-cache
# Redis KV-cache ## Определение Простейшая форма кэширования в Redis: хранение пар ключ-значение. Используется для низколатентного кэширования ответов LLM. ## Где…
wikitemplate versioning
# template versioning ## Определение Хранение версии шаблона в кэше для принудительной инвалидации при его изменении, что позволяет гарантировать актуальность генерируемых данных…
wikiNullable
# Nullable ## Определение Свойство поля схемы данных, допускающее хранение null-значений; используется для опциональных метаданных в schema registry. ## Где встречается - [[865…
wikiEventCollector
# EventCollector ## Определение Класс или компонент, отвечающий за сбор, валидацию и временное хранение поведенческих событий от пользователей или агентов перед их…
wikiext4
# ext4 ## Определение Распространённая файловая система Linux четвёртой версии; в MLops используется для форматирования EBS-томов под хранение чекпоинтов моделей. ## Где…
wikiDocument-to-version mapping
# Document-to-version mapping ## Определение Хранение соответствия между идентификатором документа и версией модели эмбеддингов для управления пересчётом эмбеддингов при смене…
wikiагент в production
…вычислительные ресурсы, вызовы API, хранение данных, мониторинг и т.д. ## Где встречается - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс терминов…
wikiprecomputed norms
# precomputed norms ## Определение Хранение норм векторов отдельно от самих векторов для избежания повторных вычислений при cosine similarity. Ускоряет поиск и…
wikiState Manager
# State Manager ## Определение Компонент, отвечающий за хранение истории сообщений, переменных сессии и контекста перед вызовом LLM. ## Где встречается - [[744. Что…
wikiAWS Pricing Calculator
…Позволяет оценить затраты на хранение, вычисления и другие ресурсы. ## Где встречается - [[13. Сравнить S3 vs EBS для checkpoint'ов 70B…
wikiМатериализация матрицы S
# Материализация матрицы S ## Определение Явное создание и хранение матрицы S в памяти; FlashAttention избегает этого для экономии ресурсов. ## Где встречается…
wikimapping
# mapping ## Определение Хранение связи между маскированными данными и исходными PII в отдельной защищённой БД для возможной деанонимизации. ## Где встречается - [[263…
wikisession state
# session state ## Определение Внутреннее состояние сессии, обеспечивающее изоляцию между разными диалогами и хранение истории шагов текущей сессии для поддержания контекста…
wikiMemory-optimized ANN
# Memory-optimized ANN ## Определение Подмножество ANN-алгоритмов, адаптированных для работы с ограниченной RAM (например, <16 ГБ) через квантование, дисковое хранение…
wikiTiered storage
# Tiered storage ## Определение Стратегия хранения данных на нескольких уровнях (например, SSD — горячие, NVMe — тёплые, S3 — холодные) в зависимости от частоты…
wikiтаблица страниц
…Позволяет непоследовательное хранение и эффективное управление памятью. ## Где встречается - [[202. Как работает paged attention в vLLM Чем это отличается от…
wikiGrafana Tempo
…Поддерживает хранение трасс в объектном хранилище (S3) и запросы через TraceQL. ## Где встречается - [[241. Как вы делаете distributed tracing для…
wikiZooKeeper
…Обеспечивает хранение состояния и синхронизацию компонентов. ## Где встречается - [[389. Как вы делаем disaster recovery с RPO 1 минута|389. Как…
answerКак вы обрабатываете PII в данных для RAG (GDPR, 152-ФЗ)?
…генерация, не детекция | | [[Вики/Vault\|HashiCorp Vault]] | Хранение секретов и mapping | Безопасное хранение, аудит | Сложность развёртывания | | ELK / Splunk | Логирование и…
answerКак вы проектируете feature store для ML фичей, используемых LLM?
…Типы фичей для LLM ### 4.1 Эмбеддинги (user_embedding, item_embedding) - Хранение [[Вики/Chroma\|Векторная БД]] ([[Вики/Pinecone\|Pinecone]], [[Вики…
answerКак быть, если одно и то же изображение встречается в документах с разными подписями?
…Trade-offs и компромиссы - Хранение: несколько подписей увеличивают размер payload в векторной БД. Для миллионов изображений это может быть существенно…
answerКак вы делаете schema evolution для метаданных документов в RAG?
…Интеграция с векторной БД ### 5.1 Хранение метаданных Векторные БД ([[Вики/qdrant-client\|Pinecone]], [[Вики/qdrant-client\|Weaviate]], [[Вики/qdrant…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить S3 vs EBS для checkpoint'ов 70B
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Объектное хранилище | Amazon S3 (Standard) | Хранение чекпоинта в объектном хранилище | | Блочное хранилище | Amazon EBS (GP3…
answerЧто такое Prompt Registry (каталог промптов с версиями)?
…Prompt Registry vs хранение в коде | Критерий | Хранение в коде (константы/env) | Prompt Registry | |----------|----------------------------------|-----------------| | Версионирование | нет или ручное | автоматическое, semver…
answerЧто такое «message bus» для агентов (Kafka, NATS, Redis PubSub)?
…для высокой пропускной способности и долговременного хранения. | Характеристика | Описание | | --- | --- | | Хранение | Сообщения хранятся на диске, можно повторно читать (реплей) | | Гарантии | At…
answerКак вы дедуплицируете документы перед индексацией в RAG?
…В [[Вики/RAG\|RAG]] часто используют Jaccard >0.8 или [[Вики/vector similarity\|косинусное сходство]] >0.95. - Хранение сигнатур: для…
answerКак вы управляете cost хранения векторной БД при миллиарде векторов?
…Такой подход позволяет снизить [[Вики/Storage costs\|затраты на хранение]] на 80–90% без существенной [[Вики/Loss\|потери]] качества поиска…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать автоматический postmortem
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Оркестрация инфраструктуры | Docker Compose | Локальный подъём стека observability | | Хранение логов | Elasticsearch (Loki) | Агрегация и поиск…
answerКак вы управляете секретами (API keys для LLM) в Kubernetes?
…Удобно, но не централизованное хранение. Для production с Agentic RAG (где может быть несколько сервисов с LLM‑ключами) лучший выбор…
answerКак работает DiskANN и когда он нужен?
…он минимизирует количество случайных чтений с диска. ### 3.2 Хранение векторов на SSD Сами векторы хранятся в сжатом виде (обычно…
answerКак вы делаете асинхронную обработку long-running (>30s) LLM задач?
…повторная обработка]] ([[Вики/exactly-once delivery\|exactly-once семантика]]). - Хранение истории сообщений. - Распределённая обработка между микросервисами. --- ## 7. Управление очередью: приоритеты…
answerЧто такое Memory-optimized ANN и какие алгоритмы лучшие для ограниченной RAM (<16GB)?
…Они используют: - Квантование (Quantization) — сжатие векторов до меньшего числа бит (например, 8-битное или Quantization|product quantization). - Дисковое хранение (Disk…
answerКак устроена Memory в Harness (in-memory, fs, vector stores, relay)?
…Она включает четыре уровня: **in-memory** (быстрая, но непостоянная память текущего диалога), **filesystem (fs)** (долговременное хранение сессий), **vector stores** (поиск…
answerКак вы управляете cost хранения векторной БД при миллиарде векторов?
…сжатие векторов (Quantization|Product Quantization), многоуровневое хранение (tiered storage), **алгоритмы для дисковых индексов** (DiskANN) и **pruning** (удаление дубликатов и нерелевантных…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать cost attribution per feature
…Определить компоненты для атрибуции - `embedding` – создание и [[Вики/retrieval\|поиск]] эмбеддингов ([[Вики/LLM endpoint\|стоимость API]] эмбеддинга + хранение) - `[[Вики/retrieval…
answerНазовите 12+ слоёв эталонной архитектуры Harness?
…Memory & Persistence (Память и сохранение) Слой отвечает за хранение данных, выходящих за рамки одной [[Вики/session\|сессии]]. - [[Вики/In-Memory…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить prompt observability
…Prometheus (pull) + `prometheus_client` (экспорт на `/metrics`) | Хранение временных рядов метрик | | Хранение логов | Loki (опционально) или файл JSONL | Детальный анализ…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать component registry
…Решение должно обеспечить централизованное хранение, [[Вики/Version control\|версионирование]] и возможность отката к предыдущим версиям компонентов без простоя системы. Ключевой…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать distributed task queue для агентов
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Брокер сообщений | Redis 7+ | Хранение очередей, обмен сообщениями, хранение результатов | | Фреймворк задач | Celery 5+ | Координация…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с кэшированием ответов
…Хранение и поиск эмбеддингов | | LLM | OpenAI API / Ollama (local) | Генерация ответов | | Кэш | Redis (python redis или redis-py) | Хранение пар…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить дашборд для failures
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Хранение метрик | Prometheus (pull model) или Pushgateway | Сбор и хранение временных рядов ошибок | | Визуализация | Grafana…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить templating (Jinja2) для переменных {context} и {question}
…отделение логики промпта от данных, централизованное хранение шаблонов, возможность A/B‑тестирования. Ключевой результат Работающий [[Вики/Jinja2\|Jinja2]]‑[[Вики/template…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить high-cardinality metrics в VictoriaMetrics
…Выполнить переход с Prometheus на [[Вики/VictoriaMetrics\|VictoriaMetrics]] (single-node или cluster), настроить сбор, хранение и визуализацию таких метрик. [[Вики…
answerКак вы делаете асинхронную обработку long-running (>30s) LLM задач?
…нужен брокер | | [[Вики/Kafka\|Kafka]] | Высокая пропускная способность, долгое хранение сообщений, партиционирование | Сложнее настройка, не встроен scheduler | | [[Вики/Redis Streams…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настройка мониторинга дрейфа метрик faithfulness и recall
…Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Язык программирования | Python 3.10+ | Скрипты расчёта, алерты, аггрегация | | Хранение метрик | PostgreSQL / SQLite / Prometheus | Долговременное…
answerЧто такое «prompt as code» (промпты в Git, code review)?
…Ключевые принципы: - Хранение в [[Вики/Git\|Git]] — каждый [[Вики/prompt\|промпт]] — файл ([[Вики/XML\|YAML]], [[Вики/JSON\|JSON]], [[Вики/Markdown…