Поиск

wikiData versioning
# Data versioning ## Определение Практика хранения и управления версиями наборов данных, моделей и артефактов ML, аналогично Git для кода. Использует хеши…
wikiS3 Versioning
# S3 Versioning ## Определение Встроенный механизм S3 для хранения нескольких версий одного объекта, используемый для версионирования корпуса документов и обеспечения консистентности…
wikiGit-based approach
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] ## Навигация - [[00. Индекс…
wikiObject store with Git semantics
…Используется для data versioning и управления версиями данных. ## Где встречается - [[856. Как организовать data versioning (DVC, LakeFS, Delta Lake)|856…
wikidata lakehouse
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] ## Навигация - [[00. Индекс…
answerЧто такое data version control (DVC) для RAG корпуса документов?
…Что такое data version control (DVC) для RAG корпуса документов? ## Краткий тезис **control|versioning|control|control|versioning|Data control|Version…
wikiSemantic Versioning
# Semantic Versioning ## Определение Стандарт версионирования major.minor.patch для управления изменениями промптов: major — обратно несовместимые, minor — новые возможности, patch — исправления…
answerКак организовать data versioning (DVC, LakeFS, Delta Lake)?
…Как организовать data versioning (DVC, LakeFS, Delta Lake)? ## Краткий тезис versioning|Data versioning — это практика хранения, отслеживания и управления версиями…
wikidata lakes
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[858. Как проектировать…
wikiTable format
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] ## Навигация - [[00. Индекс…
wikiVersion control
…Как вы проектируете data lineage для RAG (от документа к ответу)|520. Как вы проектируете data lineage для RAG (от…
wikiLakeFS
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[800+ вопросов|800…
wikiIceberg
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[800+ вопросов|800…
wikiACID транзакции
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[800+ вопросов|800…
wikischema evolution
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[Практика|Практика]] - [[800…
wikiDelta Lake
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[858. Как проектировать…
wikiMLOps
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[800+ вопросов|800…
wikipoint-in-time
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[857. Как реализовать…
wikiSpark
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[858. Как проектировать…
answerКак вы версионируете агента целиком (prompts, tools, memory schema, orchestration graph)?
…Используем [[Вики/DVC\|DVC]] ([[Вики/Data versioning\|Data Version Control]]): - Храним схему в `memory/` и отслеживаем через `[[Вики/Data versioning…
wikiParquet
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[Практика|Практика]] - [[800…
answerКак вы организуете CI/CD для RAG-пайплайна?
…Используем **[[Вики/Data versioning\|DVC]] ([[Вики/Data versioning\|Data Version Control]])**: ```bash # Инициализация DVC dvc init dvc remote add -d…
answerЧто такое «prompt as code» (промпты в Git, code review)?
…client = openai.OpenAI() response = client.chat.completions.create( model=prompt_data['model'], messages=[ {"role": "system", "content": prompt_data['template'].format…
answerКак проектировать data contracts для RAG пайплайна?
…Как проектировать data contracts для RAG пайплайна? ## Краткий тезис [[Вики/Data contract\|Data contract]] — это формальное соглашение между [[Вики/Producer…
wikiMLflow
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[50. Настроить contextual…
wikiCI/CD
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[865. Как проектировать…
answerЧто такое Harness Engineering и чем он отличается от Prompt Engineering и MLOps?
…эксплуатация, мониторинг | | Ключевые активности | Data pipeline, training, model registry, A/B тестирование модели | Prompt versioning, guardrails, cost tracking, fallback | | Инструменты…
wikiMRR
…Как организовать data versioning (DVC, LakeFS, Delta Lake)|856. Как организовать data versioning (DVC, LakeFS, Delta Lake)]] - [[862. Как делать…
answerКак обеспечивать backward compatibility при изменении протокола?
…Продвинутые техники - [[Вики/Semantic Versioning\|Semantic versioning]] протокола: версия `[[Вики/Semantic Versioning\|major.minor.patch]]`. Major — [[Вики/Breaking changes\|ломающие…
answerКак управлять версиями промптов в production (best practices)?
…Prompt versioning (управление версиями промптов) Prompt versioning — это процесс отслеживания, документирования и контроля изменений текстов промптов (инструкций, шаблонов, few-shot…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить S3 consistency для RAG
…Оптимизируйте - Настройте [[Вики/TTL\|TTL]] кеша (слишком большой → [[Вики/stale data\|stale data]], слишком маленький → частые промахи) - Добавьте batch-запись…
answerЧто такое data contract между сервисами в RAG пайплайне?
…Data contract [[Вики/Data contract\|Data contract]] — это документ (часто в коде), который описывает: - Формат данных ([[Вики/database schema\|схема…
answerЧто такое Prompt Registry (каталог промптов с версиями)?
…Версионирование промптов Используется [[Вики/Semantic Versioning\|semver]] ([[Вики/Semantic Versioning\|major.minor.patch]]): - major – несовместимые изменения структуры (добавление/удаление параметров…
answerЧто такое data version control (DVC) для RAG корпуса документов?
…корпус маленький. | Не масштабируется, нет единой истории изменений. | | [[Вики/Data versioning\|DVC]] | Лучший баланс — лёгкость Git + версионирование данных + пайплайны. | Требует…
answerКак вы делаете incremental ingestion для часто меняющихся документов?
…Versioning (версионирование) и TTL [[Вики/Version control\|Versioning]] — хранение метаданных о версии документа ([[Вики/Recency\|timestamp]], номер версии) в [[Вики…
answerКак проектировать ETL vs ELT для RAG?
…Dask]], [[Вики/Triton Inference Server\|Triton Inference Server]]. - [[Вики/Data versioning\|Управление версиями данных]]: [[Вики/Delta Lake\|Delta Lake]], [[Вики…
answerКак тестировать промпты (prompt regression testing)?
…baseline, golden dataset, regression run ### 2.1 Golden dataset (золотой датасет) Набор пар (вход → ожидаемый ответ), размеченный вручную или собранный…
answerКак вы храните историю изменений промптов (prompt lineage)?
…управлять экспериментами? | | **92** | Как вы управляете версиями набора данных (data versioning)? | | **50** | Как вы проверяете качество ответов LLM в продакшене…
answerКак реализовать online/offline feature consistency для LLM?
…Как организовать data versioning (DVC, LakeFS, Delta Lake)\|856]] - Следующий: [[858. Как проектировать ETL vs ELT для RAG\|858]] - Индекс…
answerКак проектировать CDC (Change Data Capture) для документов?
…Как организовать data versioning (DVC, LakeFS, Delta Lake)\|856]] - Индекс: [[00. Индекс разборов]]
answerКак обрабатывать schema drift в данных для RAG?
…переиндексация]], [[Вики/Version control\|versioning]] документов). В контексте агентного [[Вики/гибридный поиск\|RAG]] [[Вики/database schema\|schema]] [[Вики/Position bias…
answerКак вы измеряете drift retrieval-качества в RAG (когда документы меняются)?
…Важно [[Вики/eval set\|тестовый набор]] фиксируется версионированием (например, в [[Вики/Git\|Git]] или [[Вики/Data versioning\|DVC]]). При изменении…
answerКак вы управляете разными версиями промптов в production?
…template_vars}, sort_keys=True) return hashlib.sha256(data.encode()).hexdigest()[:12] prompt_v1 = "Ответь на вопрос пользователя: {question}" hash…
wikiИндекс терминов
…data transfers|data transfers]] - [[Вики/data types|data types]] - [[Вики/data validation|data validation]] - [[Вики/Data versioning|Data versioning]] - [[Вики…
answerЧто такое эволюция (evolution) в Harness Engineering (component registry, drift detection)?
…drift\|Data drift]] — изменился ввод пользователей (актуально для [[Вики/гибридный поиск\|RAG]], если база знаний обновляется). - [[Вики/data drift\|Concept…
answerКак вы проектируете промпты, которые работают с разными моделями?
…Документирование и версионирование промпта Ведите версии промпта ([[Вики/Git\|Git]], [[Вики/Data versioning\|DVC]]), указывая, для каких моделей они протестированы…
answerКак вы делаете backfill эмбеддингов при смене embedding модели?
…Что такое data version control (DVC) для RAG корпуса документов\|522]] | Тестирование RAG-системы | | [[523. Как вы делаете synthetic data…
answerКак вы проверяете, что новая версия модели не сломала старые кейсы?
…Run regression suite run: | python run_regression.py \ --suite data/regression_suite.json \ --baseline baseline_metrics.json \ --threshold 0.05…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать документацию промпта
…Цель задачи Научиться документировать [[Вики/prompt\|промпт]] так, чтобы любой разработчик, data scientist или нетехнический участник команды мог за 5…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать dependency management промптов
…Связанные вопросы из базы знаний | Вопрос | Тема | |--------|------| | 15 | Prompt versioning | | 23 | Template injection prevention | | 47 | Prompt testing strategies | | 68 | Dependency…