Поиск

• wikiMetadata filtering

  # Metadata filtering ## Определение Фильтрация результатов векторного поиска на основе полей метаданных (например, doc_type, дата) для ограничения поискового пространства. ## Где…

• wikiMetadata index

  # Metadata index ## Определение Индекс, создаваемый на часто фильтруемых полях метаданных, для ускорения операций фильтрации в векторных БД. ## Где встречается - [[800…

• wikiMetadataReplacementNodePostprocessor

  # MetadataReplacementNodePostprocessor ## Определение Компонент LlamaIndex, который добавляет метаданные узла в контекст запроса перед отправкой LLM. ## Где встречается - [[529. Как вы проектируете…

• wikigRPC metadata propagation

  # gRPC metadata propagation ## Определение Механизм передачи контекстной информации, такой как trace ID, через gRPC-вызовы с помощью метаданных, обеспечивающий связность…

• wikiMetadata consistency

  # Metadata consistency ## Определение Проверка соответствия содержимого документа его метаданным, например, чтобы избежать ситуаций, когда документ имеет высокую семантическую схожесть с…

• wikiметаданные

  # метаданные ## Определение Структурированная информация о документах, используемая для индексации, фильтрации и улучшения retrieval в RAG-системах. ## Где встречается - [[1. Как…

• answerКак вы проектируете feature engineering для контекста RAG (кроме текста)?

  …0.9}` - [[Вики/XML\|XML]] tags: `<[[Вики/метаданные\|metadata]]><[[Вики/source\|source]]>[[Вики/Wikipedia\|wikipedia]]2024metadata…

• wikiEXIF

  # EXIF ## Определение Стандарт хранения метаданных в изображениях, включающий дату, модель камеры и GPS-координаты. ## Где встречается - [[563. Как вы делаете…

• wikiPre-filtering

  # Pre-filtering ## Определение Pre-filtering (предварительная фильтрация) — метод фильтрации документов по метаданным до выполнения векторного поиска, чтобы сузить область поиска…

• answerКак вы обрабатываете смену форматов документов (legacy + новые форматы)?

  …normalized_text, "metadata": raw['metadata']} ``` --- ## 10. Интеграция с RAG-пайплайном В RAG-системе парсеры встраиваются в этап [[Вики/Document Loader…

• answerКак вы делаете schema evolution для метаданных документов в RAG?

  …fastavro.writer(buf, schema_v2, [metadata]) metadata_bytes = buf.getvalue() # Сохраняем как бинарное поле client.upsert( collection_name="my_collection…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить schema evolution для меж-агентной коммуникации

  …optional string metadata = 4; // опциональная мета-информация repeated int32 tags = 5; // теги } ``` 2. [[Вики/Сгенерируйте Python код для v2\|Сгенерируйте…

• answerКак делать feature engineering для RAG (кроме текста)?

  …Инструменты для реализации - [[Вики/LangChain\|LangChain]] — `DocumentTransformer` и `MetadataTagger` для автоматического извлечения. - [[Вики/LlamaIndex\|LlamaIndex]] — `MetadataFilter` и `VectorStoreIndex` с фильтром…

• answerЧто такое hierarchical retrieval для long context RAG (когда контекст > 100k)?

  …chunk.metadata["section_id"] = sec_doc.metadata["section_id"] chunk.metadata["section_title"] = sec_doc.metadata["title"] all_chunks.extend…

• answerКак вы управляете секретами (API keys для LLM) в Kubernetes?

  …ServiceAccount metadata: name: llm-app-sa --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: secret-reader rules: - apiGroups…

• answerКак вы фильтруете документы по метаданным в векторной БД?

  …Как вы фильтруете документы по метаданным в векторной БД? ## Краткий тезис Фильтрация по метаданным (metadata filtering) — это возможность искать документы…

• answerКак бы вы спроектировали multi-tenant RAG (разные компании, изолированные данные)?

  …одна [[Вики/Qdrant\|векторная БД]] с отдельными коллекциями на каждого [[Вики/multi-tenant\|tenant]]'а) и [[Вики/Metadata filtering\|metadata…

• answerЧто такое data contract между сервисами в RAG пайплайне?

  …384}, "metadata": { "type": "object", "properties": { "source_url": {"type": "string", "format": "uri"}, "page_number": {"type": "integer", "minimum": 1}, "created_at": {"type…

• answerКак вы делаете blue-green deployment для RAG системы с zero downtime?

  …Deployment metadata: name: rag-blue spec: replicas: 3 selector: matchLabels: app: rag version: blue template: metadata: labels: app: rag version…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с векторной БД на CPU (Chroma/Qdrant)

  …d["text"][:50]} for d in batch] collection.add(ids=ids, embeddings=embeddings, metadatas=metadatas) ``` 4. Для [[Вики/Faiss\|Qdrant…

• answerКак проектировать schema registry для метаданных RAG?

  …Schema Registry, Metadata, Avro **[[Вики/Confluent\|Schema registry]]** — сервис, который хранит версии схем данных и предоставляет [[Вики/API\|API]] для…

• answerКак обрабатывать late-arriving data в ingestion?

  …current_version = redis.get(f"version:{chunk_id}") or 0 if new_metadata.event_time > current_time - WINDOW: # Обновляем только…

• answerКак вы делаете агента «забывающим» (для GDPR / privacy compliance)?

  …str, metadata: dict): # Добавляем документ с метаданными, содержащими user_id self.collection.add( documents=[text], metadatas=[{**metadata, "user_id": self…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить S3 consistency для RAG

  …body.decode('utf-8'), 'metadata': metadata or {}, 'timestamp': time.time() } self.redis.setex(cache_key, self.cache_ttl, json.dumps…

• answerКак вы управляете секретами (API keys для LLM) в Kubernetes?

  …SecretStore metadata: name: aws-secrets-store spec: provider: aws: service: SecretsManager region: eu-west-1 auth: secretRef: accessKeyIDSecretRef: name: aws…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить GPU scheduling для multi-tenant

  …ConfigMap metadata: name: mig-config namespace: nvidia-gpu-operator data: config: | - devices: all mig-devices: 0: gi-profile: 2g.20gb…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить autoscaling для LLM сервера

  …Deployment metadata: name: llm-server spec: replicas: 1 selector: matchLabels: app: llm-server template: metadata: labels: app: llm-server spec…

• answerКак вы защищаете RAG от data poisoning через неявные инструкции (subtle injections)?

  …Репутация источника source = doc.metadata.get('source') if source in self.reputation_db: score += self.reputation_db[source] * 0.3…

• answerКак организовать GPU scheduling для multi-tenant LLM serving?

  …ResourceFlavor metadata: name: gpu-flavor spec: nodeLabels: accelerator: nvidia-tesla-a100 --- apiVersion: kueue.x-k8s.io/v1beta1 kind: ClusterQueue metadata…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить auto-scaling для vLLM

  …Deployment metadata: name: vllm-server namespace: vllm-system spec: replicas: 1 selector: matchLabels: app: vllm-server template: metadata: labels: app…

• answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?

  …chunk, 'metadata': doc.get('metadata', {}) }) ``` --- ## 4. Consumer 2: Эмбеддинг и индексация Второй consumer читает из `docs.chunks` и: - [[Вики/request…

• answerЧто такое agent communication protocol (формат сообщений между агентами)?

  …60, "metadata": {} } ``` | Поле | Тип | Обязательность | Назначение | |---|---|---|---| | `message_id` | string | да | Уникальный идентификатор сообщения (для дедупликации, логирования) | | `agent_id` | string | да…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить health checks для LLM

  …Deployment metadata: name: llm-health spec: replicas: 1 selector: matchLabels: app: llm-health template: metadata: labels: app: llm-health annotations…

• answerЧто такое autoscaling inference и как его настроить?

  …ScaledObject metadata: name: llm-server-scaledobject spec: scaleTargetRef: name: llm-server triggers: - type: prometheus metadata: serverAddress: http://prometheus:9090 metricName…

• answerКак вы деплоите LLM на spot instances в облаке?

  …Пример скрипта для обработки interruption notice (метаданные инстанса): ```bash # curl AWS metadata endpoint TOKEN=$(curl -X PUT "http://169.254…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить capacity planning для GPU кластера

  …ScaledObject metadata: name: inference-service-scaler spec: scaleTargetRef: name: inference-service triggers: - type: metrics-api metadata: targetValue: "75" # желаемая утилизация…

• answerКак вы делаете schema evolution для метаданных документов в RAG?

  …эволюция схемы с Protobuf Файл `[[Вики/метаданные\|metadata]].proto` ```protobuf syntax = "proto3"; message DocumentMetadata { string title = 1; optional string date…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить auto-scaling с учётом cost

  …ScaledObject metadata: name: batch-worker spec: scaleTargetRef: name: batch-deployment triggers: - type: prometheus metadata: serverAddress: http://prometheus.svc:9090 metricName…

• answerЧто такое sidecar pattern для LLM observability и как его реализовать?

  …EnvoyFilter metadata: name: llm-logging spec: workloadSelector: labels: app: llm-service configPatches: - applyTo: HTTP_FILTER match: context: SIDECAR_OUTBOUND listener…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить Memory (in-memory + vector)

  …методы `store(fact_text, [[Вики/метаданные\|metadata]])`, `[[Вики/Query\|query]](query_text, [[Вики/topk\|top_k]]=3)` → возвращает список фактов…

• answerКак вы проектируете canary deployment для LLM модели?

  …Rollout metadata: name: llm-canary spec: replicas: 10 strategy: canary: steps: - setWeight: 5 pause: {duration: 1h} - setWeight: 25 pause: {duration…

• answerЧто делать, если embedding pipeline отстаёт от ingestion (backpressure)?

  …ScaledObject metadata: name: embedding-worker-scaler spec: scaleTargetRef: name: embedding-worker-deployment triggers: - type: kafka metadata: bootstrapServers: my-cluster-kafka…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать topology-aware scheduling для K8s device plugin с учётом NVSwitch доменов

  …Для этого используйте `[[Вики/Kubernetes\|k8s]].io/client-go` для обновления [[Вики/метаданные\|metadata]] [[Вики/node\|node]]. Пример добавляемой аннотации…

• answerКак проектировать fallback-цепи (агент А → агент Б → человек)?

  …int metadata: dict # тайминги, версии моделей ``` Паттерн «[[Вики/Chain of Responsibility\|chain of responsibility]]» позволяет передавать контекст последовательно. --- ## 4. Архитектурные…

• answerКак вы делаете агента, который может «просить помощи» у другого агента или человека?

  …list[str] metadata: dict ``` --- ## 5. Эскалация человеку: Human-in-the-Loop (HITL) Когда [[Вики/agent\|агент]] не справляется, [[Вики/Prompt…

• answerКак вы защищаете multi-agent систему от вредоносного агента?

  …ServiceAccount metadata: name: agent-search --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: vector-db-reader rules: - apiGroups…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать synthetic eval для агента

  …str # easy, medium, hard metadata: Dict[str, Any] = {} ``` 2. Создать функцию `validate_test_case(case: TestCase) -> bool`, проверяющую: - Каждый `ToolCall…

• answerКак работает многогранный (faceted) поиск в RAG с фильтрами?

  …2024}, "category": {"$eq": "инструкции"} } # Pre-filter поиск results = index.query( vector=query_vector, filter=filters, top_k=5, include_metadata…

• answerКак вы делаете data quality monitoring для RAG корпуса?

  …id`, `[[Вики/text\|text]]`, `[[Вики/source\|source]]`, `[[Вики/метаданные\|metadata]]`), не пустое. **Пример:** ```python # Псевдокод проверки с Great Expectations import…

• answerКак вы проектируете feature engineering для контекста RAG (кроме текста)?

  …Ожидается, что chunks содержат 'text', 'metadata', 'embedding' и 'rank'. """ enriched_parts = [] for chunk in chunks: meta = chunk.get("metadata", {}) # Вычисляем…