RUEN中文
…

Поиск

  • wikiOperator

    # Operator ## Определение Шаблон задачи в Apache Airflow, например PythonOperator или SparkSubmitOperator, определяющий выполняемое действие. ## Где встречается - [[863. Как проектировать Airflow…

  • wikiPool

    # Pool ## Определение Механизм Airflow для ограничения параллельного выполнения задач, например, для GPU-задач, чтобы избежать перегрузки ресурсов. ## Где встречается - [[863…

  • wikiSensor

    # Sensor ## Определение Тип оператора Apache Airflow, который ожидает наступления условия (например, появления файла в S3) перед запуском последующих задач. ## Где…

  • wikiVariable

    # Variable ## Определение Механизм Apache Airflow для хранения пар ключ-значение, используемый для конфигураций, чекпоинтов и общих данных между задачами. ## Где…

  • wikiLocalExecutor

    # LocalExecutor ## Определение LocalExecutor — исполнитель Airflow для локального выполнения задач, используемый в пет-проектах. ## Где встречается - [[863. Как проектировать Airflow DAG…

  • wikischedule_interval

    # schedule_interval ## Определение Параметр DAG в Apache Airflow, задающий частоту запуска (например, '@hourly'). ## Где встречается - [[863. Как проектировать Airflow DAG…

  • wikion_failure_callback

    # on_failure_callback ## Определение Коллбэк Airflow при падении DAG для отправки уведомлений. ## Где встречается - [[863. Как проектировать Airflow DAG для…

  • wikiDagster

    # Dagster ## Определение Платформа оркестрации данных, альтернатива Airflow, с упором на декларативное определение data assets и автоматическое управление зависимостями. ## Где встречается…

  • wikiSparkSubmitOperator

    # SparkSubmitOperator ## Определение Оператор Airflow для отправки Spark-приложения на кластер, используемый для параллельной обработки файлов в DAG инжекции. ## Где встречается…

  • wikiTaskGroup

    # TaskGroup ## Определение Конструкция в Airflow для логической группировки задач, позволяющая организовать параллельное выполнение и управление зависимостями внутри DAG. ## Где встречается…

  • wikiXCom

    # XCom ## Определение Механизм Apache Airflow для обмена небольшими объёмами данных между задачами внутри DAG'а. Используется для передачи метаданных или…

  • wikiDynamic Task Mapping

    # Dynamic Task Mapping ## Определение Механизм в Airflow, позволяющий создавать задачи динамически на основе данных, например, для параллельной обработки документов в…

  • wikiTask

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[292. Реализовать distributed task queue…

  • wikiAirflow

    # Airflow ## Определение Платформа для оркестрации рабочих процессов, мониторинга и повторных попыток выполнения DAG, часто используется для batch-пайплайнов и ETL…

  • wikirun_id

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiKubeflow Pipelines

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiretry_delay

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiS3 timeout

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] ## Навигация - [[00. Индекс терминов|Индекс…

  • answerКак проектировать Airflow DAG для RAG ingestion?

    …Альтернативы Airflow и их сравнение | Инструмент | Плюсы для RAG ingestion | Минусы | |------------|-------------------------|--------| | [[Вики/Airflow\|Airflow]] | Зрелый, широко распространён, много интеграций (Spark…

  • wikiSemanticChunker

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiAgentic chunking

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiPrefect

    # Prefect ## Определение Платформа для оркестрации DAG-пайплайнов, альтернатива Airflow, ориентированная на long-running задач и мониторинг. Часто применяется для управления…

  • wikiFixed-size chunking

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?

    …Пример DAG (псевдокод): ```python from airflow import DAG from airflow.providers.apache.kafka.operators.kafka_consume import ConsumeFromTopicOperator from airflow…

  • wikiincremental ingestion

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • answerКакие инструменты для Delegation Engineering существуют (Airflow для агентов)?

    …рабочие движки ([[Вики/Temporal\|Temporal]], [[Вики/Camunda\|Camunda]]), DAG-оркестраторы ([[Вики/Airflow\|Airflow]], [[Вики/Prefect\|Prefect]]), облачные функции ([[Вики/step…

  • wikiDAG orchestration

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?

    …Airflow [[Вики/Airflow\|Apache Airflow]] — платформа для оркестрации рабочих процессов. Используется для: - Мониторинга здоровья consumer'ов (если consumer упал — Airflow…

  • answerКак проектировать ETL vs ELT для RAG?

    …не нужно разворачивать [[Вики/cluster\|кластер]] [[Вики/Spark\|Spark]], достаточно одного Python-скрипта на [[Вики/Airflow\|Airflow]]. --- ## 4. Когда ELT…

  • wikiingestion

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[865. Как проектировать schema registry…

  • wikibulk insert

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] - [[253…

  • wikiSpark

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • wikicompute-communication overlap

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • wikiETL

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • wikiPersistence

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • wikiMinIO

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[15. Настроить tiered storage (hotwarmcold…

  • wikiSemantic chunking

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • answerКак вы делаете data quality monitoring для RAG корпуса?

    …Пример с [[Вики/Airflow\|Airflow]]: ```python from airflow import DAG from airflow.operators.python import PythonOperator def validate_new_docs…

  • wikiUPSERT

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[86. Реализовать user feedback loop…

  • wikipdfplumber

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[266. Сгенерировать synthetic датасет для…

  • wikiRecursiveCharacterTextSplitter

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] - [[50…

  • wikiDead Letter Queue

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • wikiOOM

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] - [[51…

  • wikiSLA

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[864. Как обрабатывать late-arriving…

  • wikitext-embedding-3-small

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] - [[225…

  • wikiPrometheus + Grafana

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[886. Как делать sandboxing для…

  • wikiidempotency key

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[800+ вопросов|800+ вопросов]] - [[14…

  • answerКак вы оцениваете faithfulness RAG-ответа в production автоматически?

    …Пример конфигурации Airflow DAG ```python from airflow import DAG from airflow.operators.python import PythonOperator from datetime import datetime, timedelta…

  • answerКак вы проектируете data lineage для RAG (от документа к ответу)?

    …на [[Вики/SQL\|Python]], Java, [[Вики/Spark\|Spark]], [[Вики/Airflow\|Airflow]] и др. Пример события для этапа [[Вики/retrieval\|retrieval…

  • wikiexponential backoff

    …Как проектировать Airflow DAG для RAG ingestion|863. Как проектировать Airflow DAG для RAG ingestion]] - [[896. Как сделать агента самовосстанавливающимся…