Поиск

wikiKafka topic
# Kafka topic ## Определение Основная единица хранения сообщений в Kafka, разделённая на партиции; для логов LLM часто настраивается с политикой compact…
wikiKafka compaction
# Kafka compaction ## Определение Механизм Kafka, при котором для каждого ключа сохраняется только последнее сообщение, удаляя старые дубликаты. Используется для эффективного…
wikiKafka Log Cleaner Manager
# Kafka Log Cleaner Manager ## Определение Внутренний компонент Kafka, отвечающий за выполнение compaction; его падение может забить диск. ## Где встречается - [[252…
wikiconfluent_kafka
# confluent_kafka ## Определение Python-клиент для работы с Kafka в пет-проекте реализации DLQ. ## Где встречается - [[273. Как вы обрабатываете…
wikiconfluent-kafka
# confluent-kafka ## Определение Python-клиент для Kafka, используемый в пет-проекте. ## Где встречается - [[532. Что такое data contract между сервисами…
answerЧто такое Kafka compaction для логов LLM взаимодействий?
…Kafka topic и log compaction [[Вики/Kafka\|Kafka]] — распределённая платформа для потоковой передачи событий. Основной единицей хранения является [[Вики/Kafka…
wikiKafka transactions
# Kafka transactions ## Определение Механизм атомарной записи и чтения сообщений между продюсером и консюмером в одной транзакции, обеспечивающий exactly-once семантику…
answerПочему Kafka лучше RabbitMQ для event streaming?
…Почему Kafka лучше RabbitMQ для event streaming? ## Краткий тезис [[Вики/Kafka\|Kafka]] превосходит [[Вики/RabbitMQ\|RabbitMQ]] в сценариях [[Вики/Event…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с incremental update (CDC из PostgreSQL → Kafka → Qdrant)
…2. [[Вики/Kafka\|Kafka]] Поднять [[Вики/Kafka\|Kafka]] и [[Вики/ZooKeeper\|Zookeeper]] через `[[Вики/Docker\|docker-compose.yml]]` (стандартная конфигурация…
answerЧто такое Kafka compaction для логов LLM взаимодействий?
…Что такое Kafka compaction для логов LLM взаимодействий? ## Краткий тезис Kafka compaction — это механизм очистки логов в Apache Kafka, который…
wikiKafka Connect
# Kafka Connect ## Определение Фреймворк для интеграции Kafka с внешними источниками данных (базы данных, S3 и др.) через коннекторы. Широко применяется…
wikiKafka Streams
# Kafka Streams ## Определение Библиотека для обработки потоков данных в Kafka, позволяющая выполнять дедупликацию, фильтрацию, обогащение событий и интеграцию со schema…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить distributed DLQ для failed инференса
…2181 kafka: image: confluentinc/cp-kafka:latest depends_on: [zookeeper] ports: - 9092:9092 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER…
wikiKafka Lag Exporter
# Kafka Lag Exporter ## Определение инструмент для экспорта lag метрик Kafka в Prometheus ## Где встречается - [[407. Как вы проектируете dead letter…
wikiKafka lag
# Kafka lag ## Определение Количество необработанных сообщений в топике; мониторится для обнаружения задержек в обработке. ## Где встречается - [[82. Как бы вы…
wikilog.cleanup.policy=compact
# log.cleanup.policy=compact ## Определение Политика очистки топиков Kafka, при которой хранится только последнее сообщение для каждого ключа; используется для…
wikiKafka Headers
# Kafka Headers ## Определение Метаданные сообщений Kafka, хранящиеся в виде пар ключ-значение. Используются для переноса служебной информации, например retry_count…
answerЧто такое «message bus» для агентов (Kafka, NATS, Redis PubSub)?
…Интеграция с Python Пример отправки сообщения через [[Вики/Kafka\|Kafka]] с помощью `[[Вики/confluent-kafka\|confluent-kafka]]`: ```python from confluent…
wikiPartition
# Partition ## Определение Единица параллелизма в Kafka, гарантирующая порядок сообщений внутри себя и обеспечивающая масштабирование обработки запросов. ## Где встречается - [[407. Как…
wikikafka-python
# kafka-python ## Определение Python-клиент для Kafka, используемый для взаимодействия агентов с брокером сообщений. ## Где встречается - [[266. Как вы делаете…
answerКак бы вы спроектировали систему для реального времени (real-time) обработки документов?
…chunks.ready) → Embedding Service → Kafka (topic: embeddings.ready) → Indexer Service → Vector DB ``` Термин [[Вики/Kafka\|Kafka]] ([[Вики/Kafka\|Apache Kafka…
answerКак вы обрабатываете real-time фичи для LLM (например, текущий сток товара)?
…Внешняя система (например, сервис заказов) публикует событие `stock_changed` в [[Вики/Kafka topic\|топик]] [[Вики/Kafka\|Kafka]]. 2. [[Вики/Consumer…
wikiAt-most-once
…Что такое «message bus» для агентов (Kafka, NATS, Redis PubSub)|811. Что такое «message bus» для агентов (Kafka, NATS, Redis…
answerКак вы проектируете dead letter queue для failed LLM инференс запросов?
…Архитектура на Kafka с несколькими retry-топиками Предлагается следующая [[Вики/database schema\|схема]] на базе [[Вики/Kafka\|Apache Kafka]] (или…
answerИнициализация транзакционного продюсера
…Инструменты - [[Вики/Kafka\|Kafka]] (например, localhost:9092 через docker-compose) - Confluent Kafka Python (или `kafka-python`) - [[Вики/Redis Cluster\|Redis…
wikiReplacingMergeTree
# ReplacingMergeTree ## Определение Движок таблиц ClickHouse, позволяющий эффективно хранить последние записи по ключу, альтернатива Kafka compaction для дедупликации логов. ## Где встречается…
answerКак строить streaming RAG pipeline (real-time ingestion)?
…События публикуются в [[Вики/Kafka topic\|топик]] [[Вики/Kafka\|Kafka]] вида `server.[[Вики/cognitive schema\|schema]].[[Вики/Table\|table]]`. Пример…
answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?
…сравнение | Компонент | Варианты | Плюсы | Минусы | |-----------|----------|-------|--------| | Брокер сообщений | Kafka, RabbitMQ, AWS SQS | Kafka: высокая пропускная способность, replay | Kafka: сложнее в настройке…
wikitransactional.id
# transactional.id ## Определение Уникальный идентификатор транзакционного продюсера в Kafka, позволяющий восстановить состояние после сбоя. ## Где встречается - [[860. Как обеспечивать exactly…
wikiKRaft
# KRaft ## Определение Протокол консенсуса для Apache Kafka, заменяющий ZooKeeper и обеспечивающий управление метаданными без внешней зависимости. ## Где встречается - [[811. Что…
wikiLog Cleaner
# Log Cleaner ## Определение Фоновый процесс, который периодически сканирует топики и удаляет старые версии сообщений с одинаковым ключом (Kafka compaction). ## Где…
wikiTLS/SASL
# TLS/SASL ## Определение Комбинация протоколов TLS (шифрование) и SASL (аутентификация), используемая для безопасной передачи данных в системах вроде Kafka. ## Где…
wikiZooKeeper
# ZooKeeper ## Определение Сервис координации для распределённых систем, необходимый для управления кластером Kafka. Обеспечивает хранение состояния и синхронизацию компонентов. ## Где встречается…
wikiТранзакционный консюмер
# Транзакционный консюмер ## Определение Консюмер в Kafka, участвующий в транзакциях для обеспечения атомарного чтения и записи, гарантируя exactly-once семантику. ## Где…
wikiMin.insync.replicas
# Min.insync.replicas ## Определение Параметр конфигурации Kafka, задающий минимальное количество синхронизированных реплик для подтверждения записи. Используется для обеспечения отказоустойчивости в…
wiki__transaction_state
# __transaction_state ## Определение Внутренняя тема Kafka для хранения состояния транзакций, обеспечивающая exactly-once семантику и влияющая на нагрузку кластера. ## Где…
wikiТранзакционный продюсер
# Транзакционный продюсер ## Определение Продюсер в Kafka, использующий транзакции для атомарной записи сообщений в несколько партиций с гарантией exactly-once семантики…
wikicommit_transaction
# commit_transaction ## Определение Операция фиксации транзакции в Kafka, которая атомарно делает запись видимой для потребителей, гарантируя целостность при exactly-once…
wikiJMX/MBeans
# JMX/MBeans ## Определение Java-технология для мониторинга и управления приложениями; MBeans предоставляют метрики (например, время компактизации Kafka) и операции для…
wikiKey-value model
# Key-value model ## Определение Модель данных для Kafka compaction: ключ — идентификатор сессии, значение — полная история диалога, что позволяет хранить последнее…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать compaction в векторной БД
…Цель задачи Разработать и внедрить механизм [[Вики/Kafka compaction\|compaction]] (слияния маленьких сегментов) для векторной базы данных на основе [[Вики…
wikiCommit log
# Commit log ## Определение Структура данных, лежащая в основе Kafka: каждый топик представляет собой журнал подтверждений (commit log), в который записываются…
wikiisolation.level=read_committed
# isolation.level=read_committed ## Определение Уровень изоляции консюмера Kafka, гарантирующий чтение только закоммиченных транзакций, обеспечивая консистентность данных. ## Где встречается - [[860…
wikiConsumer
# Consumer ## Определение Компонент, который читает сообщения из очереди (например, Kafka) и обрабатывает их для парсинга, индексации или retrieval. ## Где встречается…
answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?
…CSV/JSON экспорты по расписанию — через [[Вики/Airflow\|Airflow]] загружаем в [[Вики/Kafka\|Kafka]]. Почему [[Вики/Kafka\|Kafka]] - [[Вики/buffer…
wikiACL
…Как вы проектируете Kafka топологии для RAG ingestion|428. Как вы проектируете Kafka топологии для RAG ingestion]] - [[800+ вопросов|800…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить exactly-once delivery
…2181 kafka: image: confluentinc/cp-kafka:7.5.0 ports: - "9092:9092" environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED…
answerКак проектировать CDC (Change Data Capture) для документов?
…Инструменты - Docker Compose (PostgreSQL + Debezium + Kafka + Kafka Connect). - Python (fastapi для REST, kafka-python для consumer, chromadb для векторного хранилища…
wikiacks=all
# acks=all ## Определение Настройка Kafka producer, требующая подтверждения записи от всех in-sync реплик. Обеспечивает максимальную надежность доставки. ## Где встречается…
answerКак вы проектируете dead letter queue для failed LLM инференс запросов?
…Реализация задержки: - В [[Вики/Kafka\|Kafka]] нет встроенной задержки, поэтому используют [[Вики/Kafka Streams\|Kafka Streams]] или отдельный [[Вики/exponential…