Поиск

• wikiEvent streaming

  # Event streaming ## Определение Метод обработки данных в реальном времени, при котором события непрерывно поступают и обрабатываются по мере возникновения. Типичная…

• wikiContent-Type: text/event-stream

  …event-stream ## Определение MIME-тип, используемый в ответе для корректной работы Server-Sent Events (SSE). ## Где встречается - [[217. Реализовать streaming…

• wikievent-stream

  …с префиксами event:, data:, id:. Позволяет серверу асинхронно передавать клиенту поток структурированных событий. ## Где встречается - [[217. Реализовать streaming с SSE…

• wikiEventSourceResponse

  …событий с полями event, data, id. ## Где встречается - [[217. Реализовать streaming с SSE|217. Реализовать streaming с SSE]] ## Навигация - [[00…

• wikiEventSource API

  …Как вы реализуете streaming в production с учетом network limitations|214. Как вы реализуете streaming в production с учетом network…

• wikiOut-of-order events

  # Out-of-order events ## Определение Потоковые события, нарушающие хронологический порядок (ранние приходят позже). Решается группировкой по ключу или водяными знаками…

• answerПочему Kafka лучше RabbitMQ для event streaming?

  …Терминология и контекст **[[Вики/Event streaming\|Event streaming]]** ([[Вики/Real-time ingestion\|потоковая обработка]] событий) — архитектура, в которой события (изменения…

• wikiStreaming

  # Streaming ## Определение Техника постепенной выдачи токенов ответа по мере их генерации, снижающая воспринимаемую задержку; часто реализуется через Server-Sent Events…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать streaming с SSE в FastAPI для меж-агентной коммуникации

  …Технологический стек | Компонент | Инструменты | Назначение | |------------------------|--------------------------------------|-----------------------------------------------------------------| | Backend‑фреймворк | FastAPI, Uvicorn | Асинхронный HTTP‑сервер с поддержкой StreamingResponse | | Streaming‑протокол | Server‑Sent Events…

• wikisse-starlette

  # sse-starlette ## Определение Библиотека для реализации Server-Sent Events в FastAPI/Starlette, обеспечивающая потоковую передачу данных. ## Где встречается - [[90. Как…

• answerКак вы реализуете streaming в production с учетом network limitations?

  …запроса, а не ждать десятки секунд. **[[Вики/Streaming\|Server-Sent Events]] ([[Вики/Streaming\|SSE]])** — протокол на основе [[Вики/REST\|HTTP…

• answerКак вы делаете streaming в production с учетом network limitations?

  …Для [[Вики/production\|production]] применяют **[[Вики/Streaming\|Server-Sent Events]] ([[Вики/Streaming\|SSE]])** или [[Вики/WebSocket\|WebSocket]], выбирают оптимальный [[Вики…

• wikiProxy_buffering

  …Server-Sent Events (SSE), чтобы избежать задержек при стриминге данных. ## Где встречается - [[214. Как вы реализуете streaming в production с…

• wikiwatermark

  …Как вы обрабатываете streaming данные для real-time RAG|269. Как вы обрабатываете streaming данные для real-time RAG]] - [[524…

• answerКак организовать streaming feature pipelines для real-time RAG?

  …Structured Streaming с **WAL (Write-Ahead Log)**. ### 5.2 Watermark и event-time - **Event-time** — время, когда событие произошло на…

• answerКак вы обрабатываете streaming данные для real-time RAG?

  …chunks = chunk_text(event['text']) await queue.put(chunks) ``` ## 5. Управление поздними данными и watermark В streaming-системах события могут…

• answerКак вы обрабатываете streaming данные для real-time RAG?

  …event_time AS event_time - INTERVAL '5' SECOND ) WITH ('connector' = 'kafka', 'topic' = 'docs', 'format' = 'json'); ``` ## 7. Сравнение Batch vs Streaming…

• answerКак строить streaming RAG pipeline (real-time ingestion)?

  …Как строить streaming RAG pipeline (real-time ingestion)? ## Краткий тезис [[Вики/Streaming\|Streaming]] [[Вики/гибридный поиск\|RAG]] [[Вики/пайплайн автоматического…

• answerКак бы вы добавили "отмену" (cancellation) для длительных LLM операций?

  …Варианты 1. **[[Вики/HTTP\|HTTP]] [[Вики/Real-time ingestion\|Streaming]] ([[Вики/EventSource API\|SSE]]):** Сервер отправляет специальное событие `[[Вики/CUDA…

• answerКак вы проектируете API для внешних систем, использующих вашу LLM?

  …Реализация - Используем [[Вики/Streaming\|SSE]] ([[Вики/Streaming\|Server-Sent Events]]) — стандарт HTML5, простой в реализации на бэкенде ([[Вики/FastAPI\|FastAPI…

• answerКак проектировать request-response vs fire-and-forget для агентов?

  …опрос]]. - [[Вики/Real-time ingestion\|Streaming]] — непрерывная двунаправленная передача данных ([[Вики/Streaming\|Server-Sent Events]], [[Вики/WebSocket\|WebSocket]]). **Термин «[[Вики…

• answerКак организовать feature store для AI (Feast, Hopsworks)?

  …Почему Kafka лучше RabbitMQ для event streaming\|854]] - Индекс: [[00. Индекс разборов]]

• answerКак вы проектируете систему для real-time video understanding (поток с камеры)?

  …streaming generation **[[Вики/Streaming\|Streaming generation]]** — [[Вики/LLM inference\|вывод LLM]] [[Вики/token\|токен]] за токеном, без ожидания полного ответа…

• answerКак обрабатывать late-arriving data в ingestion?

  …В пайплайнах **[[Вики/Streaming\|streaming]] [[Вики/Producer\|ingestion]]** различают два временных понятия: - [[Вики/timestamp\|Event time]] — время, когда документ был…

• answerКак бы вы спроектировали систему для реального времени (real-time) обработки документов?

  …Важно понимать, что **[[Вики/Producer\|ingestion]]** ([[Вики/indexing\|загрузка]] и [[Вики/indexing\|индексация]]) может быть [[Вики/Eventually consistent\|eventually consistent…

• answerКак вы обеспечиваете низкую задержку (<500ms) для LLM?

  …Streaming (потоковая передача) [[Вики/Streaming\|Streaming]] — сервер отправляет каждый сгенерированный [[Вики/token\|токен]] сразу, как только он готов, вместо того…

• answerКак вы строите real-time voice agent с latency <500ms?

  …Варианты - [[Вики/Whisper streaming\|Whisper streaming]] ([[Вики/faster-whisper\|faster-whisper]] с [[Вики/online decoding\|online decoding]]) — использует [[Вики/model…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить S3 consistency для RAG

  …Изучите [[Вики/model\|модель]] консистентности S3 - Прочитайте документацию AWS S3 по [[Вики/Eventually consistent\|eventual consistency]] ([[Вики/read-after-write…

• answerКак проектировать CDC (Change Data Capture) для документов?

  …Почему Kafka лучше RabbitMQ для event streaming\|854]] - Следующий: [[856. Как организовать data versioning (DVC, LakeFS, Delta Lake)\|856]] - Индекс…

• answerКак вы проектируете ETL пайплайн для 1M документов/день в RAG систему?

  …Используем [[Вики/S3\|Object Storage]] [[Вики/уведомления\|Notifications]] (например, S3 [[Вики/CUDA event\|Event]] → Lambda → [[Вики/Kafka\|Kafka]]). - Файловые дампы…

• answerКак вы уменьшаете latency RAG-системы (время ответа)?

  …Термин «Streaming» (потоковая передача Использование Server-Sent Events (SSE) или WebSockets для отправки данных частями. Как это меняет восприятие пользователя…

• answerКак вы проектируете feature store для ML фичей, используемых LLM?

  …Архитектура feature store для LLM ### 3.1 Offline pipeline (обучение и анализ) - Источники [[Вики/Kafka\|Kafka]] ([[Вики/Streaming\|streaming]]), S3…

• answerЧто такое Kafka compaction для логов LLM взаимодействий?

  …платформа для потоковой передачи событий ([[Вики/CUDA event\|event]] [[Вики/Streaming\|streaming]]). [[Вики/Kafka\|Kafka]] хранит данные в топиках ([[Вики…

• answerКак работает asynchronous execution на Hopper (copy engine vs compute)?

  …В [[Вики/CUDA\|CUDA]] это реализуется через [[Вики/Kafka\|streams]] и [[Вики/CUDA events\|events]]. [[Вики/Copy Engine\|Copy engine…

• answerЧто такое Agent Loop и какие компоненты входят в production-ready loop?

  …Реализуется через [[Вики/Streaming\|Server-Sent Events]] — [[Вики/agent\|агент]] отправляет события по мере выполнения шагов. --- ## 11. Сравнение с простым…

• answerКак вы делаете incremental ingestion для часто меняющихся документов?

  …event = message.value source_id = event['source_id'] operation = event['op'] # 'c' (create), 'u' (update), 'd' (delete) document_text = event…

• answerКак работает Tensor Core microarchitecture (WGMMA, MMA инструкции) в H100?

  …torch.mm(A, B, out=C) # Measure start_event = torch.cuda.Event(enable_timing=True) end_event = torch.cuda.Event…

• answerЧто такое end-to-end backpressure в LLM пайплайне и как его реализовать?

  …Отсутствие [[Вики/backpressure\|backpressure]] для пакетных запросов — например, при streaming-генерации ([[Вики/EventSource API\|Server-Sent Events]]) нельзя просто сбросить…

• wikiИндекс терминов

  …Event processing latency|Event processing latency]] - [[Вики/Event sourcing|Event sourcing]] - [[Вики/Event streaming|Event streaming]] - [[Вики/event tracking|event…

• answerКак вы делаете distributed tracing для цепочки: user → gateway → RAG → LLM → user?

  …ctx = span.get_span_context() event_dict["trace_id"] = hex(ctx.trace_id) return event_dict structlog.configure(processors=[add…

• answerКак работает warp scheduling на NVIDIA GPU и как это влияет на LLM kernels?

  …Если пути расходятся — возникает [[Вики/divergence\|divergence]]. ### 1.2 Streaming Multiprocessor (SM) [[Вики/SM\|SM]] — вычислительный [[Вики/блок фиксированного размера…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать handshake при соединении агентов

  …Пример: `["[[Вики/text\|text]]", "[[Вики/Image\|image]]", "audio", "video", "[[Вики/Real-time ingestion\|streaming]]"]`. После [[Вики/handshake\|handshake]] сервер сообщает…

• answerКак вы делаете multi-region failover с RTO <5 минут?

  …streaming replication (синхронная или асинхронная) через gRPC. - [[Вики/Weaviate\|Weaviate]]: multi-region replication через [[Вики/ASYNC\|async replication]] с eventual…

• answerКак вы делаете load testing для LLM endpoint? Какие метрики ключевые?

  …усложняет прогнозирование latency. - Потоковая vs не-потоковая передача — streaming (Server-Sent Events) меняет метрики: TTFT становится критичным для UX. Без…

• answerКак устроена иерархия памяти GPU (Global, L2, Shared, Registers) и как это влияет на LLM инференс?

  …на кристалле, общий для всех [[Вики/SM\|SM]] ([[Вики/SM\|Streaming Multiprocessors]]). - Объём: 50–60 МБ ([[Вики/H100\|H100]]). - [[Вики…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …Как вы реализуете streaming в production с учетом network limitations?** > *Ответ:* Server-Sent Events (SSE) для HTTP, WebSocket для интерактива…

• indexИндекс разборов

  …Почему Kafka лучше RabbitMQ для event streaming\|854. Почему Kafka лучше RabbitMQ для event streaming?]] - [[855. Как проектировать CDC (Change…

• indexОглавление

  …Почему Kafka лучше RabbitMQ для event streaming\|854. Почему Kafka лучше RabbitMQ для event streaming?]] - [[Вопросы/Ответы/855. Как проектировать…

• indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING

  …Data Engineering Deep (851-865) | Вопрос | Тема | Практические задачи (#) | |--------|------|------------------------| | 851 | Streaming RAG | Pet 238, Dist 196 | | 852 | Schema drift | Pet…