Kafka
Kafka
Определение
Распределённая потоковая платформа и брокер сообщений, используемая для построения событийно-ориентированных архитектур, буферизации потоков данных (например, при массовой загрузке документов в RAG) и организации dead letter queues.
Где встречается
- 9. Как вы обновляете документы в существующей RAG-системе
- 13. Как вы загружаете 1000 документов в RAG максимально эффективно
- 51. Как вы передаёте контекст между несколькими агентами (multi-agent system)
- 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
- 70. Как вы снижаете стоимость LLM в production на 50%+
- 73. Как вы логируете все вызовы LLM для аудита
- 81. Как бы вы спроектировали систему для 1000 одновременных пользователей чат-бота с RAG
- 82. Как бы вы спроектировали систему для реального времени (real-time) обработки документов
- 165. Как тест-тайм компьютинг меняет MLOps
- 240. Как вы проектируете dead letter queue для failed LLM инференс запросов
- 245. Как вы делаете cache invalidation для semantic cache при обновлении знаний
- 253. Как вы делаете асинхронную обработку long-running (30s) LLM задач
- 256. Как вы проектируете ETL пайплайн для 1M документовдень в RAG систему
- 266. Как вы делаете incremental ingestion для часто меняющихся документов
- 269. Как вы обрабатываете streaming данные для real-time RAG
- 273. Как вы обрабатываете corrupted или empty документы в ingestion пайплайне
- 359. Как вы защищаете multi-agent систему от вредоносного агента
- 389. Как вы делаем disaster recovery с RPO 1 минута
- 392. Что такое «agentic mesh» (сеть взаимодействующих агентов) и как вы его дебажите
- 407. Как вы проектируете dead letter queue для failed LLM инференс запросов
- 412. Как вы делаете cache invalidation для semantic cache при обновлении знаний
- 419. Что такое Kafka compaction для логов LLM взаимодействий
- 428. Как вы проектируете Kafka топологии для RAG ingestion
- 429. Что такое end-to-end backpressure в LLM пайплайне и как его реализовать
- 517. Как вы проектируете feature store для ML фичей, используемых LLM
- 520. Как вы проектируете data lineage для RAG (от документа к ответу)
- 521. Как вы делаете incremental ingestion для часто меняющихся документов
- 524. Как вы обрабатываете streaming данные для real-time RAG
- 526. Как вы делаете schema evolution для метаданных документов в RAG
- 528. Как вы обрабатываете corrupted или empty документы в ingestion пайплайне
- 531. Как вы делаете active learning loop для улучшения retrieval
- 532. Что такое data contract между сервисами в RAG пайплайне
- 533. Как вы обрабатываете real-time фичи для LLM (например, текущий сток товара)
- 697. Как вы масштабируете синтетическую генерацию до миллионов примеров (cost optimization)
- 771. Как проектировать delegation с учётом человеческого фактора (усталость, занятость)
- 810. Какие протоколы меж-агентской коммуникации существуют (A2A, MCP, OpenAI swarm)
- 811. Что такое «message bus» для агентов (Kafka, NATS, Redis PubSub)
- 815. Что такое «dead letter queue» для сообщений агентов
- 821. Как избежать hot shard в Qdrant (или другой векторной БД)
- 823. Как проектировать AI pipeline с at-least-once семантикой