backpressure
backpressure
Определение
Механизм регулирования потока данных, при котором получатель сигнализирует отправителю о снижении темпа передачи. В LLM-системах применяется на всех уровнях для предотвращения перегрузки.
Где встречается
- 81. Как бы вы спроектировали систему для 1000 одновременных пользователей чат-бота с RAG
- 214. Как вы реализуете streaming в production с учетом network limitations
- 244. Как вы проектируете backpressure в LLM serving системе
- 404. Что такое circuit breaker и как он применяется к LLM API вызовам
- 411. Как вы проектируете backpressure в LLM serving системе
- 429. Что такое end-to-end backpressure в LLM пайплайне и как его реализовать
- 811. Что такое «message bus» для агентов (Kafka, NATS, Redis PubSub)
- 814. Как проектировать rate limiting на уровне сообщений
- 819. Что такое «circuit breaker» на уровне меж-агентских вызовов
- 835. Как проектировать distributed dead letter queue для сообщений
- 855. Как проектировать CDC (Change Data Capture) для документов
- 864. Как обрабатывать late-arriving data в ingestion
- Практика
- 800+ вопросов
- 176. Развернуть message bus (NATSKafka)
- 180. Настроить rate limiting на сообщения
- 196. Настроить backpressure в ingestion