Middleware
Middleware
Определение
Программный слой, перехватывающий запросы до их обработки; используется для rate limiting, region affinity, load shedding, логирования и других сквозных задач.
Где встречается
- 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
- 73. Как вы логируете все вызовы LLM для аудита
- 247. Как вы проектируете multi-region active-active для LLM API
- 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- 829. Что такое rate limiting на уровне API Gateway для LLM
- 24. Настроить RED metrics для LLM
- 85. Спроектировать escalation system
- 102. Настроить Guardrails на NeMo
- 107. Настроить AdmissionController
- 109. Настроить cost tracking для агента
- 164. Настроить canary deployment промптов
- 183. Реализовать circuit breaker на вызовы агента
- 189. Реализовать compression сообщений
- 196. Настроить backpressure в ingestion
- 217. Реализовать streaming с SSE