Middleware

Определение

Программный слой, перехватывающий запросы до их обработки; используется для rate limiting, region affinity, load shedding, логирования и других сквозных задач.

Где встречается

• 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
• 73. Как вы логируете все вызовы LLM для аудита
• 247. Как вы проектируете multi-region active-active для LLM API
• 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
• 416. Как вы делаете load shedding при перегрузке LLM сервера
• 829. Что такое rate limiting на уровне API Gateway для LLM
• 24. Настроить RED metrics для LLM
• 85. Спроектировать escalation system
• 102. Настроить Guardrails на NeMo
• 107. Настроить AdmissionController
• 109. Настроить cost tracking для агента
• 164. Настроить canary deployment промптов
• 183. Реализовать circuit breaker на вызовы агента
• 189. Реализовать compression сообщений
• 196. Настроить backpressure в ingestion
• 217. Реализовать streaming с SSE

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление