Gateway
Gateway
Определение
API-шлюз, выступающий единой точкой входа для запросов к системе RAG и LLM, обеспечивающий валидацию, маршрутизацию, rate limiting и распределённую трассировку.
Где встречается
- 81. Как бы вы спроектировали систему для 1000 одновременных пользователей чат-бота с RAG
- 88. Как бы вы добавили отмену (cancellation) для длительных LLM операций
- 241. Как вы делаете distributed tracing для цепочки user → gateway → RAG → LLM → user
- 247. Как вы проектируете multi-region active-active для LLM API
- 251. Как вы деплоите LLM на spot instances в облаке
- 408. Как вы делаете distributed tracing для цепочки user → gateway → RAG → LLM → user
- 429. Что такое end-to-end backpressure в LLM пайплайне и как его реализовать
- 600. Как вы защищаете LLM от градиентных атак (white-box jailbreak)
- 784. Как строить финансовую модель LLM-продукта для бизнеса
- 829. Что такое rate limiting на уровне API Gateway для LLM
- 800+ вопросов