Nginx
Nginx
Определение
Веб-сервер и обратный прокси, используемый для балансировки нагрузки, буферизации при стриминге и распределения трафика между LLM-серверами.
Где встречается
- 81. Как бы вы спроектировали систему для 1000 одновременных пользователей чат-бота с RAG
- 214. Как вы реализуете streaming в production с учетом network limitations
- 243. Как вы делаете blue-green deployment для RAG системы с zero downtime
- 247. Как вы проектируете multi-region active-active для LLM API
- 410. Как вы делаете blue-green deployment для RAG системы с zero downtime
- 414. Как вы проектируете multi-region active-active для LLM API
- 768. Что такое «ротация агентов» (load balancing между агентами)
- 829. Что такое rate limiting на уровне API Gateway для LLM