L7 load balancer
L7 load balancer
Определение
Балансировщик нагрузки на уровне приложений (OSI Layer 7), который распределяет HTTP/gRPC запросы между репликами сервисов на основе содержимого запроса. Позволяет реализовать маршрутизацию и отказоустойчивость.
Где встречается
- 205. Как вы деплоите LLM с requirement 100ms latency при throughput 1000 reqs Архитектура.
- 421. Как вы проектируете disaster recovery для LLM системы при сбое региона
- 800+ вопросов