Envoy
Envoy
Определение
Высокопроизводительный прокси-сервер, используемый в сервисных сетках (например, Istio) для балансировки нагрузки, circuit breaking, сбора метрик и перехвата трафика LLM-вызовов.
Где встречается
- 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма
- 237. Что такое circuit breaker и как он применяется к LLM API вызовам
- 413. Что такое sidecar pattern для LLM observability и как его реализовать
- 768. Что такое «ротация агентов» (load balancing между агентами)