Sticky sessions
Sticky sessions
Определение
Механизм балансировки нагрузки, привязывающий клиента к одному серверу для сохранения состояния генерации.
Где встречается
- 214. Как вы реализуете streaming в production с учетом network limitations
- 414. Как вы проектируете multi-region active-active для LLM API
- 768. Что такое «ротация агентов» (load balancing между агентами)