Dynamic routing
Dynamic routing
Определение
Маршрутизация запросов к разным моделям или провайдерам в реальном времени на основе типа запроса, нагрузки или компромисса между стоимостью и качеством; используется для балансировки и оптимизации cost-quality trade-off.
Где встречается
- 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма
- 765. Как измерять «стоимость делегирования» (токены + время + деньги)
- 849. Что такое expert parallelism для MoE моделей (Mixtral)
- 800+ вопросов