LLM Gateway
LLM Gateway
Определение
Система-посредник для маршрутизации запросов к разным LLM-провайдерам и моделям; позволяет оптимизировать стоимость, задержки и обеспечить отказоустойчивость.
Где встречается
- 70. Как вы снижаете стоимость LLM в production на 50%+
- 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма