Weighted routers

Определение

Механизм маршрутизации запросов с присвоением весов различным моделям или стратегиям. Применяется в canary analysis для постепенного переключения трафика на новую LLM.

Где встречается

• 430. Как вы делаете canary analysis для новой LLM модели

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление