Cost-accuracy-latency trade-off

Определение

Компромисс между стоимостью, точностью и задержкой при выборе LLM; используется для балансировки при маршрутизации запросов.