cost estimator
cost estimator
Определение
Функция или модуль, предсказывающий стоимость ответа до отправки запроса к LLM. Используется для cost-aware кэширования и принятия решений о маршрутизации запросов.
Функция или модуль, предсказывающий стоимость ответа до отправки запроса к LLM. Используется для cost-aware кэширования и принятия решений о маршрутизации запросов.