LLM server
LLM server
Определение
Серверное приложение для развёртывания и обслуживания запросов к большой языковой модели. Обеспечивает инференс, балансировку нагрузки, health check и autoscaling.
Серверное приложение для развёртывания и обслуживания запросов к большой языковой модели. Обеспечивает инференс, балансировку нагрузки, health check и autoscaling.