English translation is not available yet. Showing Russian content.
LLM server
LLM server
Определение
Серверное приложение для развёртывания и обслуживания запросов к большой языковой модели. Обеспечивает инференс, балансировку нагрузки, health check и autoscaling.