中文翻译暂不可用,显示俄语原文。

LLM server

LLM server

Определение

Серверное приложение для развёртывания и обслуживания запросов к большой языковой модели. Обеспечивает инференс, балансировку нагрузки, health check и autoscaling.

Где встречается

Навигация