LLM inference cluster

LLM inference cluster

Определение

Кластер серверов, развёрнутых для выполнения инференса LLM, часто распределённый по регионам для низкой задержки и высокой доступности.

Где встречается

Навигация