LLM inference cluster

Определение

Кластер серверов, развёрнутых для выполнения инференса LLM, часто распределённый по регионам для низкой задержки и высокой доступности.

Где встречается

• 414. Как вы проектируете multi-region active-active для LLM API

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление