Inference server

Определение

сервер, выполняющий запуск LLM для обработки запросов, в каждом регионе свой набор

Где встречается

• 247. Как вы проектируете multi-region active-active для LLM API
• 76. Настроить reserved instances для постоянной нагрузки

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление