lost requests

Определение

Доля запросов, не завершённых из-за прерывания (например, при использовании spot instances). Целевой порог для real-time трафика — менее 1%.

Где встречается

• 418. Как вы деплоите LLM на spot instances в облаке

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление