thrashing

Определение

Состояние системы, когда ресурсы тратятся на частые переключения и управление, а не на полезную работу; возникает при неправильной настройке батчинга или autoscaling.

Где встречается

• 50. Как вы ограничиваете бесконечный цикл агента
• 201. Что такое continuous batching и как оно отличается от static batching Как это реализовано в vLLMTGI
• 416. Как вы делаете load shedding при перегрузке LLM сервера
• 825. Что такое autoscaling inference и как его настроить
• 74. Настроить auto-scaling для vLLM
• 192. Настроить autoscaling для LLM сервера

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление