thrashing
thrashing
Определение
Состояние системы, когда ресурсы тратятся на частые переключения и управление, а не на полезную работу; возникает при неправильной настройке батчинга или autoscaling.
Где встречается
- 50. Как вы ограничиваете бесконечный цикл агента
- 201. Что такое continuous batching и как оно отличается от static batching Как это реализовано в vLLMTGI
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- 825. Что такое autoscaling inference и как его настроить
- 74. Настроить auto-scaling для vLLM
- 192. Настроить autoscaling для LLM сервера