torch.cuda.empty_cache
torch.cuda.empty_cache
Определение
Функция PyTorch, освобождающая все неиспользуемые кэшированные блоки GPU памяти, помогая уменьшить фрагментацию, но вызывая паузу.
Где встречается
- 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes
- 452. Как вы управляете memory fragmentation при длительном раннинге LLM сервера
- 846. Как дебажить memory fragmentation в LLM сервере
- 800+ вопросов