PYTORCH_CUDA_ALLOC_CONF
PYTORCH_CUDA_ALLOC_CONF
Определение
Переменная окружения для настройки аллокатора CUDA в PyTorch. Позволяет управлять стратегией выделения памяти, фрагментацией и использованием расширяемых сегментов.
Где встречается
- 452. Как вы управляете memory fragmentation при длительном раннинге LLM сервера
- 846. Как дебажить memory fragmentation в LLM сервере
- 800+ вопросов