CUDA caching allocator

Определение

Аллокатор памяти, используемый PyTorch для управления выделением и освобождением памяти на GPU. Он кэширует ранее выделенные блоки, чтобы уменьшить накладные расходы на частые выделения/освобождения, но может приводить к фрагментации памяти.

Где встречается

• 452. Как вы управляете memory fragmentation при длительном раннинге LLM сервера

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление