max_split_size_mb

Определение

Параметр конфигурации аллокатора памяти PyTorch, ограничивающий максимальный размер блока, который может быть разделён. Меньшие значения снижают фрагментацию памяти в длительных сессиях.

Где встречается

• 452. Как вы управляете memory fragmentation при длительном раннинге LLM сервера
• 846. Как дебажить memory fragmentation в LLM сервере

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление