device_map

Определение

Параметр, определяющий распределение частей модели по устройствам (CPU/GPU) для оптимизации памяти и предотвращения OOM.

Где встречается

• 51. Развернуть Mamba-2 локально
• 209. Настроить AWQ quantization для LLM
• 215. Настроить expert parallelism для Mixtral
• 244. Fine-tune QLoRA на 1 GPU

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление