Paged Optimizers

Определение

Механизм управления памятью состояний оптимизатора через выгрузку на CPU при обучении с ограниченной видеопамятью, применяемый в QLoRA.

Где встречается

• 482. Как работает QLoRA (Quantized LoRA) для training

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление