activation offloading

Определение

Выгрузка активаций в CPU RAM для освобождения GPU памяти при обучении с длинным контекстом.

Где встречается

• 465. Как работает gradient checkpointing в DeepSpeed
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление