num_checkpoints

Определение

Параметр DeepSpeed, определяющий количество чанков (фрагментов модели) при градиентном чекпоинтинге; снижает потребление памяти с O(layers) до O(num_checkpoints).

Где встречается

• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление