FullyShardedDataParallel

Определение

Класс PyTorch для распределённого обучения, который шардирует параметры, градиенты и состояния оптимизатора между устройствами, снижая потребление памяти.

Где встречается

• 471. Как работает FSDP (Fully Sharded Data Parallel) в PyTorch

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление