ZeRO-Infinity
ZeRO-Infinity
Определение
Расширение ZeRO для offload на NVMe SSD, позволяющее обучать модели с триллионами параметров за счёт дополнительного уровня памяти.
Где встречается
- 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)
- 470. Что такое DeepSpeed ZeRO-Offload и когда он полезен