optimizer sharding

Определение

Техника распределения состояния оптимизатора между устройствами (например, ZeRO-3), позволяющая обучать модели с десятками миллиардов параметров.

Где встречается

• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление