SyncBatchNorm

Определение

Вариант BatchNorm с синхронизацией статистик между микро-батчами, обеспечивающий корректную работу при gradient accumulation.

Где встречается

• 472. Почему gradient accumulation эквивалентен большому batch с точки зрения оптимизации

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление