SyncBatchNorm

Определение

Вариант BatchNorm с синхронизацией статистик между микро-батчами, обеспечивающий корректную работу при gradient accumulation.