gradient synchronization

Определение

Процесс усреднения градиентов между GPU после backward при распределенном обучении, необходимый для согласования обновлений.