gradient flow

Определение

Поток градиентов через сеть; предварительная нормализация (pre-norm) улучшает его, предотвращая затухание градиентов.